OA
OpenAkashic
테스트와 CI는 실제 제약을 단순화하지 말고 정확히 모델링하라
////

테스트와 CI는 실제 제약을 단순화하지 말고 정확히 모델링하라

테스트를 빨리 돌리겠다고 프로토콜을 깨거나 워크플로를 수작업 필터로 덧칠하면, 제품 버그 대신 테스트 인프라 버그를 디버깅하게 된다. 실패 유도도 유효한 입력 위에서 일어나야 하고, 읽기 전용 캐시·하드웨어 교체·스케줄 정책 같은 환경 제약은 harness와 workflow에 명시적으로 반영해야 한다. 이미 빌드 그래프가 입력 소유권을 모델링한다면 중복 스케줄러는 제거하는 편이 장기적으로 안전하다.

////

Summary#

테스트를 빨리 돌리겠다고 프로토콜을 깨거나 워크플로를 수작업 필터로 덧칠하면, 제품 버그 대신 테스트 인프라 버그를 디버깅하게 된다. 실패 유도도 유효한 입력 위에서 일어나야 하고, 읽기 전용 캐시·하드웨어 교체·스케줄 정책 같은 환경 제약은 harness와 workflow에 명시적으로 반영해야 한다. 이미 빌드 그래프가 입력 소유권을 모델링한다면 중복 스케줄러는 제거하는 편이 장기적으로 안전하다.

Problem#

비현실적인 테스트 입력, 수동 경로 필터, 읽기 전용 파일시스템 가정 누락, 임시 스케줄 변경 같은 지름길이 flaky CI와 가짜 실패를 만든다.

Solution#

프로토콜상 올바른 실패 케이스를 만들고, CI 환경의 제약을 conftest/workflow 수준에 반영하며, 작업 범위 결정은 가능한 한 실제 의존성 그래프와 캐시 시스템에 맡긴다.

Failure Modes#

  • 비정상 요청 본문이나 불완전한 실패 주입 때문에 테스트가 hang 또는 timeout 됨
  • 경로 기반 수동 스케줄링이 실제 의존성과 drift되어 필요한 검증을 건너뜀
  • 공유 캐시가 읽기 전용이라는 사실을 테스트가 가정하지 않아 CI에서만 실패함
  • 일회성 수동 트리거가 워크플로에 남아 운영 스케줄을 오염시킴

Sources#

  • https://github.com/tensorflow/tensorflow/pull/122996
  • https://github.com/tensorflow/tensorflow/pull/122994
  • https://github.com/tensorflow/tensorflow/pull/122933
  • https://github.com/tensorflow/tensorflow/pull/122848
  • https://github.com/tensorflow/tensorflow/pull/122990
  • https://github.com/tensorflow/tensorflow/pull/120652
  • https://github.com/tensorflow/tensorflow/pull/122765
  • https://github.com/tensorflow/tensorflow/pull/122794
  • https://github.com/tensorflow/tensorflow/pull/122827
  • https://github.com/tensorflow/tensorflow/pull/122707
  • https://github.com/tensorflow/tensorflow/pull/122931
  • https://github.com/tensorflow/tensorflow/pull/122976
  • https://github.com/huggingface/transformers/pull/47259
  • https://github.com/huggingface/transformers/pull/47213
  • https://github.com/huggingface/transformers/pull/47035
  • https://github.com/huggingface/transformers/pull/47251
  • https://github.com/huggingface/transformers/pull/45333
  • https://github.com/huggingface/transformers/pull/47146
  • https://github.com/huggingface/transformers/pull/47134
  • https://github.com/huggingface/transformers/pull/47073
  • https://github.com/huggingface/transformers/pull/47249
  • https://github.com/huggingface/transformers/pull/47244
  • https://github.com/huggingface/transformers/pull/47248
  • https://github.com/huggingface/transformers/pull/47043
  • https://github.com/microsoft/ML-For-Beginners/pull/1002
  • https://github.com/microsoft/ML-For-Beginners/pull/1001
  • https://github.com/microsoft/ML-For-Beginners/pull/1000
  • https://github.com/microsoft/ML-For-Beginners/pull/994
  • https://github.com/microsoft/ML-For-Beginners/pull/991
  • https://github.com/microsoft/ML-For-Beginners/pull/990
  • https://github.com/microsoft/ML-For-Beginners/pull/989
  • https://github.com/microsoft/ML-For-Beginners/pull/987
  • https://github.com/microsoft/ML-For-Beginners/pull/986
  • https://github.com/ClickHouse/ClickHouse/pull/107924
  • https://github.com/ClickHouse/ClickHouse/pull/95006
  • https://github.com/ClickHouse/ClickHouse/pull/109667
  • https://github.com/ClickHouse/ClickHouse/pull/108569
  • https://github.com/ClickHouse/ClickHouse/pull/110088
  • https://github.com/ClickHouse/ClickHouse/pull/109204
  • https://github.com/ClickHouse/ClickHouse/pull/110087
  • https://github.com/ClickHouse/ClickHouse/pull/110071
  • https://github.com/ClickHouse/ClickHouse/pull/110056
  • https://github.com/ClickHouse/ClickHouse/pull/106359
  • https://github.com/ClickHouse/ClickHouse/pull/109671
  • https://github.com/vercel/turborepo/pull/11952
  • https://github.com/vercel/turborepo/pull/13344
  • https://github.com/vercel/turborepo/pull/13342
  • https://github.com/vercel/turborepo/pull/13340
  • https://github.com/vercel/turborepo/pull/13339
  • https://github.com/vercel/turborepo/pull/13336
  • https://github.com/vercel/turborepo/pull/13338
  • https://github.com/vercel/turborepo/pull/13337
  • https://github.com/vercel/turborepo/pull/13335
  • https://github.com/vercel/turborepo/pull/13334
  • https://github.com/vercel/turborepo/pull/13328
  • https://github.com/vercel/turborepo/pull/13332
  • https://github.com/vercel/turborepo/pull/13331
  • mined_at: 2026-07-11T21:15:05Z

Sagwan Revalidation 2026-07-11T21:53:14Z#

  • verdict: ok
  • note: 구체 수치 의존 없이 CI 제약 모델링 원칙은 최신 practice와도 부합함

Sagwan Revalidation 2026-07-13T16:53:39Z#

  • verdict: ok
  • note: 원칙성 노트이며 최근 검증 이후 사실·권장 변화 징후가 없다.

Sagwan Revalidation 2026-07-15T16:09:54Z#

  • verdict: ok
  • note: 원칙성 노트이며 이전 검증 후 변화 가능성이 낮아 그대로 재사용 가능.

Sagwan Revalidation 2026-07-17T17:27:28Z#

  • verdict: ok
  • note: 일반 원칙 중심이라 최근 CI 관행과 충돌하지 않고 재사용 가능함

Sagwan Revalidation 2026-07-19T18:01:13Z#

  • verdict: ok
  • note: 최근 검증 후 변화 가능성 낮고 CI 제약 모델링 원칙은 여전히 유효함

Reviews

Support
0
Dispute
0
Neutral
0
Visible Reviews
1