플레이키 테스트는 형식 의존성을 줄이고 원인별로 격리

여러 ClickHouse PR들은 플래키 테스트를 단순 재시도로 덮기보다, 로그 포맷 의존·랜덤 실행 순서·전역 메모리 압박·정리 누락처럼 흔들리는 축을 분리해서 다뤘다. 테스트는 위치 기반 파싱이나 우연한 타이밍에 기대지 말고, 의미 있는 마커와 자원 경계를 기준으로 안정화하는 편이 장기적으로 유지비가 낮다.

Summary#

Problem#

테스트가 awk 필드 위치, 조인 순서 랜덤화, 느슨한 timeout, 공유 메모리 한계, 잔여 테이블 같은 비본질적 조건에 기대면 코드 회귀가 없어도 CI가 불안정해진다.

Solution#

문자열의 고정 위치 대신 의미 마커를 매칭하고, 랜덤성이나 병렬성 영향을 받는 케이스는 입력/환경을 고정하거나 cleanup 검사를 추가한다. 인프라성 자원 부족처럼 제품 로직과 무관한 실패만 제한적으로 retry하고, 나머지는 테스트 자체를 더 결정적으로 바꾼다.

Failure Modes#

로그 출력 포맷이 조금만 바뀌어도 테스트가 깨짐
전역 자원 부족을 제품 버그로 오인해 불필요한 디버깅이 발생함
cleanup 검증이 없어 이전 테스트 잔여물이 다음 테스트를 오염시킴

Sources#

https://github.com/tensorflow/tensorflow/pull/123138
https://github.com/tensorflow/tensorflow/pull/120965
https://github.com/tensorflow/tensorflow/pull/123267
https://github.com/tensorflow/tensorflow/pull/123327
https://github.com/huggingface/transformers/pull/47345
https://github.com/huggingface/transformers/pull/47349
https://github.com/huggingface/transformers/pull/47348
https://github.com/huggingface/transformers/pull/47347
https://github.com/huggingface/transformers/pull/47253
https://github.com/huggingface/transformers/pull/47338
https://github.com/huggingface/transformers/pull/47302
https://github.com/huggingface/transformers/pull/47339
https://github.com/huggingface/transformers/pull/42880
https://github.com/huggingface/transformers/pull/45936
https://github.com/huggingface/transformers/pull/47018
https://github.com/huggingface/transformers/pull/47185
https://github.com/huggingface/transformers/pull/47318
https://github.com/huggingface/transformers/pull/47311
https://github.com/microsoft/ML-For-Beginners/pull/1002
https://github.com/microsoft/ML-For-Beginners/pull/1001
https://github.com/microsoft/ML-For-Beginners/pull/1000
https://github.com/microsoft/ML-For-Beginners/pull/994
https://github.com/microsoft/ML-For-Beginners/pull/991
https://github.com/microsoft/ML-For-Beginners/pull/990
https://github.com/microsoft/ML-For-Beginners/pull/989
https://github.com/ClickHouse/ClickHouse/pull/110484
https://github.com/ClickHouse/ClickHouse/pull/110569
https://github.com/ClickHouse/ClickHouse/pull/110588
https://github.com/ClickHouse/ClickHouse/pull/110587
https://github.com/ClickHouse/ClickHouse/pull/110503
https://github.com/ClickHouse/ClickHouse/pull/110575
https://github.com/ClickHouse/ClickHouse/pull/110035
https://github.com/ClickHouse/ClickHouse/pull/51991
https://github.com/ClickHouse/ClickHouse/pull/110616
https://github.com/ClickHouse/ClickHouse/pull/100389
https://github.com/ClickHouse/ClickHouse/pull/110177
https://github.com/vercel/turborepo/pull/13382
https://github.com/vercel/turborepo/pull/13383
https://github.com/vercel/turborepo/pull/13380
https://github.com/vercel/turborepo/pull/13381
https://github.com/vercel/turborepo/pull/13378
https://github.com/vercel/turborepo/pull/13373
https://github.com/vercel/turborepo/pull/13374
https://github.com/vercel/turborepo/pull/13370
https://github.com/vercel/turborepo/pull/13369
https://github.com/vercel/turborepo/pull/13366
https://github.com/vercel/turborepo/pull/13371
https://github.com/vercel/turborepo/pull/13368
https://github.com/vercel/turborepo/pull/13362
https://github.com/vercel/turborepo/pull/13360
mined_at: 2026-07-15T22:44:03Z

Sagwan Revalidation 2026-07-15T23:21:54Z#

verdict: refresh
note: 본문은 ClickHouse라 쓰나 출처는 TF/HF이고 마지막 링크도 잘려 있다.

Sagwan Revalidation 2026-07-18T00:38:13Z#

verdict: refresh
note: 본문은 ClickHouse라 하나 출처는 TF/HF이고 마지막 링크도 잘려 있다.

Sagwan Revalidation 2026-07-20T02:06:39Z#

verdict: refresh
note: 본문은 ClickHouse라 하나 출처는 TensorFlow/HF이고 마지막 링크도 잘렸습니다.