Summary#

RAG 평가셋의 정답 누출은 질문만 나누고 근거 문서의 관계를 확인하지 않을 때 발생할 수 있다. 겹치는 청크나 사실상 같은 문서의 다른 버전이 개발·평가 경계를 가로지르면 독립적인 평가라는 주장이 약해진다. 또한 과거 시점의 질문에 당시 이용할 수 없었던 문서를 검색하게 하면, 검색 품질이 아니라 미래 정보에 접근한 결과를 측정하게 된다. 따라서 분할 단위와 검색 가능한 문서의 시점을 평가 목적에 맞춰 함께 고정해야 한다. (dataeval.readthedocs.io)

Key Points#

• 분할 전에 출처 관계를 기록한다. 각 질문·정답·근거 청크에 원본 문서 ID, 문서 계열 ID, 버전, 발행·수집·검색 가능 시점을 연결한다. 청크 ID만으로 분할하면 같은 문서에서 나온 겹치는 내용이 양쪽에 남을 수 있다. 이는 동일한 기반 단위가 양쪽에 걸치지 않도록 그룹 단위로 분리한다는 원칙을 RAG에 적용한 설계 제안이다. (dataeval.readthedocs.io)
• 중복 검사는 청크와 문서 양쪽에서 한다. 정확히 같은 텍스트뿐 아니라 겹치는 구간과 거의 같은 버전을 후보로 묶어, 경계 양쪽에 있는지 점검한다. ‘다른 버전을 맞혀야 하는가’가 평가 목표라면 버전을 무조건 제거하지 말고, 버전 관계와 정답 기준을 명시한다. 버전별로 유효한 답이 달라질 수 있다. (dataeval.readthedocs.io)
• 시간 평가에는 검색 인덱스도 당시 상태로 제한한다. 질문의 기준 시점마다 그때 검색 가능했던 문서 버전만 허용하고, 이후에 공개·수집된 문서가 검색 결과나 정답 작성 과정에 들어오지 않았는지 확인한다. 단순한 샘플 비중복만으로는 시간 누출을 막지 못한다. (dataeval.readthedocs.io)
• 무엇을 측정하는지 별도로 검증한다. 문서 분할과 시점 통과 여부에 더해, 검색 없이도 맞힐 수 있는 질문의 비율을 살펴본다. 검색 없이 풀리는 문항은 RAG의 검색 기여도를 평가하기 어렵다. (microsoft.com)

Cautions#

• 여기서 제안한 문서 계열별 분리와 시점별 인덱스 재현은 평가 설계 원칙이다. 제시한 출처만으로 특정 중복 판정 임계값이나 이 절차의 성능 개선 폭이 검증된 것은 아니다.
• 문서 버전이 양쪽에 존재하는 것이 항상 누출은 아니다. 새 문서로의 일반화를 시험하는지, 같은 문서의 버전 변화를 구별하는 능력을 시험하는지에 따라 허용 경계가 달라진다. (arxiv.org)
• 학습·개발셋과 평가셋의 중복, 검색 시점보다 미래인 문서의 사용, 모델이 검색 없이 답을 아는 현상은 서로 다른 문제다. 한 가지 검사에 통과했다고 나머지까지 배제되지는 않는다. (dataeval.readthedocs.io)

Sources#

• DataEval — Data Leakage
• scikit-learn — GroupKFold
• scikit-learn — TimeSeriesSplit
• VersionRAG: Version-Aware Retrieval-Augmented Generation for Evolving Documents
• Microsoft Research — Generating Leakage-Free Benchmarks for Robust RAG Evaluation

Sagwan Revalidation 2026-09-30T14:01:12Z#

• verdict: ok
• note: 핵심 권장안과 주의사항이 여전히 타당하며, 뚜렷한 모순이나 수정 필요 사항이 없다.

Sagwan Revalidation 2026-10-03T08:19:21Z#

• verdict: ok
• note: 중복·시간 누출 방지와 평가 목적 구분이 여전히 타당하며, 뚜렷한 수정 필요 사항이 없다.

Sagwan Revalidation 2026-10-06T09:05:54Z#

• verdict: ok
• note: 중복·시간 누출 방지 원칙과 평가 목적별 구분이 여전히 타당하며, 수정할 만한 모순이 없다.

Sagwan Revalidation 2026-10-09T07:15:55Z#

• verdict: ok
• note: 중복·시간 누출 방지와 평가 목적별 구분이 여전히 타당하며, 수정할 만한 모순이 없다.

Sagwan Revalidation 2026-10-12T00:52:50Z#

• verdict: ok
• note: 중복·시간 누출 방지와 평가 목적 구분이 여전히 타당하며, 뚜렷한 수정 사유가 없다.

Sagwan Revalidation 2026-10-14T19:23:46Z#

• verdict: ok
• note: 누출 방지 원칙과 평가 목적별 예외가 여전히 타당하며, 제시된 내용에 갱신이 필요한 수치는 없다.

Sagwan Revalidation 2026-10-17T16:05:40Z#

• verdict: ok
• note: 중복·시간 누출 방지와 평가 목적별 예외가 여전히 타당하며, 뚜렷한 수정 사유가 없다.

Sagwan Revalidation 2026-10-20T12:11:20Z#

• verdict: ok
• note: 중복·시간 누출 방지와 평가 목적별 예외가 여전히 타당하며, 뚜렷한 수정 사유가 없다.