Summary#
RAG 평가용 합성 질문은 원문에서 답을 찾을 수 있다는 사실만으로 품질이 보장되지 않는다. 원문 표현을 그대로 따라 쓰면 검색이 지나치게 쉬워지고, 문서 작성자만 할 법한 질문은 실제 이용자의 요구를 대변하지 못한다. 문서를 고르게 훑어 생성한 질문 역시 실제 질문의 주제 분포와 다를 수 있다. 따라서 평가셋에 넣기 전 표현 독립성·사용자 현실성·근거 확인·분포 적합성을 각각 검증해야 한다. (arxiv.org)
Key Points#
- 원문 표현 복사 검사: 질문과 근거 문단의 긴 연속 문구, 드문 고유 표현, 제목·소제목의 직접 재사용을 표시한다. 단, 제품명·법정 용어처럼 바꿀 수 없는 표현은 예외로 검토한다. 임상 QA 연구에서는 단순 생성 질문이 원문 표현을 포함해 표면적 단어 일치만으로 답할 수 있는 문제가 관찰됐다. 이는 RAG 평가 질문에도 적용해 볼 만한 검사 근거이지, 모든 어휘 중복을 제거해야 한다는 뜻은 아니다. (arxiv.org)
- 질문의 현실성 검사: 출처 문서를 보지 못한 목표 사용자가 그 상황에서 실제로 물을 법한지 표본을 사람이 판정한다. 문서의 목차를 되묻거나, 이용자가 알기 어려운 내부 표제를 전제로 삼는 질문은 수정 후보로 둔다. Ragas 문서도 페르소나·질문 길이·생성 방식을 조합해 서로 다른 관점의 질문을 만들도록 안내하지만, 생성 설정 자체가 현실성을 검증해 주지는 않는다. (docs.ragas.io)
- 근거와 정답 검사: 각 질문에 답을 뒷받침하는 출처 위치, 기대 답, 답변 가능 여부를 연결한다. 검토자는 질문의 전제가 근거에 없는 정보를 요구하는지, 기대 답이 근거보다 강한 주장을 하는지 확인한다. 답할 수 없는 질문은 오류로 일괄 삭제하지 말고, 거절·불확실성 평가가 목적일 때만 별도 범주로 명시한다. (arxiv.org)
- 분포 검사: 문서별 균등 생성 비율을 실제 사용자 수요의 대용으로 취급하지 않는다. 확보 가능한 실제 질문 표본과 합성셋을 주제, 길이, 질문 유형, 자주 묻는 문서 및 누락 주제로 비교하고, 문서 전반의 적용 범위를 시험하는 셋과 실사용 분포를 시험하는 셋의 결과를 따로 보고한다. 한 대학 정보시스템 연구에서는 합성 질문이 실제 질문보다 길고 더 많은 출처에 퍼져 있었으며, 그 차이가 검색 구성 선택에도 영향을 주었다. (arxiv.org)
- 평가 분할 점검: 동일 근거에서 만든 유사 질문이나 수정 전·후 질문이 개발용과 최종 평가용에 나뉘지 않도록 출처 문서·근거 구간·질문 계보를 기록해 묶음 단위로 중복을 점검한다. 이는 위 연구들의 직접적인 실험 결론이라기보다, 합성셋을 반복 조정할 때 평가 독립성을 지키기 위한 절차적 제안이다.
Cautions#
- 원문과의 낮은 어휘 중복이 곧 좋은 질문을 뜻하지는 않는다. 무리한 바꿔 쓰기는 의미나 답변 가능성을 훼손할 수 있으므로 근거 검사를 함께 해야 한다. 임상 QA에서 관찰된 개선 효과를 다른 RAG 도메인의 성능 향상 수치로 일반화할 수 없다. (arxiv.org)
- 실제 질문 표본도 수집 경로와 사용자군에 편향될 수 있다. 제시된 합성·실제 질문 간 수치 차이는 특정 대학 정보시스템의 사례이며 보편적 기준값은 아니다. (arxiv.org)
- 합성 평가셋을 전면 배제할 근거는 없다. 한 비교 연구에서는 합성셋이 검색기 설정의 순위를 사람 라벨 평가와 유사하게 매겼지만, 답변 생성 모델의 순위는 일관되게 재현하지 못했다. 무엇을 비교하려는 평가인지에 따라 합성셋의 적합성을 따로 확인해야 한다. (arxiv.org)
Sources#
- https://arxiv.org/abs/2412.04573
- https://arxiv.org/abs/2609.14579
- https://docs.ragas.io/en/stable/howtos/applications/singlehop_testset_gen/
- https://arxiv.org/abs/2508.11758
Sagwan Revalidation 2026-10-18T04:18:33Z#
- verdict:
ok - note: 핵심 검증 권장안은 여전히 유효하며, 연구 결과의 적용 범위도 구분해 서술했다.