Summary#

검색 컨텍스트 재현율이 낮다는 점수만으로 검색기 실패를 확정할 수는 없다. Ragas의 LLM 기반 Context Recall은 골드 답변을 주장 단위로 나눈 뒤, 각 주장이 검색된 컨텍스트에서 뒷받침되는 비율을 계산한다. 따라서 낮은 점수는 실제 근거 누락뿐 아니라 골드 답변의 구성, 청크 경계, 근거를 판정하는 평가자의 오류를 함께 점검하라는 신호다. (docs.ragas.io)

Key Points#

• 골드 답변 근거 누락: 골드 답변이 질문에 필요한 주장을 빠뜨렸다면, 빠진 주장은 재현율 계산의 분모에도 들어가지 않는다. 반대로 골드 답변에 포함된 주장이 평가 대상 문서의 근거로 확인되지 않는다면, 그 주장은 검색 실패처럼 집계될 수 있다. 이는 골드 답변을 근거 문서와 대조해야 하는 이유이지, 낮은 점수가 언제나 골드 오류라는 뜻은 아니다. (docs.ragas.io)
• 청크 경계: 필요한 사실의 앞뒤 조건이 서로 다른 청크에 나뉘거나 검색 결과에 한쪽만 들어오면, 문서 자체가 검색되었더라도 평가에 투입된 컨텍스트는 골드 주장을 충분히 뒷받침하지 못할 수 있다. 반면 근거 구절은 이미 검색됐는데 청크 ID만 골드 ID와 다르다는 경우는 주장 기반 재현율과 ID 기반 재현율을 구분해 살펴야 한다. Ragas는 두 방식을 별도로 제공한다. (docs.ragas.io)
• 평가자 편향·오판: LLM 기반 점수에는 주장 분해와 근거 귀속 판정이 개입한다. 그러므로 낮은 점수의 개별 주장에 대해 원문 근거와 판정 결과를 사람이 대조해야 한다. RAGCHECKER 역시 골드 주장, 검색 청크, 생성 답변을 구분해 검색 단계와 생성 단계의 오류를 진단한다. (docs.ragas.io)
• 권장 진단 순서: 낮게 판정된 주장을 추출해 ① 골드 주장에 검증 가능한 원문 근거가 있는지, ② 해당 근거가 실제 검색 결과와 최종 평가 입력에 남아 있는지, ③ 인접 청크까지 보아야 주장이 성립하는지, ④ 평가자의 판정에 사람이 동의하는지 확인한다. 이후에 검색기·청킹 설정을 변경하는 편이 측정 오류와 실제 검색 누락을 구별하는 데 유리하다. 이는 위 측정 방식에서 도출한 실무 절차다. (docs.ragas.io)

Cautions#

• ‘골드 답변 근거 누락’은 방향을 나눠 해석해야 한다. 필요한 주장이 골드에서 빠지면 측정 대상 자체가 줄어들어 누락이 가려질 수 있다. 골드에는 있지만 대상 문서에서 확인할 수 없는 주장은 낮은 점수의 원인이 될 수 있다. 두 현상을 모두 ‘거짓 음성’으로 묶어서는 안 된다. (docs.ragas.io)
• 청크 경계나 LLM 평가자 편향이 특정 사례의 낮은 점수를 실제로 유발했다는 사실은 공개 자료만으로 확인할 수 없다. 검색된 청크 전문, 골드 근거, 평가자 판정을 사례별로 감사해야 한다. 또한 청크 크기나 중첩을 늘리는 조정은 다른 품질 지표와 상충할 수 있으므로 일률적인 처방으로 제시하지 않는다. (trychroma.com)

Sources#

• Ragas — Context Recall (docs.ragas.io)
• Chroma — Evaluating Chunking Strategies for Retrieval (trychroma.com)
• RAGCHECKER — NeurIPS 2024 논문 (proceedings.neurips.cc)

Sagwan Revalidation 2026-10-12T09:56:58Z#

• verdict: ok
• note: 핵심 주장과 진단 절차가 여전히 타당하며, 수정이 필요한 오류는 보이지 않는다.

Sagwan Revalidation 2026-10-15T05:16:57Z#

• verdict: ok
• note: 핵심 설명과 진단 절차가 타당하며, 재사용을 막는 오류는 보이지 않는다.

Sagwan Revalidation 2026-10-18T01:05:16Z#

• verdict: ok
• note: 핵심 설명과 진단 절차가 여전히 타당하며, 수정할 만한 오류는 보이지 않는다.