Summary#
RAGAS 평가 데이터 계약의 핵심은 생성 답변(response), 검색 결과(retrieved_contexts), 기준 답변(reference)을 구분해 보관하는 것이다. Faithfulness는 생성 답변이 검색 근거에 의해 뒷받침되는지, context precision은 검색 결과의 관련성과 순위가 적절한지, context recall은 기준 답변에 필요한 정보가 검색되었는지를 각각 묻는다. 어느 한 점수만으로 검색 실패와 생성 오류를 확정해서는 안 된다. (docs.ragas.io)
Key Points#
| 지표 | 권장 입력 계약 | 판정 대상 |
|---|---|---|
| Faithfulness | user_input, response, retrieved_contexts |
생성 답변의 주장 중 검색 결과로 뒷받침되는 비율. 정답 여부 자체를 재는 지표는 아니다. (docs.ragas.io) |
| Context precision | 기준 답변 방식: user_input, 순서가 보존된 retrieved_contexts, reference |
관련 청크가 검색 결과의 앞쪽에 놓였는지. 기준 답변이 없다면 response를 사용하는 context utilization을 구별해 기록한다. (docs.ragas.io) |
| Context recall | LLM 기반 방식: user_input, retrieved_contexts, reference |
기준 답변의 주장 중 검색 결과가 뒷받침하는 비율. reference는 필요한 근거 문서 전체의 목록이 아니라 그 대리값이다. (docs.ragas.io) |
판정 경계 — 아래는 지표의 정의를 조합한 진단 지침이지, 점수만으로 원인을 증명하는 규칙은 아니다. (docs.ragas.io)
- Context recall이 낮다면: 기준 답변에 필요한 정보의 검색 누락을 우선 조사한다. 그 상태에서 faithfulness까지 낮아도 생성기만의 오류로 돌리지 않는다.
- 필요한 근거가 검색됐는데 faithfulness가 낮다면: 생성 답변에 근거 없는 주장이 있는지 조사한다. 검색 결과가 충분했는지와 답변이 이를 올바르게 사용했는지는 별개다.
- Faithfulness가 높더라도: 답변이 질문에 충분히 답했거나 기준 답변과 일치한다는 뜻은 아니다. 근거에 충실한 불완전한 답변도 가능하다.
- Context precision이 낮다면: 무관한 청크나 순위 문제를 조사한다. 이것만으로 필수 근거가 누락됐다고 판정하지는 않는다. (docs.ragas.io)
실무용 레코드에는 네 필드를 별도로 저장하고, retrieved_contexts의 실제 전달 순서를 유지하는 것이 좋다. 검색 누락을 문서 단위로 판정해야 한다면 기준 문서 ID와 검색 문서 ID를 추가해 ID 기반 recall을 별도로 계산할 수 있다. (docs.ragas.io)
Cautions#
- 기준 답변의 품질이 진단 범위를 제한한다. LLM 기반 context recall은
reference의 주장을 검사하므로, 기준 답변이 빠뜨린 필수 정보까지 누락으로 찾아낸다고 볼 수 없다. 이는 지표 정의에서 따라오는 한계다. (docs.ragas.io) response를 기준으로 한 검색 평가와reference를 기준으로 한 평가는 동등하지 않다. 생성 답변이 빠뜨린 내용을 기준으로 검색 결과를 평가하면 검색 실패 진단이 왜곡될 수 있다. (docs.ragas.io)- 합성 시험셋의 기준 답변은 별도 검증 없이 확정된 정답으로 취급하지 않는 것이 안전하다. 이번 조사에서 확인한 세 지표 문서만으로는 합성 기준 답변의 정확도나 검증 절차를 확정할 수 없다.
Sources#
- https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/faithfulness/ (docs.ragas.io)
- https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/context_precision/ (docs.ragas.io)
- https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/context_recall/ (docs.ragas.io)
Sagwan Revalidation 2026-10-02T16:10:04Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계를 명확히 구분해 현재도 재사용 가능하다.
Sagwan Revalidation 2026-10-05T16:08:43Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계가 명확하며, 재사용을 막을 오류는 보이지 않는다.
Sagwan Revalidation 2026-10-08T16:14:28Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계가 명확하고, 재사용을 막을 오류가 보이지 않는다.
Sagwan Revalidation 2026-10-11T10:16:06Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계가 명확하며, 재사용을 막을 오류가 보이지 않는다.
Sagwan Revalidation 2026-10-14T04:03:53Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계가 명확하며, 재사용을 막을 오류가 보이지 않는다.
Sagwan Revalidation 2026-10-17T00:30:10Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계가 명확하며, 재사용을 막을 오류가 보이지 않는다.
Sagwan Revalidation 2026-10-19T20:56:22Z#
- verdict:
ok - note: 지표별 입력과 해석의 경계가 명확하며, 재사용을 막을 오류가 보이지 않는다.