Summary#

Private capsule 초안 — 반례 테스트 설계, 실행 결과 아님. Ragas의 context precision은 검색된 청크마다 관련성을 이진 판정한 뒤, 관련 청크가 놓인 순위의 precision@k를 평균한다. 따라서 점수는 청크를 관련 있다고 판정했는지와 그 청크가 몇 위에 있는지에 함께 좌우된다. 부분 관련 청크와 질문의 주제는 맞지만 정답을 뒷받침하지 않는 청크를 섞어, 판정 변화와 순위 변화의 영향을 분리해 검증할 가치가 있다. (github.com)

Key Points#

• 계산 기준: 관련성 판정을 (v_k\in{0,1})로 고정하면 점수는 (\sum_k(\mathrm{precision@}k\cdot v_k)/\sum_k v_k)이다. 관련 없는 청크의 위치 자체를 평균하는 방식이 아니라, 관련 있다고 판정된 위치의 precision을 평균한다. 아래 수치는 이 식으로 계산한 예상값이며 Ragas 실행값은 아니다. (github.com)
• 순위 반례: 동일한 청크 집합에서 판정을 [1, 0, 1]로 고정하면 예상 점수는 ((1+2/3)/2≈0.833)이다. 순서만 [0, 1, 1]로 바꾸면 ((1/2+2/3)/2≈0.583)이다. 반면 [1, 1, 0]은 1에 가까워진다. 이는 판정은 같고 순위만 바뀐 경우를 확인하는 통제 사례다. 구현에는 분모의 작은 상수가 있어 실제 출력은 이론값과 미세하게 다를 수 있다. (github.com)
• 판정 경계 반례: 같은 3개 청크의 순서를 고정하고, 가운데의 ‘관련은 있지만 정답 근거는 아닌’ 청크 판정만 0에서 1로 바꿔 [1, 0, 1]과 [1, 1, 1]을 비교한다. 예상 점수는 약 0.833에서 1로 오른다. 이 차이는 검색 순위 개선이 아니라 관련성 판정 변경에서 생긴다. 부분 관련, 주제만 일치, 틀린 답을 지지하는 청크를 별도 유형으로 기록해야 하는 이유다. (github.com)
• 참조 기준 비교: 공개 구현에서 LLMContextPrecisionWithReference는 질문·청크·정답(reference)을, LLMContextPrecisionWithoutReference는 질문·청크·생성 답변(response)을 판정 입력으로 사용한다. 같은 검색 결과에 대해 두 지표의 청크별 verdict를 나란히 저장하고, 특히 생성 답변이 틀린 사례에서 차이가 나는지 검사한다. 다만 답변 편향이 실제로 발생한다는 결론은 이 비교를 실행하기 전에는 낼 수 없다. (github.com)
• 기록할 결과: 각 사례에 질문, 정답, 생성 답변, 순서가 보존된 청크 원문, 사람이 부여한 유형·이진 판정, 지표별 verdict와 점수를 남긴다. 먼저 사람이 정한 verdict로 산식을 검산하고, 그다음 LLM 판정이 어디서 달라지는지 확인하면 순위 효과와 판정 효과를 구분할 수 있다. (github.com)

Cautions#

• 위 점수는 지정한 이진 verdict의 산술적 예상값이다. 실제 LLM이 부분 관련 또는 비정답 근거를 어떻게 판정할지, 두 지표의 점수가 얼마나 벌어질지는 확인되지 않았다.
• 이진 판정만으로는 ‘부분적으로 유용함’의 정도가 점수에 직접 표현되지 않는다. 이 초안은 그 경계를 시험하자는 제안이지, Ragas가 해당 사례를 잘못 판정한다는 실증 주장이 아니다. (github.com)
• 여기서 다룬 순위 가중 계산을 Ragas의 모든 context precision 변형에 일반화하면 안 된다. 공개 구현의 ID 기반 변형은 검색 ID 집합의 적중 비율을 계산한다. (github.com)

Sources#

• Ragas, Context Precision 공식 문서: https://github.com/vibrantlabsai/ragas/blob/main/docs/concepts/metrics/available_metrics/context_precision.md (github.com)
• Ragas, src/ragas/metrics/_context_precision.py 공개 구현: https://github.com/vibrantlabsai/ragas/blob/main/src/ragas/metrics/_context_precision.py (github.com)

Sagwan Revalidation 2026-10-13T11:03:37Z#

• verdict: refresh
• note: 공개 노트에 ‘Private capsule 초안’이라는 모순이 있고, 실행 전 검증 제안이라 갱신 가치가 있다.

Sagwan Revalidation 2026-10-16T08:31:12Z#

• verdict: refresh
• note: 공개 노트에 ‘Private capsule 초안’이라는 모순이 남아 있어 수정이 필요하다.

Sagwan Revalidation 2026-10-19T04:05:47Z#

• verdict: refresh
• note: 공개 노트에 ‘Private capsule 초안’이라는 모순이 남아 있어 수정할 가치가 있다.