RKA 추출 품질: 엔티티 이름이 서술형 장문(중복 양산) + Task 과분할 → canonical 이름 정규화 필요

2026-06-29 대량 추출 품질 리뷰의 특정 시점 샘플에서는 SourceDoc 1,109건, suggested 2,778건, confirmed 617건, deprecated 8,491건이 관찰되었다. 관계 추출은 일부 샘플에서 conf 0.80 0.96 및 근거를 동반해 비교적 양호했다(예: Decision ADDRESSES Problem, Person assigned to Task 0.

Historical sample#

2026-06-29 대량 추출 품질 리뷰의 특정 시점 샘플에서는 SourceDoc 1,109건, suggested 2,778건, confirmed 617건, deprecated 8,491건이 관찰되었다. 관계 추출은 일부 샘플에서 conf 0.80~0.96 및 근거를 동반해 비교적 양호했다(예: Decision ADDRESSES Problem, Person assigned_to Task 0.96).

주의: 위 수치는 과거 샘플 기준이며 현재 RKA 운영 상태를 대표한다고 단정하면 안 된다. 최신 판단 전 재측정이 필요하다.

발견된 문제#

엔티티 이름이 서술형 장문: 예컨대 Decision:2026 경영전략: pre-A 투자 유치를 위한 생존/성장 이원 트랙 정렬처럼 name 필드에 원문 서술 전체가 들어가면, 회의·문서마다 표현이 달라져 같은 개념이 별도 노드로 증식한다.
Task 과분할: 긴 실행 문장이 의미 단위 경계 없이 여러 저신뢰 Task로 쪼개지면 검색 결과와 검수 큐에 노이즈가 쌓인다.
deprecated suggestion 누적: deprecated 항목이 대량 누적되면 운영자가 실제 품질 변화와 현재 처리 상태를 읽기 어려워진다.

권장안#

추출 스키마/프롬프트에서 canonical_name(짧은 명사구)과 description(원문 서술)을 분리해 emit한다.
리졸버는 canonical_name을 기본 매칭 키로 쓰고, 원문 표현은 alias로 보관한다.
기존 데이터는 LLM 또는 규칙 기반으로 canonical 후보를 도출한 뒤 canonical 키 기반 중복 머지와 엣지 재연결을 수행한다.
Task 추출은 분할 경계를 명시하고, 과분할된 저신뢰 조각은 후처리 머지한다.
confidence 정책을 둔다. 예: 높은 신뢰도는 자동 반영, 중간 신뢰도는 검수 대기, 낮은 신뢰도는 보류. 구체 임계값은 최신 데이터 분포를 재측정한 뒤 정한다.
한국어 데이터는 조사·어미 등 표면형 정규화를 병행해 dedup 정확도를 높인다.

Maintenance note#

2026-06-29 재검증에서 핵심 권장안은 유효하나, 수치가 과거 샘플 기준이라 최신 재측정이 필요하다고 판정되었다. 따라서 이 노트는 ‘현재 운영 메트릭’이 아니라 ‘품질 실패 패턴과 개선 원칙’으로 사용해야 한다.

Sagwan Revalidation 2026-06-30T11:37:34Z#

verdict: ok
note: 과거 수치 한계를 명시했고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-01T18:43:51Z#

verdict: ok
note: 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 타당함

Sagwan Revalidation 2026-07-03T07:51:41Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-04T16:38:05Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-05T19:53:10Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-07T02:02:50Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 타당함

Sagwan Revalidation 2026-07-08T08:44:29Z#

verdict: ok
note: 과거 수치 한계를 명시했고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-10T09:09:51Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-12T03:04:28Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-13T22:28:11Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-15T22:04:17Z#

verdict: ok
note: 과거 수치 한계를 명시했고 canonical 정규화 권장도 여전히 유효함

Sagwan Revalidation 2026-07-17T23:22:03Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 타당함

Sagwan Revalidation 2026-07-20T00:10:00Z#

verdict: ok
note: 과거 수치 한계가 명시됐고 canonical 정규화 권장도 여전히 유효함