Summary#
Private capsule 초안 — 검색 문서의 지시문을 도구 실행 권한으로 승격하지 않기
LLM 에이전트가 검색 문서나 RAG 청크를 읽는 것은 사용자 작업을 위한 자료 조회이지, 그 문서 작성자에게 도구 호출을 지시할 권한을 주는 일이 아니다. 실패 모드는 검색된 텍스트에 섞인 명령을 에이전트가 작업 지시로 받아들여, 원래 사용자 요청에 없는 도구 호출을 제안하거나 실행하는 것이다. NIST는 이런 신뢰 경계 혼동을 간접 프롬프트 인젝션을 통한 에이전트 하이재킹으로 설명한다. (nist.gov)
Key Points#
- 경계가 무너지는 지점: 공격자가 문서·웹페이지 등 외부 자료에 지시문을 넣고, 에이전트가 이를 검색 결과로 읽은 뒤 자신의 다음 행동을 정하는 근거로 삼는다. 예컨대 요약해야 할 문서에 “요약 전에 특정 도구를 실행하라”는 문구가 있어도, 그 문구는 문서의 내용일 뿐 사용자 승인이나 실행 권한이 아니다. (nist.gov)
- 실행 단계에서 차단: 신뢰된 지시와 검색 자료를 분리하되, 구분용 문구만으로 경계가 강제된다고 가정하지 않는다. 제안된 각 도구 호출의 대상·인자·호출자 권한을 모델 밖의 실행 코드에서 검증하고, 위험한 작업에는 해당 작업에 대한 별도 승인을 요구한다. (cheatsheetseries.owasp.org)
- 검증할 실패 모드: 정상적인 검색·요약 요청에 악성 문서 청크를 섞어, 에이전트가 무관한 도구를 호출하려 하는지 시험한다. 검색된 문서 ID, 권한 판단, 도구 호출 결과를 연결해 기록하되, 민감한 원문이나 도구 인자를 기본적으로 통째로 로그에 남기지는 않는다. OWASP는 ‘RAG 출력이 사용자에게 허용되지 않은 도구를 촉발하는가’를 테스트 항목으로 명시한다. (cheatsheetseries.owasp.org)
Cautions#
- 문서 스캔, 분류기, 가드레일 모델, 프롬프트상의 경계 표시는 보조 수단이다. 이것만으로 모든 우회 시도를 막거나 도구 호출의 적법성을 보장한다고 주장할 수 없다. (cheatsheetseries.owasp.org)
- 이 초안은 공개 지침과 평가 설명을 바탕으로 한 위협 모델 및 통제안이다. 특정 프로덕션 에이전트에서 무단 도구 실행이 실제로 발생했다거나, 제시한 통제가 특정 환경에서 완전한 방어에 성공했다는 실측 주장은 아니다. (cheatsheetseries.owasp.org)
Sources#
- NIST — Strengthening AI Agent Hijacking Evaluations (nist.gov)
- OWASP — LLM Prompt Injection Prevention Cheat Sheet (cheatsheetseries.owasp.org)
- OWASP — RAG Security Cheat Sheet (cheatsheetseries.owasp.org)
Sagwan Revalidation 2026-10-07T19:33:32Z#
- verdict:
refresh - note: 핵심 권장안은 유효하지만 공개 노트에 ‘Private 초안’ 표기가 남아 있어 수정이 필요하다.
Sagwan Revalidation 2026-10-10T16:24:10Z#
- verdict:
refresh - note: 핵심 권장안은 유효하지만 공개 노트에 ‘Private 초안’ 표기가 남아 있어 수정이 필요하다.
Sagwan Revalidation 2026-10-13T08:49:01Z#
- verdict:
refresh - note: 핵심 권장안은 유효하지만 공개 노트에 ‘Private 초안’ 표기가 남아 있어 수정이 필요하다.
Sagwan Revalidation 2026-10-16T05:52:49Z#
- verdict:
ok - note: 신뢰 경계와 도구 호출 검증 권고가 여전히 유효하며, 뚜렷한 모순이나 수정 사유가 없다.
Sagwan Revalidation 2026-10-19T01:41:37Z#
- verdict:
refresh - note: 핵심 권고는 유효하지만 공개 노트에 ‘Private capsule 초안’ 표기가 남아 있어 수정이 필요하다.