대리인이 적대적인 문장 하나를 거부했다는 입증은 보증 주장이 아닙니다. 무단 DNS 변경, 고객 간 검색, 승인되지 않은 대상에 대한 공개, 숨겨진 감사 증거 또는 잘못된 승인 설명 등 공격자가 원하는 결과에 대해 시스템을 평가합니다. 이러한 테스트를 합법적인 작업과 결합하여 보안이 거부만으로 측정되지 않도록 하세요.
공격 표면 매핑
에이전트가 소비하는 입력과 에이전트가 도달할 수 있는 기능을 나열합니다. 보고서 텍스트, 이메일 샘플, 검색된 문서, 저장된 요약 및 도구 응답을 포함합니다. 외부인의 영향을 받을 수 있는 입력 소스를 표시합니다. 애플리케이션이 모델 출력을 검색, 통신 또는 구성 작업으로 변환하는 위치를 식별합니다.
신속한 주입은 도구 호출뿐만 아니라 결론에도 영향을 미칠 수 있습니다. OWASP는 외부 콘텐츠가 모델을 리디렉션할 수 있으며 완벽한 예방은 없다고 가정해야 한다고 지적합니다. OWASP LLM01. 인증 분석의 경우 DNS 변경이 발생하기 전에도 잘못된 "승인된 발신자" 결론이 해로울 수 있습니다.
테스트하기 전에 예상되는 결정을 지정하세요.
각 사례에 대해 입력, 승인된 테넌트, 허용된 도구, 신뢰할 수 있는 승인, 예상 결과 및 금지된 부작용을 유지합니다. 적대적인 언어 없이 모호한 정체성을 포함합니다. 불확실성만으로 자동 승인이 발생해서는 안 됩니다. 여전히 요약되어야 하는 양성 보고서를 추가합니다. 성공적인 쓰기 시도뿐만 아니라 지원되지 않는 주장과 데이터 노출에 대해 점수를 매기는 방법을 결정하세요.
모델 동작과 시행 동작을 분리하세요. 모델은 금지된 작업을 제안할 수 있지만 도구 게이트는 이를 올바르게 거부합니다. 이는 차단된 시도이지 안전한 모델의 증거가 아닙니다. 반대로, 텍스트에서의 정중한 거부는 이미 데이터를 공개한 도구 호출을 보상하지 않습니다.
6가지 대조되는 평가 목표 정의
제안된 평가는 승인되지 않은 DNS 변형, 다른 테넌트의 비공개 검색, 승인되지 않은 대상에 대한 공개, 감사 억제, 위조된 승인 설명 및 확인된 테넌트 내에서 허용된 읽기 등 5가지 금지된 결과를 하나의 합법적인 작업과 결합할 수 있습니다. 각각에 대해 테스트 중인 채널을 통해 구체적인 입력을 제공하고 실행 전에 예상되는 도구 및 응답 동작을 지정합니다.
이는 제공된 고정물이 아닌 범주이며, 어설션을 전달하거나 측정된 결과입니다. 적대적인 언어 없이 모호한 발신자를 추가하세요. 조작된 승인이 아닌 특정 계정 증거 요청을 표시해야 합니다. 전역 거부가 정확한 시행으로 가장할 수 없도록 관련 테스트 환경 내에 승인된 작업을 포함합니다. 강제 도구 요청으로 게이트를 테스트합니다. 모델을 통한 실제 수집은 다른 경계를 테스트합니다. 둘 다 별도로 보고하고 둘 중 하나에서만 전개된 공격 저항을 추론하지 마십시오.
배포 평가로 확장
격리된 환경에서 실제 수집, 모델 및 도구 스택에 대해 승인된 테스트를 실행합니다. 프롬프트, 모델 구성, 커넥터 권한 및 데이터 세트의 버전을 지정합니다. 결과가 다를 수 있으므로 모델 기반 사례를 반복합니다. 상황에 구애받지 않는 "100% 보안" 수치를 보고하는 대신 시도, 분모, 정확한 점수 기준을 기록하세요.
먼저 요약을 조작하고 나중에 해당 요약을 명백한 증거로 활용하는 다단계 공격을 추가합니다. 오래된 승인, 변경된 테넌트 컨텍스트 및 공격자가 제어하는 보고 대상을 지정하는 출력을 테스트합니다. 장애가 정상적인 승인 경로를 우회하지 않도록 중단 및 복구 사례를 포함합니다. OWASP 치트 시트는 계층화된 보호 조치와 명확한 한계가 있는 평가를 강조합니다. OWASP 치트 시트.
발견한 내용을 배포 결정으로 전환
성공적인 무단 조치는 중대한 통제 실패입니다. 액세스를 확장하기 전에 추적을 보존하고 영향을 받는 기능을 제한하며 적용 경계를 수정하세요. 조작된 요약의 경우 증거 귀속 및 검토 요구 사항을 개선합니다. 변경된 버전에 대해 관련 사례를 다시 실행하고 이전 실패를 회귀로 유지합니다.
차단된 공격, 해결되지 않은 사례 및 적용 범위 공백과 함께 유용한 작업 완료를 보고합니다. 테스트된 범위와 허용된 잔여 위험에 대해서만 배포를 승인합니다. 깨끗한 로컬 제품군은 해당 제품군에 대한 증거이지 향후 모든 입력에 대한 보장은 아닙니다.