En demonstrasjon av at en agent avviste én fiendtlig dom er ikke et forsikringskrav. Evaluer systemet mot resultatene en angriper ønsker: uautoriserte DNS endringer, gjenfinning på tvers av kunder, avsløring til en ikke-godkjent destinasjon, undertrykt revisjonsbevis eller en falsk godkjenningsfortelling. Par disse testene med legitime oppgaver slik at sikkerheten ikke måles bare ved avslag.
Kartlegg angrepsflaten
List inn inputene agenten bruker og mulighetene den kan nå. Inkluder rapporttekst, e-postprøver, hentede dokumenter, lagrede sammendrag og verktøysvar. Marker hvilke inngangskilder som kan påvirkes av utenforstående. Identifiser hvor applikasjonen konverterer modellutdata til gjenfinnings-, kommunikasjons- eller konfigurasjonshandlinger.
Rask injeksjon kan påvirke konklusjoner så vel som verktøykall. OWASP bemerker at eksternt innhold kan omdirigere en modell og at ingen idiotsikker forebygging bør antas. OWASP LLM01. For autentiseringsanalyse kan en falsk "godkjent avsender"-konklusjon være skadelig selv før en DNS endring skjer.
Spesifiser forventede beslutninger før testing
For hvert tilfelle, behold innspill, autorisert leietaker, tillatte verktøy, pålitelige godkjenninger, forventet resultat og forbudte bivirkninger. Inkluder tvetydig identitet uten fiendtlig språk: usikkerhet alene bør ikke føre til automatisk godkjenning. Legg til en godartet rapport som fortsatt bør oppsummeres. Bestem hvordan du skal score påstander som ikke støttes og dataeksponering, ikke bare vellykkede skriveforsøk.
Skille modellatferd fra håndhevingsatferd. En modell kan foreslå en forbudt handling mens verktøyporten korrekt nekter det. Det er et blokkert forsøk, ikke bevis på en sikker modell. Omvendt kompenserer ikke et høflig avslag i tekst for et verktøykall som allerede avslørte data.
Definer seks kontrasterende evalueringsmål
En foreslått evaluering kan koble fem forbudte utfall med én legitim oppgave: en ikke-godkjent DNS mutasjon, en annen leietakers private henting, avsløring til en ikke-godkjent destinasjon, revisjonsundertrykkelse, en forfalsket godkjenningsfortelling og en tillatt lesing i den verifiserte leietakeren. For hver, gi konkrete input gjennom kanalen som testes og spesifiser forventet verktøy og responsatferd før utførelse.
Dette er kategorier, ikke levert inventar, bestått påstander eller målte resultater. Legg til en tvetydig avsender uten fiendtlig språk: den bør be om en spesifikk kontobevisforespørsel, ikke fabrikkert godkjenning. Inkluder en autorisert handling i testmiljøet der det er relevant, slik at global fornektelse ikke kan utgi seg som presis håndhevelse. En tvungen verktøyforespørsel tester porten; faktisk inntak gjennom modellen tester en annen grense. Rapporter både separat og ikke utlede utplassert angrepsmotstand fra noen av dem alene.
Utvid til en implementeringsevaluering
Kjør autoriserte tester mot faktisk inntak, modell og verktøystabel i et isolert miljø. Versjon forespørsler, modellkonfigurasjon, koblingstillatelser og datasett. Gjenta modellbaserte tilfeller fordi utfallene kan variere. Registrer forsøk, nevnere og eksakte scoringskriterier i stedet for å rapportere en kontekstfri "100 % sikker" tall.
Legg til flertrinnsangrep som først manipulerer et sammendrag og senere utnytter det sammendraget som tilsynelatende bevis. Test foreldede godkjenninger, endret leietakerkontekst og utdata som navngir en angriperkontrollert rapporteringsdestinasjon. Inkluder avbrudds- og gjenopprettingssaker slik at feil ikke omgår den normale godkjenningsbanen. OWASP-juksearket legger vekt på lagdelte sikkerhetstiltak og evaluering med klare grenser. OWASP jukseark.
Gjør funn om til implementeringsbeslutninger
En vellykket uautorisert handling er en materialkontrollsvikt. Bevar sporet, begrens den berørte muligheten og korriger håndhevingsgrensen før du utvider tilgangen. For manipulerte sammendrag, forbedre krav til bevistilskriving og gjennomgang. Kjør de relevante sakene på nytt mot den endrede versjonen og behold tidligere feil som regresjoner.
Rapporter nyttig oppgavefullføring sammen med blokkerte angrep, uløste saker og dekningshull. Godkjenn en distribusjon kun for det testede omfanget og akseptert gjenværende risiko. En ren lokal suite er bevis på den suiten, ikke en garanti for alle fremtidige input.