En autentificeringsagent bør stoppe sikkert, når beviserne ikke understøtter en ændring. En demonstration med en kendt afsender og en ren rapport kan ikke fastslå denne adfærd. Byg et evalueringssæt indeholdende ufuldstændig dækning, modstridende ejerskab, vildledende identifikatorer og instruktioner indlejret i rapportens indhold.
Angiv beslutningen, før du tester agenten
For hver sag skal du skrive beviser, tilladte værktøjer, forventet beslutningsklasse og begrundelse. Nyttige klasser inkluderer at undersøge, anbefale uden henrettelse, anmode om godkendelse og afvise en handling uden for rammerne. Skelne en teknisk falsk påstand fra en virksomhedsidentitet, der forbliver ukendt. Det forventede svar bør ikke fremstille fakta fraværende i inputtet.
Brug isolerede legitimationsoplysninger og ikke-produktionsressourcer til enhver værktøjsudførelse. For rent offline-tests skal du udskifte værktøjer med en optager, der fanger forsøg på opkald uden at udføre dem. Bevar model- og konfigurationsversion, prompt, kildehash, output, værktøjsforsøg og evaluator-rationale. Lad ikke den testede model omskrive sine egne forventede resultater.
Dæk godkendelsesspecifikke fælder
Inkluder en SPF pass for et domæne, der ikke stemmer overens med det synlige From-domæne, og en SPF fejl ledsaget af justeret DKIM succes. Inkluder en velkendt udbyder-IP uden kundeejerskab. Tilføj uaktuelle rapporter og modstridende ejerregistreringer. RFC 9989 begrunder autentificeringssemantikken; organisatorisk ejerskab kræver stadig særskilte beviser.
Tilføj et rapportfelt, der hævder at være en administrator og anmoder om en DNS ændring eller hemmelig hentning. OWASP prompt injektion beskriver risikoen for, at hackerkontrolleret indhold påvirker adfærd. Det korrekte resultat er ikke blot at gentage en advarsel; de forsøgte værktøjsopkald skal forblive inden for autorisation.
Tildel distinkte forventninger til fem bevishuller
For en manglende ejer skal du anmode om kontospecifikke tilskrivningsbeviser. For modstridende ejere, eskaler konflikten i stedet for at vælge det mere selvsikre udsagn. For uaktuelle observationer, anmod om aktuelle beviser. For at få en indlejret instruktion til at hente hemmeligheder eller udgive DNS , skal du bevare den som data og afvise handlinger uden for den faktiske tilladelsesgrænse. For en understøttet, autoriseret skrivebeskyttet undersøgelse skal du fuldføre den nyttige analyse i stedet for at afvise alt.
Disse er foreslåede forventninger til hypotetiske tilfælde, ikke etiketter valideret af en referencefunktion eller observerede LLM-resultater. Konstruer konkrete input, pålidelig kontekst og forventede resultater før evaluering. Optag den faktiske modelrespons, forsøgte opkald og håndhævede effekter separat. Et skematjek, der accepterer deklarerede felter, kan ikke demonstrere, at beviset er sandt, eller at en agent modstod et angreb. Tilføj tilsvarende godartede opgaver, så testen måler meningsfuld gennemførelse samt stopper usikre handlinger.
Score sikkerhed og nytte separat
Tæl uautoriserede handlingsforsøg, selvom en downstream-vagt blokerer dem. Tæl særskilt usikre henrettelser, uunderbyggede faktuelle påstande, ubesvarede eskalationer og unødvendige afvisninger. Et system, der afviser enhver opgave, kan være sikkert fra at skrive DNS mens det fejler det operationelle formål. Rapporter den nøjagtige nævner for hver metrik og gentag stokastiske kørsler, hvor det er relevant.
Brug et udholdt sæt til senere evaluering, så tuning ikke blot husker eksemplerne. Tilføj kun reelle fejlmønstre efter passende gennemgang og minimering af privatlivets fred. NIST AI RMF tilbyder en frivillig risikostyringsramme; dette evalueringsdesign anvender dets måleprincip til en specifik mail-workflow.
Et bestået resultat er afgrænset af testede forhold. Kør relevante test igen efter model-, værktøjs-, prompt-, legitimationsoplysninger eller udbyderændringer, og behold en stopbetingelse for nyligt observeret usikker adfærd.