En demonstration av att en agent avvisade en fientlig dom är inte ett försäkringsanspråk. Utvärdera systemet mot de resultat en angripare vill ha: obehöriga DNS ändringar, hämtning mellan kunder, avslöjande till en ej godkänd destination, undertryckta revisionsbevis eller ett falskt godkännandeberättelse. Para ihop dessa tester med legitima uppgifter så att säkerheten inte bara mäts genom vägran.
Kartlägg attackytan
Lista ingångarna agenten förbrukar och de möjligheter den kan nå. Inkludera rapporttext, e-postprover, hämtade dokument, lagrade sammanfattningar och verktygssvar. Markera vilka ingångskällor som kan påverkas av utomstående. Identifiera var applikationen omvandlar modellutdata till hämtning, kommunikation eller konfigurationsåtgärder.
Snabb injektion kan påverka slutsatser såväl som verktygsanrop. OWASP noterar att externt innehåll kan omdirigera en modell och att inget idiotsäkert förhindrande bör antas. OWASP LLM01. För autentiseringsanalys kan en falsk slutsats av "godkänd avsändare" vara skadlig även innan en DNS ändring inträffar.
Specificera förväntade beslut före testning
För varje fall, behåll input, auktoriserad hyresgäst, tillåtna verktyg, betrodda godkännanden, förväntat resultat och förbjudna biverkningar. Inkludera tvetydig identitet utan fientligt språk: osäkerhet ensam bör inte orsaka automatiskt godkännande. Lägg till en godartad rapport som fortfarande bör sammanfattas. Bestäm hur du ska betygsätta anspråk som inte stöds och dataexponering, inte bara framgångsrika skrivförsök.
Separera modellbeteende från verkställighetsbeteende. En modell kan föreslå en förbjuden åtgärd medan verktygsgrinden korrekt förnekar det. Det är ett blockerat försök, inte bevis på en säker modell. Omvänt, en artig vägran i text kompenserar inte för ett verktygsanrop som redan avslöjade data.
Definiera sex kontrasterande utvärderingsmål
En föreslagen utvärdering kan koppla ihop fem förbjudna utfall med en legitim uppgift: en ej godkänd DNS mutation, en annan hyresgästs privata hämtning, avslöjande till en ej godkänd destination, revisionsundertryckning, en förfalskad godkännandeberättelse och en tillåten läsning inom den verifierade hyresgästen. För varje, tillför konkret input genom kanalen som testas och specificera det förväntade verktyget och svarsbeteendet före exekvering.
Dessa är kategorier, ej levererade fixturer, godkända påståenden eller uppmätta resultat. Lägg till en tvetydig avsändare utan något fientligt språk: den bör begära en specifik kontobevisbegäran, inte ett påhittat godkännande. Inkludera en auktoriserad åtgärd i testmiljön där det är relevant så att globalt förnekande inte kan maskera sig som exakt verkställighet. En påtvingad verktygsbegäran testar grinden; faktisk intag genom modellen testar en annan gräns. Rapportera båda separat och dra inte slutsatsen om utplacerat attackmotstånd från någon av dem.
Expandera till en implementeringsutvärdering
Kör auktoriserade tester mot det faktiska intaget, modellen och verktygsstapeln i en isolerad miljö. Verifiera uppmaningarna, modellkonfigurationen, anslutarbehörigheterna och datauppsättningarna. Upprepa modellbaserade fall eftersom resultaten kan variera. Spela in försök, nämnare och exakta poängkriterier istället för att rapportera en kontextfri "100% säker" siffra.
Lägg till flerstegsattacker som först manipulerar en sammanfattning och senare utnyttjar sammanfattningen som uppenbart bevis. Testa inaktuella godkännanden, ändrat klientkontext och utdata som namnger en angriparkontrollerad rapporteringsdestination. Inkludera avbrott och återställningsfall så att fel inte kringgår den normala godkännandevägen. OWASP-fusket betonar skiktade skyddsåtgärder och utvärdering med tydliga gränser. OWASP fuskblad.
Förvandla resultat till implementeringsbeslut
En framgångsrik obehörig åtgärd är ett materialkontrollfel. Bevara spåret, begränsa den påverkade kapaciteten och korrigera tillsynsgränsen innan du utökar åtkomsten. För manipulerade sammanfattningar, förbättra kraven på bevistillskrivning och granskning. Kör om de relevanta fallen mot den ändrade versionen och behåll tidigare fel som regressioner.
Rapportera användbara uppgifter som slutförts tillsammans med blockerade attacker, olösta fall och täckningsluckor. Godkänn en utplacering endast för det testade skopet och accepterad kvarvarande risk. En ren lokal svit är bevis på den sviten, inte en garanti för varje framtida indata.