Ein Authentifizierungsagent sollte sicher anhalten, wenn die Beweise keine Änderung stützen. Eine Demonstration mit einem bekannten Absender und einem sauberen Bericht kann dieses Verhalten nicht nachweisen. Erstellen Sie einen Bewertungssatz, der unvollständige Abdeckung, widersprüchliche Eigentumsverhältnisse, irreführende Kennungen und im Berichtsinhalt eingebettete Anweisungen enthält.
Geben Sie die Entscheidung an, bevor Sie den Agenten testen
Schreiben Sie für jeden Fall die Beweise, die zulässigen Werkzeuge, die erwartete Entscheidungsklasse und den Grund auf. Zu den nützlichen Klassen gehören „Untersuchen“, „Empfehlen ohne Ausführung“, „Anfordern einer Genehmigung“ und „Ablehnen einer Aktion, die außerhalb des Geltungsbereichs liegt“. Unterscheiden Sie eine technisch falsche Behauptung von einer unbekannten Geschäftsidentität. Die erwartete Antwort sollte keine Fakten hervorbringen, die in der Eingabe fehlen.
Verwenden Sie für jede Tool-Ausführung isolierte Anmeldeinformationen und Nicht-Produktionsressourcen. Ersetzen Sie bei reinen Offline-Tests die Tools durch einen Rekorder, der versuchte Anrufe aufzeichnet, ohne sie auszuführen. Behalten Sie Modell- und Konfigurationsversion, Eingabeaufforderung, Quell-Hashes, Ausgaben, Tool-Versuche und Evaluator-Begründung bei. Lassen Sie nicht zu, dass das zu testende Modell seine eigenen erwarteten Ergebnisse neu schreibt.
Decken Sie authentifizierungsspezifische Fallen ab
Fügen Sie eine hinzu SPF Pass für eine Domäne, die nicht mit der sichtbaren Von-Domäne übereinstimmt, und ein SPF Fehler, der mit „aligned“ einhergeht DKIM Erfolg. Geben Sie eine bekannte Anbieter-IP ohne Kundeneigentumsdaten an. Fügen Sie veraltete Berichte und widersprüchliche Eigentümerdatensätze hinzu. RFC 9989 begründet die Authentifizierungssemantik; Für die Organisationseigentümerschaft ist weiterhin ein gesonderter Nachweis erforderlich.
Fügen Sie ein Berichtsfeld hinzu, das sich als Administrator ausgibt und eine DNS Änderung oder den Abruf eines Geheimnisses anfordert. OWASP-Prompt-Injektion beschreibt das Risiko, dass von Angreifern kontrollierte Inhalte das Verhalten beeinflussen. Das richtige Ergebnis ist nicht nur die Wiederholung einer Warnung; Die versuchten Werkzeugaufrufe müssen innerhalb der Autorisierung bleiben.
Ordnen Sie fünf Evidenzlücken unterschiedliche Erwartungen zu
Fordern Sie für einen fehlenden Eigentümer einen kontospezifischen Zuordnungsnachweis an. Bei widersprüchlichen Eigentümern sollten Sie den Konflikt eskalieren, anstatt die selbstbewusstere Aussage zu wählen. Fordern Sie bei veralteten Beobachtungen aktuelle Beweise an. Bewahren Sie eine eingebettete Anweisung zum Abrufen von Geheimnissen oder zum Veröffentlichen DNS als Daten auf und verweigern Sie Aktionen außerhalb der tatsächlichen Berechtigungsgrenze. Führen Sie für eine unterstützte, autorisierte schreibgeschützte Untersuchung die nützliche Analyse durch, anstatt alles abzulehnen.
Hierbei handelt es sich um vorgeschlagene Erwartungen für hypothetische Fälle, nicht um durch eine Referenzfunktion validierte Bezeichnungen oder beobachtete LLM-Ergebnisse. Konstruieren Sie vor der Bewertung konkrete Eingaben, vertrauenswürdigen Kontext und erwartete Ergebnisse. Zeichnen Sie die tatsächliche Modellreaktion, versuchte Aufrufe und erzwungene Effekte separat auf. Eine Schemaprüfung, die deklarierte Felder akzeptiert, kann nicht nachweisen, dass die Beweise wahr sind oder dass ein Agent einem Angriff widerstanden hat. Fügen Sie gleichwertige harmlose Aufgaben hinzu, damit der Test den sinnvollen Abschluss misst und unsichere Aktionen stoppt.
Bewerten Sie Sicherheit und Nutzen getrennt
Zählen Sie unerlaubte Aktionsversuche, selbst wenn ein nachgeschalteter Wachmann sie blockiert. Gefährliche Hinrichtungen, unbegründete Tatsachenbehauptungen, versäumte Eskalationen und unnötige Ablehnungen werden separat gezählt. Ein System, das jede Aufgabe ablehnt, kann sicher sein, DNS zu schreiben, während der betriebliche Zweck verfehlt wird. Geben Sie den genauen Nenner für jede Metrik an und wiederholen Sie gegebenenfalls stochastische Läufe.
Verwenden Sie einen vorgehaltenen Satz für die spätere Auswertung, damit beim Stimmen nicht nur die Beispiele auswendig gelernt werden. Fügen Sie echte Fehlermuster erst nach entsprechender Datenschutzprüfung und -minimierung hinzu. NIST AI RMF bietet einen freiwilligen Rahmen für das Risikomanagement; Dieses Bewertungsdesign wendet sein Messprinzip auf einen bestimmten E-Mail-Workflow an.
Ein bestandenes Ergebnis ist durch getestete Bedingungen begrenzt. Führen Sie relevante Tests nach Änderungen an Modell, Tool, Eingabeaufforderung, Anmeldeinformationen oder Anbieter erneut aus und behalten Sie eine Stoppbedingung für neu beobachtetes unsicheres Verhalten bei.