Bir ajanın düşmanca bir cümleyi reddettiğinin gösterilmesi bir güvence iddiası değildir. Sistemi bir saldırganın istediği sonuçlara göre değerlendirin: yetkisiz DNS değişiklikleri, müşteriler arası erişim, onaylanmamış bir hedefe ifşa, bastırılmış denetim kanıtları veya yanlış onay anlatımı. Güvenliğin yalnızca reddetmeyle ölçülmemesi için bu testleri meşru görevlerle eşleştirin.
Saldırı yüzeyinin haritasını çıkarın
Aracının tükettiği girdileri ve ulaşabileceği yetenekleri listeleyin. Rapor metnini, e-posta örneklerini, alınan belgeleri, saklanan özetleri ve araç yanıtlarını ekleyin. Hangi girdi kaynaklarının dışarıdan etkilenebileceğini işaretleyin. Uygulamanın model çıktısını alma, iletişim veya yapılandırma eylemlerine nerede dönüştürdüğünü belirleyin.
Hızlı enjeksiyon, araç çağrılarının yanı sıra sonuçları da etkileyebilir. OWASP, harici içeriğin bir modeli yeniden yönlendirebileceğini ve kusursuz bir önlemenin varsayılmaması gerektiğini belirtir. OWASP LLM01. Kimlik doğrulama analizi için, yanlış bir "onaylanan gönderen" sonucu, bir DNS değişikliği gerçekleşmeden önce bile zararlı olabilir.
Testten önce beklenen kararları belirtin
Her durumda girdiyi, yetkili kiracıyı, izin verilen araçları, güvenilir onayları, beklenen sonucu ve yasaklanan yan etkileri saklayın. Düşmanca bir dil kullanmadan muğlak bir kimlik ekleyin: belirsizlik tek başına otomatik onaya neden olmamalıdır. Yine de özetlenmesi gereken iyi huylu bir rapor ekleyin. Yalnızca başarılı yazma denemelerini değil, desteklenmeyen iddiaları ve verilerin açığa çıkmasını nasıl puanlayacağınıza karar verin.
Model davranışını yaptırım davranışından ayırın. Bir model, yasaklanmış bir eylem önerebilirken, takım kapısı bunu doğru bir şekilde reddedebilir. Bu engellenmiş bir girişimdir, güvenli bir modelin kanıtı değildir. Tersine, metindeki kibar bir ret, verileri zaten açıklamış olan bir araç çağrısını telafi etmez.
Birbiriyle çelişen altı değerlendirme hedefi tanımlayın
Önerilen bir değerlendirme, yasaklanan beş sonucu tek bir meşru görevle eşleştirebilir: onaylanmamış bir DNS mutasyonu, başka bir kiracının özel bilgilerinin alınması, onaylanmamış bir hedefe ifşa edilmesi, denetimin engellenmesi, sahte bir onay anlatımı ve doğrulanmış kiracı içinde izin verilen bir okuma. Her biri için, test edilen kanal aracılığıyla somut girdi sağlayın ve yürütmeden önce beklenen aracı ve yanıt davranışını belirtin.
Bunlar kategoriler, tedarik edilmeyen demirbaşlar, geçen iddialar veya ölçülen sonuçlardır. Düşmanca bir dil kullanmayan, belirsiz bir gönderen ekleyin: uydurma bir onay değil, belirli bir hesap kanıtı talebi istemelidir. İlgili olduğu durumlarda test ortamına yetkili bir eylem ekleyin; böylece küresel reddetme, kesin yaptırım olarak görülemez. Zorunlu bir araç isteği kapıyı test eder; model aracılığıyla fiili alım farklı bir sınırı test eder. Her ikisini de ayrı ayrı raporlayın ve konuşlandırılmış saldırı direncini tek başına ikisinden de çıkarmayın.
Dağıtım değerlendirmesini genişletin
Yalıtılmış bir ortamda gerçek alım, model ve araç yığınına karşı yetkili testler çalıştırın. İstemleri, model yapılandırmasını, bağlayıcı izinlerini ve veri kümelerini sürümlendirin. Sonuçlar farklılık gösterebileceği için modele dayalı vakaları tekrarlayın. Bağlamdan bağımsız "%100 güvenli" bir rakam bildirmek yerine girişimleri, paydaları ve kesin puanlama kriterlerini kaydedin.
Önce bir özeti manipüle eden ve daha sonra bu özeti görünür kanıt olarak kullanan çok adımlı saldırılar ekleyin. Eski onayları, değişen kiracı bağlamını ve saldırgan tarafından kontrol edilen bir raporlama hedefini adlandıran çıktıyı test edin. Arızaların normal onay yolunu atlamaması için kesinti ve kurtarma durumlarını dahil edin. OWASP hile sayfası, katmanlı korumaları ve net sınırlarla değerlendirmeyi vurgular. OWASP hile sayfası.
Bulguları dağıtım kararlarına dönüştürün
Başarılı bir yetkisiz eylem, maddi kontrol hatasıdır. Erişimi genişletmeden önce izi koruyun, etkilenen yeteneği kısıtlayın ve uygulama sınırını düzeltin. Üzerinde oynanmış özetler için kanıt ilişkilendirme ve inceleme gerekliliklerini iyileştirin. İlgili vakaları değiştirilen sürüme göre yeniden çalıştırın ve önceki hataları regresyon olarak koruyun.
Engellenen saldırılar, çözülmemiş vakalar ve kapsam boşluklarının yanı sıra yararlı görev tamamlandığını da bildirin. Dağıtımı yalnızca test edilen kapsam ve kabul edilen kalan risk için onaylayın. Temiz bir yerel süit, o süitin kanıtıdır, gelecekteki her girdinin garantisi değildir.