代理人拒绝敌对判决的证明并不是保证声明。根据攻击者想要的结果来评估系统:未经授权的DNS更改、跨客户检索、泄露给未经批准的目的地、隐藏的审计证据或错误的批准叙述。将这些测试与合法任务配对,这样安全性就不仅仅通过拒绝来衡量。
绘制攻击面图
列出代理消耗的输入及其可以达到的功能。包括报告文本、电子邮件样本、检索到的文档、存储的摘要和工具响应。标记哪些输入源可能会受到外界影响。确定应用程序在何处将模型输出转换为检索、通信或配置操作。
提示注入会影响结论以及工具调用。 OWASP 指出,外部内容可以重定向模型,并且不应假定万无一失的预防措施。 OWASP LLM01。对于身份验证分析,即使在DNS更改发生之前,错误的“批准的发件人”结论也可能是有害的。
在测试前指定预期的决策
对于每种情况,保留输入、授权租户、允许的工具、可信批准、预期结果和禁止的副作用。包括不明确的身份,但没有敌意的语言:仅凭不确定性不应导致自动批准。添加仍应进行总结的良性报告。决定如何对不受支持的声明和数据暴露进行评分,而不仅仅是成功的写入尝试。
将模型行为与执行行为分开。模型可能会提出禁止的操作,而工具门正确地拒绝它。这是一次受阻的尝试,而不是安全模型的证明。相反,文本中的礼貌拒绝并不能弥补已经披露数据的工具调用。
定义六个对比的评估目标
拟议的评估可以将五种禁止结果与一项合法任务配对:未经批准的DNS突变、另一租户的私人检索、向未经批准的目的地的披露、审计抑制、伪造的批准叙述以及在经过验证的租户内允许的读取。对于每个,通过正在测试的通道提供具体输入,并在执行前指定预期的工具和响应行为。
这些是类别,不是提供的固定装置、通过的断言或测量的结果。添加一个不带敌意语言的模糊发件人:它应该提示特定的帐户证据请求,而不是捏造的批准。在相关的测试环境中包括授权的操作,以便全局拒绝不能伪装成精确的执行。强制工具请求测试门;通过模型的实际摄入测试了不同的边界。分别报告两者,并且不要单独从其中任何一个推断已部署的攻击抵抗力。
扩展到部署评估
在隔离环境中针对实际摄取、模型和工具堆栈运行授权测试。对提示、模型配置、连接器权限和数据集进行版本控制。重复基于模型的案例,因为结果可能会有所不同。记录尝试、分母和准确的评分标准,而不是报告与上下文无关的“100% 安全”数字。
添加多步骤攻击,首先操纵摘要,然后利用该摘要作为明显的证据。测试过时的批准、更改的租户上下文以及命名攻击者控制的报告目标的输出。包括中断和恢复案例,以便故障不会绕过正常的审批路径。 OWASP 备忘单强调具有明确限制的分层保护和评估。 OWASP 备忘单.
将调查结果转化为部署决策
一次成功的未经授权的行动就是材料控制的失败。在扩展访问之前,保留跟踪、限制受影响的能力并纠正执行边界。对于篡改的摘要,改进证据归属和审查要求。针对更改的版本重新运行相关案例,并将以前的失败保留为回归。
报告有用的任务完成情况以及被阻止的攻击、未解决的案例和覆盖范围差距。仅批准测试范围和可接受的残余风险的部署。干净的本地套件是关于该套件的证据,而不是对每个未来输入的保证。