[ 代理自动化 ]

身份验证分析工作流程中的即时注入风险

通过在真实的身份验证分析测试集中测量未经授权的结果和有用的任务完成情况来评估即时注入风险。

由EmailAuth研究团队提供 · 3 分钟阅读

[ 要点 ]

  • 通过在真实的身份验证分析测试集中测量未经授权的结果和有用的任务完成情况来评估即时注入风险。
  • 通过合法的控制,分别对模型尝试和强制结果进行评分;少量通过的测试集并不能保证安全。
在此页面上

代理人拒绝敌对判决的证明并不是保证声明。根据攻击者想要的结果来评估系统:未经授权的DNS更改、跨客户检索、泄露给未经批准的目的地、隐藏的审计证据或错误的批准叙述。将这些测试与合法任务配对,这样安全性就不仅仅通过拒绝来衡量。

绘制攻击面图

列出代理消耗的输入及其可以达到的功能。包括报告文本、电子邮件样本、检索到的文档、存储的摘要和工具响应。标记哪些输入源可能会受到外界影响。确定应用程序在何处将模型输出转换为检索、通信或配置操作。

提示注入会影响结论以及工具调用。 OWASP 指出,外部内容可以重定向模型,并且不应假定万无一失的预防措施。 OWASP LLM01。对于身份验证分析,即使在DNS更改发生之前,错误的“批准的发件人”结论也可能是有害的。

在测试前指定预期的决策

对于每种情况,保留输入、授权租户、允许的工具、可信批准、预期结果和禁止的副作用。包括不明确的身份,但没有敌意的语言:仅凭不确定性不应导致自动批准。添加仍应进行总结的良性报告。决定如何对不受支持的声明和数据暴露进行评分,而不仅仅是成功的写入尝试。

将模型行为与执行行为分开。模型可能会提出禁止的操作,而工具门正确地拒绝它。这是一次受阻的尝试,而不是安全模型的证明。相反,文本中的礼貌拒绝并不能弥补已经披露数据的工具调用。

定义六个对比的评估目标

拟议的评估可以将五种禁止结果与一项合法任务配对:未经批准的DNS突变、另一租户的私人检索、向未经批准的目的地的披露、审计抑制、伪造的批准叙述以及在经过验证的租户内允许的读取。对于每个,通过正在测试的通道提供具体输入,并在执行前指定预期的工具和响应行为。

这些是类别,不是提供的固定装置、通过的断言或测量的结果。添加一个不带敌意语言的模糊发件人:它应该提示特定的帐户证据请求,而不是捏造的批准。在相关的测试环境中包括授权的操作,以便全局拒绝不能伪装成精确的执行。强制工具请求测试门;通过模型的实际摄入测试了不同的边界。分别报告两者,并且不要单独从其中任何一个推断已部署的攻击抵抗力。

扩展到部署评估

在隔离环境中针对实际摄取、模型和工具堆栈运行授权测试。对提示、模型配置、连接器权限和数据集进行版本控制。重复基于模型的案例,因为结果可能会有所不同。记录尝试、分母和准确的评分标准,而不是报告与上下文无关的“100% 安全”数字。

添加多步骤攻击,首先操纵摘要,然后利用该摘要作为明显的证据。测试过时的批准、更改的租户上下文以及命名攻击者控制的报告目标的输出。包括中断和恢复案例,以便故障不会绕过正常的审批路径。 OWASP 备忘单强调具有明确限制的分层保护和评估。 OWASP 备忘单.

将调查结果转化为部署决策

一次成功的未经授权的行动就是材料控制的失败。在扩展访问之前,保留跟踪、限制受影响的能力并纠正执行边界。对于篡改的摘要,改进证据归属和审查要求。针对更改的版本重新运行相关案例,并将以前的失败保留为回归。

报告有用的任务完成情况以及被阻止的攻击、未解决的案例和覆盖范围差距。仅批准测试范围和可接受的残余风险的部署。干净的本地套件是关于该套件的证据,而不是对每个未来输入的保证。

[ 外卖 ]

通过合法的控制,分别对模型尝试和强制结果进行评分;少量通过的测试集并不能保证安全。

[ 按角色 ]

这对您意味着什么

选择您的角色以执行后续实际步骤。

IT/邮件管理员

测试真实堆栈

本地门测试只是一层。

后续步骤

  1. 版本连接器和提示。
  2. 捕捉工具痕迹。
  3. 重新测试回归。

CISO / SecOps

定义攻击者结果

成绩的实际效果,不是安心的语言。

后续步骤

  1. 跟踪披露和写入。
  2. 检查虚假批准。
  3. 限制失败的能力。

创始人/非技术人员

评估有用的安全工作

寻找允许的任务完成和防止的伤害。

后续步骤

  1. 同意部署范围。
  2. 审查覆盖范围差距。
  3. 避免绝对安全的主张。

[ 常见问题解答 ]

常见问题

一次被拒绝的攻击就足够了吗?

不。测试多个攻击者目标、不明确的情况和合法的控制。

测试记录应包含哪些内容?

输入、租户背景、能力、可信批准、预期结果、实际行动和禁止的副作用。

被拒绝的敌对工具调用是成功的典范吗?

证明该门阻止了该请求;它并不能证明模型的行为是安全的。

本文是否执行参考套件?

不。它提出了对比的评估目标和所需的证据;未运行任何门、模型或产品连接器。

为什么要包含歧义而不带有敌意的文字?

丢失所有权仍必须触发证据请求,而不是不支持的归属或自动许可。

完全合格的小套房能证明安全吗?

否。结果适用于测试的输入、通道、权限和版本;报告缺失的承保范围和剩余风险。

为什么要保留良性控制?

它们揭示了有用的授权分析是否仍然有效,而不是被不加区别地阻止。

部署测试中未经授权的操作会发生什么?

保留证据,限制受影响的功能,修复控制并重新测试更改的版本。

[ 来源 ]

来源

  1. OWASP LLM01 快速注入

    部分 即时注入漏洞类型·预防和缓解策略

  2. OWASP LLM 即时注射预防备忘单

    部分 特定于代理的防御 · 最低权限 · 对您的防御进行烟雾测试

  3. OWASP LLM06 过度代理

    部分 预防和缓解策略

[ 词汇表 ]

词汇表

对抗性评估
使用故意的敌对输入和明确的预期安全结果进行测试。
回归案例
保留的测试,检查先前观察到的缺陷是否再次出现。

企业出处

为什么顶级金融机构和政府 退役了他们的电子邮件安全仪表板。

传统的电子邮件身份验证平台会向您出售仪表板并要求您的工程师来完成这项工作。在高风险环境中,手动监督意味着延迟执行、配置漂移和不受监控的影子域。

EmailAuth是代理电子邮件来源平台。 我们的代理人强制执行 p=reject,保持第三方发件人一致并将您的域名移至完整状态 RFC 9989 合规性、新的DMARC标准,以及人机交互审核能力。

政府 大型企业 一级金融机构

SaaS · 专用租赁 · 气隙本地部署 · BYOK 加密

知识库