[ 代理自动化 ]

衡量操作员的工作量,而无需发明节省

一种拟议的方法,用于在可比较的身份验证调查中衡量人力工作,而无需将演示转化为客户生产力声明。

由EmailAuth研究团队提供 · 6 分钟阅读

[ 要点 ]

  • 在安排任一工作流程之前定义等效任务和质量标准。
  • 单独的人员分钟数、完成时间和计费条目。
  • 保留故障、更正、设置和维护,而不是只计算成功的演示。
  • 本草案中没有衡量EmailAuth生产力结果。
在此页面上

在测量节省之前定义工作

操作员节省的时间是完成同等工作的两种方法之间的比较,而不是长轶事和简短演示之间的差异。对于电子邮件身份验证,有用的单元可能正在调查一个不熟悉的发送流并生成经过审查的建议。打开仪表板并不等于完成调查。快速建议另一个人必须重建可以增加总体工作量,同时使第一次互动看起来令人印象深刻。

本文提出了一种评估方法,而不是EmailAuth生产力结果。没有对客户任务进行计时,没有演示自动化,也没有声称有性能改进。来源审查日期为 2026 年 11 月 8 日。在该设计可以支持业务声明之前,需要单独记录产品功能、操作人员群体和研究条件。

确定接受边界

描述起始证据、允许的工具、预期输出和停止条件。调查可以从批准的报告摘要开始,以记录的所有者归属或明确的升级结束。当未解决的结果是正确的决定时,请包括在内。要求每个案件都由经过批准的发件人结束将奖励不受支持的信心,而不是对不确定性的有效处理。

在查看时间之前设定质量标准。示例包括使用正确的客户、保留证据来源、区分身份验证和 结盟,并避免未经授权的生产变更。 RFC 9989 提供协议区别;它没有确定特定操作员应用它的速度有多快。在可行的情况下,审阅者应独立于手动或辅助工作流程产生结果来评估结果。

比较可以合理比较的工作

选择常规案例、模糊案例和失败案例的代表性组合。记录操作人员的数量、相关经验、任务复杂程度和采样周期。不要向受助组提供干净、完整的证据,而基线组必须恢复丢失的文件。如果提议的工具改变了证据准备,则将该准备视为干预的一部分,而不是将其隐藏在计时器之外。

NIST's 随机区组设计指导 解释了控制重要的干扰因素并将其他因素随机化。此处应用的评估可以按难度对可比较的案例进行分组,并平衡操作员之间的工作流程顺序。这是一项拟议的研究选择,而不是声称本文进行了随机实验。重复相同的情况可以创造记忆优势;使用匹配案例或披露学习效果。

计算整个生命周期中人类的注意力

记录接收、调查、审查、纠正、批准、验证和结束的实际工作。将设置、培训、集成维护和运行失败恢复添加到期间级分类帐中。定义中断和上下文切换是否计数,然后一致地应用该规则。如果两个人参加同一个十分钟的评审,即使只过去了十分钟,也消耗了二十个人分钟。

将经过的时间分开。等待同事、外部提供商或其他报告间隔会影响完成时间,但不一定会消耗操作员的持续注意力。后台处理也不是自动的人类劳动。一个 Halo 时间追踪指南 描述与动作相关的快速条目;这些是可能的记录机制,并不能证明条目捕获了每项活动或衡量了因果节省。切勿将计费时间视为实际努力的完全替代品。

保留错误和不完整的运行

维护一个包含工作流程分配、开始条件、工作组成、结果、审查结果和排除的案例分类帐。如果任务被放弃,请保留已花费的时间及其原因。如果审阅者修复了错误的归因,请计算修复次数并对错误进行分类。仅报告成功完成的协助案例,同时保留所有基线失败会产生有偏差的比较。

选择重新处理事件和稍后更正的后续窗口。说明该窗口何时结束以及仍然未知的情况。在初步审查中看似正确的建议可能会产生下游工作。发现不方便的结果后,请勿更改纳入标准。如果确实有必要排除,请发布规则、计数和敏感性分析,以显示保留排除案例时结论如何变化。

计算努力,而不将其转化为虚构的收入

建议的期间比较是定义工作负载的基线人力工作减去辅助的人力工作,包括其可归因的设置和维护。使用一致的单位并披露分摊成本的分配方式。每个案例的差异需要一个明确的分母,特别是当工作流程完成不同数量的可接受案例时。报告完成率和错误率以及工作量,而不是让较短的平均数掩盖更多未解决的工作。

显示样本大小、典型工作量和分布。中位数、相关百分位数和范围可以揭示是否少数困难情况主导了结果;统计区间需要适合研究设计的方法。不要将一个有利的示范乘以每一个未来的领域。释放的产能不会自动节省现金、额外收入或减少人员配置。这些主张需要单独的经济证据和经批准的假设。

将批准控制保留在测量范围内

辅助工作流程必须保留与其比较器相同的所需人工决策。仅仅为了改善时间而取消DNS批准会改变安全条件并使预期的比较无效。 OWASP 的过度代理指导 支持限制功能、权限和自主操作。查看建议本身并不授予修改DNS 、建立凭据或在外部共享客户证据的权限。

确切的调试边界仍然开放:描述可测试的工作流程及其批准边界。在将任何EmailAuth功能显示为可用之前,请先对其进行验证。所需的原始证据也很出色:衡量可比较的任务,并保留错误、人工审查和可变性。未来的证据包应包含批准的协议、去识别化的案件分类账、质量评估、计算方法和限制。在这些存在之前,描述评估计划并保留结果不进行衡量。

[ 外卖 ]

在描述节省之前衡量可接受的结果和所有可归因的人力工作。

[ 按角色 ]

这对您意味着什么

选择您的角色以执行后续实际步骤。

服务运营主导

选择真正的工作单位

拥有评估边界,因此研究衡量的是完整的服务责任,而不是方便的界面操作。

后续步骤

  1. 指定代表性案例组合,包括不确定的发件人归属。
  2. 保持基线程序和所需的批准可见。
  3. 在招募前定义重新开放和后期纠正后续行动。

评估分析师

保持可比性和不确定性

将每个时机都视为有上下文的观察。分析应解释谁做了这项工作、对哪些案例进行了抽样以及如何判断质量。

后续步骤

  1. 在设计中平衡操作者经验和案例难度。
  2. 维护单独的努力、经过时间和结果字段。
  3. 报告样本量、分布、排除和敏感性,但不声称普遍提升。

产品和索赔所有者

索赔前需要证据

提议的自动化不支持客户结果。仅批准与所展示的能力和实际测量的人口相匹配的措辞。

后续步骤

  1. 验证研究期间哪些产品功能可用。
  2. 查看完整的账本,而不仅仅是有利的例子。
  3. 将容量、成本和收入索赔分开并独立支持。

[ 常见问题解答 ]

常见问题

本研究的调查何时算完成?

在收集计时之前定义完成情况。这可能意味着经过审查的归因、支持的建议或正确记录的升级。打开报告或生成未经审核的建议是不同的端点。

两位审稿人同时完成的工作如何计算?

计算每个人的积极努力。两个审稿人的十分钟是二十人分钟,而经过的时间仍然是十分钟。对会议和并行工作使用一致的录音规则。

缓慢失败的辅助运行是否应该保留在样本中?

是的,根据预先声明的包含规则保留其消耗的努力和结果。仅删除辅助故障会使比较产生误导。报告任何合理的排除以及它们如何影响结论。

PSA 时间表本身能否节省因果时间?

不可以。时间表可以记录工作量,但它不能建立可比较的任务、完整的捕获或适当的反事实。 Halo 记录动作条目和快速条目;他们的测量质量仍然需要评估。

为什么要平衡操作员经验和任务顺序?

经验、难度或学习的差异可能会被误认为是工作流程的效果。分组和随机化是既定的设计工具;必须规划并记录它们对拟议评估的具体应用。

集成设置应如何跨案例分配?

在计算结果前说明研究期限和分配规则。单独显示设置并将其包含在期间总计中。如果工作量假设实质上改变了结论,请披露该敏感性而不是隐藏成本。

较短的平均值是否证明新的工作流程更好?

如果准确性、完整性或安全性恶化,则不会。当前工作量分布以及审查结果、异常率和可接受的结果。仅靠有利的手段就可以掩盖疑难案件或转移工作。

是否可以删除审批步骤以提高测量速度?

但声称比较保留了相同的操作控制。在两个工作流程中保留所需的DNS 、访问和披露批准。任何自主权的改变都必须经过单独审查的干预措施。

[ 来源 ]

来源

  1. 光环:时间追踪
  2. NIST /SEMATECH 电子手册:随机区组设计
  3. OWASP LLM06:2025 过度代理
  4. RFC 9989 :基于域的消息身份验证、报告和一致性

[ 词汇表 ]

词汇表

人分钟
一个人一分钟的积极努力;并发参与者分别为拟议的劳动力总量做出​​贡献。
已完成完成时间
定义的开始和结束之间的时钟时间,包括可能不会消耗持续人类注意力的等待。
类似任务
具有足够相似证据、难度、所需决策和验收标准的评估单元,以支持有意义的工作流程比较。
阻断因子
受控的变异源,例如操作员经验或案例难度,用于组织实验比较,而不是将其与干预相混淆。
可接受的结果
结果符合预先声明的质量和授权标准;它可以包括合理的升级,而不是被迫的积极决定。

企业出处

为什么顶级金融机构和政府 退役了他们的电子邮件安全仪表板。

传统的电子邮件身份验证平台会向您出售仪表板并要求您的工程师来完成这项工作。在高风险环境中,手动监督意味着延迟执行、配置漂移和不受监控的影子域。

EmailAuth是代理电子邮件来源平台。 我们的代理人强制执行 p=reject,保持第三方发件人一致并将您的域名移至完整状态 RFC 9989 合规性、新的DMARC标准,以及人机交互审核能力。

政府 大型企业 一级金融机构

SaaS · 专用租赁 · 气隙本地部署 · BYOK 加密

知识库