在测量节省之前定义工作
操作员节省的时间是完成同等工作的两种方法之间的比较,而不是长轶事和简短演示之间的差异。对于电子邮件身份验证,有用的单元可能正在调查一个不熟悉的发送流并生成经过审查的建议。打开仪表板并不等于完成调查。快速建议另一个人必须重建可以增加总体工作量,同时使第一次互动看起来令人印象深刻。
本文提出了一种评估方法,而不是EmailAuth生产力结果。没有对客户任务进行计时,没有演示自动化,也没有声称有性能改进。来源审查日期为 2026 年 11 月 8 日。在该设计可以支持业务声明之前,需要单独记录产品功能、操作人员群体和研究条件。
确定接受边界
描述起始证据、允许的工具、预期输出和停止条件。调查可以从批准的报告摘要开始,以记录的所有者归属或明确的升级结束。当未解决的结果是正确的决定时,请包括在内。要求每个案件都由经过批准的发件人结束将奖励不受支持的信心,而不是对不确定性的有效处理。
在查看时间之前设定质量标准。示例包括使用正确的客户、保留证据来源、区分身份验证和 结盟,并避免未经授权的生产变更。 RFC 9989 提供协议区别;它没有确定特定操作员应用它的速度有多快。在可行的情况下,审阅者应独立于手动或辅助工作流程产生结果来评估结果。
比较可以合理比较的工作
选择常规案例、模糊案例和失败案例的代表性组合。记录操作人员的数量、相关经验、任务复杂程度和采样周期。不要向受助组提供干净、完整的证据,而基线组必须恢复丢失的文件。如果提议的工具改变了证据准备,则将该准备视为干预的一部分,而不是将其隐藏在计时器之外。
NIST's 随机区组设计指导 解释了控制重要的干扰因素并将其他因素随机化。此处应用的评估可以按难度对可比较的案例进行分组,并平衡操作员之间的工作流程顺序。这是一项拟议的研究选择,而不是声称本文进行了随机实验。重复相同的情况可以创造记忆优势;使用匹配案例或披露学习效果。
计算整个生命周期中人类的注意力
记录接收、调查、审查、纠正、批准、验证和结束的实际工作。将设置、培训、集成维护和运行失败恢复添加到期间级分类帐中。定义中断和上下文切换是否计数,然后一致地应用该规则。如果两个人参加同一个十分钟的评审,即使只过去了十分钟,也消耗了二十个人分钟。
将经过的时间分开。等待同事、外部提供商或其他报告间隔会影响完成时间,但不一定会消耗操作员的持续注意力。后台处理也不是自动的人类劳动。一个 Halo 时间追踪指南 描述与动作相关的快速条目;这些是可能的记录机制,并不能证明条目捕获了每项活动或衡量了因果节省。切勿将计费时间视为实际努力的完全替代品。
保留错误和不完整的运行
维护一个包含工作流程分配、开始条件、工作组成、结果、审查结果和排除的案例分类帐。如果任务被放弃,请保留已花费的时间及其原因。如果审阅者修复了错误的归因,请计算修复次数并对错误进行分类。仅报告成功完成的协助案例,同时保留所有基线失败会产生有偏差的比较。
选择重新处理事件和稍后更正的后续窗口。说明该窗口何时结束以及仍然未知的情况。在初步审查中看似正确的建议可能会产生下游工作。发现不方便的结果后,请勿更改纳入标准。如果确实有必要排除,请发布规则、计数和敏感性分析,以显示保留排除案例时结论如何变化。
计算努力,而不将其转化为虚构的收入
建议的期间比较是定义工作负载的基线人力工作减去辅助的人力工作,包括其可归因的设置和维护。使用一致的单位并披露分摊成本的分配方式。每个案例的差异需要一个明确的分母,特别是当工作流程完成不同数量的可接受案例时。报告完成率和错误率以及工作量,而不是让较短的平均数掩盖更多未解决的工作。
显示样本大小、典型工作量和分布。中位数、相关百分位数和范围可以揭示是否少数困难情况主导了结果;统计区间需要适合研究设计的方法。不要将一个有利的示范乘以每一个未来的领域。释放的产能不会自动节省现金、额外收入或减少人员配置。这些主张需要单独的经济证据和经批准的假设。
将批准控制保留在测量范围内
辅助工作流程必须保留与其比较器相同的所需人工决策。仅仅为了改善时间而取消DNS批准会改变安全条件并使预期的比较无效。 OWASP 的过度代理指导 支持限制功能、权限和自主操作。查看建议本身并不授予修改DNS 、建立凭据或在外部共享客户证据的权限。
确切的调试边界仍然开放:描述可测试的工作流程及其批准边界。在将任何EmailAuth功能显示为可用之前,请先对其进行验证。所需的原始证据也很出色:衡量可比较的任务,并保留错误、人工审查和可变性。未来的证据包应包含批准的协议、去识别化的案件分类账、质量评估、计算方法和限制。在这些存在之前,描述评估计划并保留结果不进行衡量。