在比较趋势之前保留分母
由于域配置发生变化、样本发生变化或测量方法发生变化,身份验证采用趋势可能会发生变化。这些解释并不等同。纵向比较应该保留每个时期的总体、度量定义、解析器和错误处理,这样就不会通过默默地删除困难案例或添加不同的域组合来创建明显的改进。
本文提出了一种可重复的方法,并未提供研究结果。 RFC 9989 定义当前 DMARC 行为,同时 RFC 7208 定义 SPF 出版和评价。标准有助于明确测量的含义;它们不提供人口或证明对趋势的因果解释是合理的。没有查询该手稿的域。
定义测量属性和单位
说明该指标是否计算确切名称记录的存在、有效的适用策略、执行请求、观察到的对齐消息或其他明确定义的属性。配置的域和消息是不同的单位,一个域可以支持多个发送流程。分母必须与分子相对应。在不改变问题的情况下,观察到的消息通过率不能替代发布策略的域的份额。
记录样品的来源、纳入标准和预期范围。网站域、客户域和实际SMTP身份可能会产生不同的结果。如果研究使用便利列表,请保留该限制。当证据涉及选定的客户群时,请避免说互联网有所改善。该草案没有包含可概括的人口数量或收养百分比。
将会员资格作为一流数据集进行跟踪
保留一个版本化的成员资格表,其中包含每个单位的稳定标识符、标准化名称、进入日期、退出日期以及包含或排除的原因。保留影响解释的域名重命名、所有权变更和合并。不要假设在整个研究中相同的文本标签代表相同的组织关系。当域的业务角色发生变化时,它可以保留在DNS中。
选择分析是使用固定队列、重复横截面还是两者兼而有之。固定队列可以支持相同单位的比较,但随着时间的推移可能会变得不那么具有代表性。重复的横截面可以反映当前人口,但将成员资格变化与配置变化混合在一起。报告所选的设计,并在有用的情况下分别显示两个视图,而不是隐藏它们的不同分母。
版本测量实施
保留每次运行的查询代码或方法描述、解析器配置、超时、重试、规范化规则、解析器版本和标准引用。即使DNS未更改,解析器升级也可以对相同的原始记录进行重新分类。 RFC 9989当前的发现规则,包括 DNS树漫步,说明为什么基于不同发现算法的方法在不进行分析的情况下可能无法直接比较。
如果方法发生变化,请保留以前的结果并确定系列中的中断。在原始证据允许的情况下,使用新的解析器重新处理早期的观察结果,并将其报告为单独的可比较系列。不要悄悄地覆盖历史分类并将修订后的趋势呈现为原始测量。重新处理无法重建从未保留的DNS答案。
保留会计失误
区分名称错误、无请求数据、超时、服务器故障、无效策略和不支持的解释。失败的查询不应自动成为缺乏部署,并且排除所有失败可能会提高表观采用率。保留尝试的观察结果并解释每个错误类别的处理方法。如果重试成功,则保留初始失败和用于最终分类的规则。
RFC 1035 定义DNS响应和记录结构。在协议解析之前保留原始记录边界,尤其是当存在多个TXT字符串或记录时。如果丢失了潜在的证据,解析器对分割字符串或重复候选者的处理方式的变化可能会产生错误的趋势。记录结构是再现性的一部分,而不仅仅是显示格式。
明确说明每个分数
对于每个时期,保留选择、尝试、成功观察、分类、排除和未解决的单元数量。然后定义报告属性的分子。所有选定单元的采用与成功分类单元的采用不同。如果这两种措施都提供了信息,请报告它们的标签和不确定性,而不是呈现更有利的一个。
如果没有合理的抽样模型,请勿发明置信区间、统计显着性或代表性覆盖范围。缺失的观察结果可能不是随机的,超时的域可能与响应的域系统性地不同。在没有不受支持的推论主张的情况下,透明的描述性比较仍然有用。本手稿没有提供数值估计或捏造的不确定性计算。
将配置更改与消息结果分开
从无观察策略到观察策略的域移动是配置观察。它并不能表明现在每一条合法信息都是一致的,或者欺诈行为减少了。 RFC 8601 描述了可以支持消息级分析的可信身份验证结果证据,但该分析需要其自己的群体和保留的接收者观察。
RFC 9990 定义汇总报告。如果报告有助于纵向研究,请将报告者的覆盖范围、周期和计数维度与DNS观察分开保存。即使不改变发件人行为,报告覆盖范围的变化也会改变明显的身份验证性能。除非该方法解释了兼容的单位和限制,否则请勿将DNS群组趋势和报告计数趋势加入到一个指标中。
纵向调节工作表
创建包含期间、示例版本、成员资格更改、方法版本、来源引用、尝试计数、错误类别、排除、分类计数和指标分子的工作表。添加用于每个分母的规则和比较状态,指示期间是否可直接比较、重新处理或通过方法中断分隔。保留原始证据哈希值和错误/排除日志。
审查应询问每个时期是否回答了相同的问题。如果新的接收器源、解析器规则或域类进入研究,请在解释变化方向之前记录其效果。当原始数据可用时,让独立分析师重现一小部分分类和汇总核算。这里没有进行这样的复制。
虚构诊断:消除故障后的百分比更高
一个虚构的团队在第二期发布了更高的采用率。第一个分母包括每个尝试的域,而第二个分母排除所有超时和无效响应。因此,明显的改进可能反映了会计核算的变化,而不是额外的部署。拟议的审查使用相同的声明规则重建两个时期,并单独报告未解决的案件。
该团队还将检查成员资格或解析器行为是否发生变化。在理解这些差异之前,它不会声称原始百分比有因果关系的改善。此示例不提供实际计数、领域或研究观察结果。这是分母漂移的虚构说明,而不是有关身份验证生态系统的测量发现。
公布结果的可比性限制
合理的趋势报告会说明人口、时间窗口、测量版本、分子、分母和误差。它解释了方法的变化,并且不会默默地将部署观察结果转化为消息合规性、交付或防止损失。读者应该能够确定测量系统中发生了什么变化以及仅在测量过程中发生了什么变化。
该目录需要其他分析师可以重现的版本化数据集、查询方法和错误/排除日志。这些原始文物仍然开放。人类专家审查、来源适用性、生产路线、可访问性和所有者发布也保持开放。该草案提供了方法论设计和虚构的诊断,而不是执行的纵向研究或改进采用的主张。