发送仪表板可以报告发送情况良好,而收件人却说他们从未看到过该消息。分歧通常来自不同的定义,而不是错误的算术。在更改基础架构或内容之前,确定调查需要解释哪些事件:接受责任的服务器、特定文件夹中出现的消息或完成预期操作的人员。
在计算费率之前定义事件
当接收系统在消息数据后返回相关的最终成功响应时, SMTP接受发生。它建立了责任的转移,而不是保证人们看到了该消息。一个应用程序说“已发送”可能只意味着它的提交服务接受了该请求。识别每个事件所代表的跃点。 RFC 5321第 3.3 节和 6.1 节.
对于提交群组接受度指标,在分母中对每个消息和收件人提交进行一次计数,如果在窗口内的指定跃点达到接受度,则在分子中进行计数。单独报告单独的重试成功;不要混合这些单位。说明您如何对待重试、未解决的延期和多个收件人。将每次重试都算作新的营销活动接收者会导致分母增大。将未解决的延迟视为永久失败会改变问题。保持这些状态单独可见,直到观察窗口关闭。
使用明确的采样边界测量放置
收件箱放置需要来自接收邮箱或其他明确描述的观察方法的证据。发送方 250 响应无法告诉您选择了哪个文件夹。种子账户可以提供受控观察,但它们是一个样本,有自己的历史、设置和参与度。不要将一个小的种子小组作为制作观众的普查。
记录提供者、邮箱类型、接收时间、观察文件夹、样本选择和缺失观察。在将更改归因于DNS修改之前,先比较同类样本。如果面板在测量之间发生变化,请在百分比旁边显示变化。缺失的观察应该保持未知,而不是默默地被算作收件箱或垃圾邮件。
将参与视为不完美的行为信号
图像请求与人阅读不是同一事件。丢失图像请求并不能证明消息被忽略。隐私功能和收件人内容设置可能会影响远程内容加载; Apple 的文档描述了私有加载以及远程内容在等待许可时被保留的情况。 Apple Mail 远程内容指南.
点击还需要事件定义。在报告唯一收件人时消除重复点击,公开任何过滤并将链接请求与已完成的业务操作区分开来。安全扫描和自动化客户端是调查可疑模式而不是宣布每次点击都是人为的原因。当实际目标是购买、预订或确认帐户操作时,使用批准的应用程序端完成事件。
通过有限的示例进行工作
在一个假设的手工示例中,有 1,000 次收件人尝试提交和 950 次接受的提交,接受率为 95%。一个单独的小组观察了 20 个邮箱中 15 个邮箱的收件箱放置情况,其中 75% 位于该小组内。在该队列中接受的 950 份消息和收件人提交内容中,有 60 份在同一观察窗口内至少有一个已记录的链接请求。对每个提交最多计数一次,得出 60/950,即约 6.32%。收到两条消息的一个收件人可以贡献两次提交,因此这不是一个唯一的人的比率。这些是不同的分母,不能相互替代。
该算术使用发明的教学输入:950/1,000用于接受,15/20用于抽样放置,60/950用于带有记录的链接请求的已接受提交,在同一窗口中对每个消息和收件人提交进行重复数据删除。不要求脚本、邮件投递或邮箱检查。它不是客户基准或提供商交付测试。它的有益教训是,95% 的接受率和 75% 的抽样安置可以共存,并不矛盾。点击数也不能证明 60 个不同的人阅读了整条消息。
从失败的事件中选择下一个调查
调查接受度恶化时的交通反应。当接受度稳定但放置发生变化时,检查接收观察结果并发送声誉。当消息到达但预期的行动下降时,审查受众的期望、内容和完成过程。将身份验证证据保留在图片中,而不是将其视为每个指标的答案。
关闭包含事件、分母、时间窗口、样本限制和下一步操作的报告。由观察结果支持的更窄的结论比单一的无法解释的交付率更具可操作性。
选择一个能够回答问题的指标
- 传输:命名接受跳跃和接收者提交队列。
- 放置:报告观察到的文件夹和所选面板丢失的案例。
- 参与:区分远程请求和已识别的人类行为。
- 完成:使用与业务目标相关的已批准的应用程序事件。
- 比较:在声明更改之前保留分母、重试、观察窗口和范围。