측정항목을 선택하기 전에 결과를 정의하세요.
인증 프로젝트는 더 많은 수신자가 메시지를 보거나 읽었다는 것을 증명하지 않고도 합법적인 전송 신원에 대한 제어를 향상시킬 수 있습니다. DMARC 정렬된 인증 및 정책 컨텍스트를 평가합니다. 전달, 수신자 참여 또는 비즈니스 가치의 모든 측면을 확립하지는 않습니다. 따라서 측정 계획에서는 대시보드 지표를 선택하기 전에 평가되는 결과의 이름을 지정해야 합니다.
유용한 결과에는 제한된 경로에 대한 정렬된 인증, 특정 SMTP 거부 횟수 감소, 수신 서버 승인 또는 별도로 측정된 배치 결과가 포함될 수 있습니다. 그것들은 서로 바꿔 사용할 수 없습니다. 더 높은 DMARC 통과율은 다른 요인으로 인해 발생하는 변함없는 배송 문제와 공존할 수 있습니다. 반대로, 인증은 변경되지 않은 상태에서 전달이 향상될 수 있습니다. 메커니즘과 결과를 별도의 증거 필드에 보관하세요. RFC 9989 , 섹션 2.4 및 4.4
배송단계를 정확하게 선택하세요
발신자 애플리케이션과 공급자는 서로 다른 단계를 노출합니다. 승인된 API 요청은 대기 및 전달 시도보다 우선할 수 있습니다. 임시 연기는 최종 거부가 아니며 수신 서버 수락은 받은 편지함 배치를 증명하지 않습니다. 사람이 메시지를 여는 것도 측정 한계가 있는 또 다른 별개의 이벤트입니다. 이러한 모든 단계를 다루기 위해 전달된 단일 단어를 사용하지 마십시오.
보관된 SendGrid 이벤트 문서는 구체적인 예를 제공합니다. 처리됨은 메시지가 수신되었으며 배달될 준비가 되었음을 나타냅니다. 전달된 내용은 수신 서버에 관한 것입니다. 연기 및 중단은 다른 뚜렷한 결과를 설명합니다. 이러한 정의는 모든 플랫폼에 대한 범용 스키마가 아닌 해당 공급자의 이벤트 해석을 지원합니다. 분석에 사용된 정확한 공급자 정의와 버전을 유지합니다. SendGrid 이벤트 웹훅 참조
사용 가능한 데이터가 수신 서버 승인 시 중지되는 경우 해당 제한을 명시하십시오. 받은 편지함 배치 이름을 바꾸지 마십시오. 이렇게 하면 결과가 상업적으로 더 매력적으로 들릴 수 있습니다. 측정은 이해관계자가 묻고 싶어하는 모든 질문에 답할 수 없는 경우에도 유용해야 합니다.
전후 모집단을 비교 가능하게 유지
포함된 스트림, 수신자 공급자, 도메인, 메시지 범주, 기간 및 계산 단위를 정의합니다. 재시도 및 다중 수신자 처리 규칙을 유지합니다. 휴일 캠페인과 조용한 거래 기간 간의 비교는 기술적 개입보다는 인구 변화를 반영할 수 있습니다. 마찬가지로 문제가 있는 스트림을 분모에서 제거하면 해당 스트림을 개선하지 않고도 속도를 더 좋아 보이게 만들 수 있습니다.
비교 전반에 걸쳐 일관된 이벤트 정의 및 수집 방법을 사용하십시오. 계측 변경, 누락된 간격, 늦은 보고 또는 제외된 아티팩트를 기록합니다. 공급자가 개입 후 더 자세한 내용을 보고하기 시작하면 명백한 추세는 부분적으로 행동보다는 가시성을 반영할 수 있습니다. 다른 분석가가 결과를 재현할 수 있도록 데이터세트 버전과 추출 방법을 유지하세요.
기준선이 없으면 기준선을 제작하지 마십시오. 현재 스냅샷은 현재 관찰 내용을 설명할 수 있지만 문서화되지 않은 과거 상태에 대한 개선을 증명할 수는 없습니다. 과거 데이터가 불완전한 경우 편리한 숫자를 추정하기보다는 제한된 비교를 제시하거나 예상 기준선을 설정합니다.
경쟁적인 설명을 녹음하세요.
전송량, 수신자 혼합, 콘텐츠, 목록 위생, 불만 패턴, 공급자 라우팅, 평판, 계절성 및 애플리케이션 변경 사항 등 결과에 영향을 미칠 수 있는 중요한 변경 사항을 나열합니다. 목적은 모든 변수를 제어할 수 있다고 주장하는 것이 아니라 인증 수정이 전달 메트릭의 모든 후속 이동에 대해 자동 크레딧을 받지 못하도록 방지하는 것입니다.
뒷받침되는 인과적 결론과 시간적 연관성을 구별합니다. 전후 차트는 구성 수정 후 하나의 측정 결과가 변경되었음을 보여줄 수 있습니다. 시기만으로는 수정으로 인해 전체 변경이 발생했음을 확인할 수 없습니다. 통제된 설계가 가능하고 승인된 경우 신중하게 정의하십시오. 그렇지 않으면 비교의 관찰적 성격을 공개합니다.
지원되지 않는 재정적 추정을 결과에서 제외하세요. 더 많은 메시지가 수용된다고 해서 자동으로 추가 판매, 사기 방지 또는 특정 투자 수익이 발생하는 것은 아닙니다. 이러한 주장에는 자체 데이터와 분석적 가정이 필요합니다. 이 원고에서는 향상, 절감 또는 손실 방지 추정이 고안되지 않았습니다.
측정 워크시트 및 허용 기준
워크시트에는 개입 설명, 정확한 변경 시간, 영향을 받는 경로, 기간 전후, 이벤트 단계, 분자, 분모, 소스 시스템, 쿼리 버전, 제외 및 외부 영향이 포함되어야 합니다. 검토자가 관찰된 신원 수정 및 전달 결과가 동일한 범위에 관련되는지 여부를 확인할 수 있도록 별도의 인증 및 전달 열을 추가하십시오.
인증을 위해 원본을 대체하는 대신 정렬된 결과를 유지합니다. SPF 통과하다. 전달을 위해 실제 SMTP 또는 공급자 이벤트 증거를 유지하고 임시 상태를 최종 결과와 구별합니다. 소스가 트랜잭션 수준 조인을 지원할 수 없는 경우 정확한 대응을 암시하는 대신 그룹화된 관계와 불확실성을 설명합니다.
승인을 위해서는 선언된 데이터 세트 버전에서 재현 가능한 개수, 안정적인 정의 및 증거보다 광범위하지 않은 결론이 필요합니다. 보고서는 비교가 설명적인지 또는 더 강력한 추론을 뒷받침하는지 공개해야 합니다. 실제 운영 검토에는 데이터 액세스 또는 테스트 설계에 대한 승인도 필요합니다. 워크시트 자체는 내보내기나 메시지 보내기를 승인하지 않습니다.
허구적 진단: 수용이 바뀌는 동안 정렬은 개선됩니다.
사용자 정의 서명 구성이 수정된 가상의 수신 경로를 상상해 보십시오. 제안된 비교에서는 수신 서버 승인과 별도로 정렬된 인증을 표시합니다. 같은 기간 동안 조직에서는 수신자 타겟팅 및 전송량도 변경합니다. 이 예에서는 실제 메시지, 개수 또는 비율이 수집되지 않았습니다.
나중에 두 측정항목이 모두 개선되면 분석가는 측정된 모집단 내에서 관찰된 변경 사항을 설명할 수 있지만 다른 변경 사항을 처리하지 않고 전체 승인 변경을 인증에 귀속시켜서는 안 됩니다. 만약에 조정 개선되고 수용되지 않더라도 인증 작업은 여전히 해당 범위의 기술적 목표를 달성할 수 있습니다. 단지 다른 배송 문제가 남아있다고 해서 실패라고 불러서는 안 된다.
이후 기간에서 문제가 있는 수혜 제공자를 제외하는 경우 모집단을 다시 작성하거나 비교를 수정해야 합니다. 해당 공급자를 조용히 삭제하면 인위적인 개선이 이루어집니다. 유용한 결론은 DMARC 배송을 보장한다는 보편적인 주장이 아니라 포함된 경로, 이벤트 단계 및 불확실성을 지정합니다.
원본 증거 및 공개 상태
카탈로그에는 안정적인 모집단, 배송 단계 및 외부 영향이 기록된 전후 측정이 필요합니다. 이 초안은 방법론과 가상의 예만 제공합니다. 기준선, 생산 이벤트 내보내기, 대조 시험 또는 측정된 개선이 주장되지 않습니다.
6개의 릴리스 게이트는 모두 열려 있습니다. 운영상의 출판 전에 승인된 원본 데이터를 확보하고 계산 규칙을 검증하며 자격을 갖춘 검토자가 인구 및 원인 언어를 검사하도록 합니다. 이해관계자 요약은 간결성이 중요한 경우에도 인증 적용 범위와 전달 결과 간의 구별을 유지해야 합니다. 정직한 한계는 실제로 개선된 문제와 여전히 조사가 필요한 문제를 보여줌으로써 결과를 더욱 실행 가능하게 만듭니다.