Tentukan hasilnya sebelum memilih metrik
Proyek autentikasi dapat meningkatkan kontrol atas identitas pengirim yang sah tanpa membuktikan bahwa lebih banyak penerima yang melihat atau membaca pesan. DMARC mengevaluasi keselarasan otentikasi dan konteks kebijakan; hal ini tidak menetapkan setiap aspek penyampaian, keterlibatan penerima, atau nilai bisnis. Oleh karena itu, rencana pengukuran harus menyebutkan hasil yang dinilai sebelum memilih metrik dasbor.
Hasil yang bermanfaat dapat mencakup autentikasi yang selaras untuk rute terbatas, penolakan SMTP tertentu yang lebih sedikit, penerimaan server penerima, atau hasil penempatan yang diukur secara terpisah. Mereka tidak bisa dipertukarkan. Tingkat kelulusan DMARC yang lebih tinggi dapat terjadi bersamaan dengan masalah pengiriman yang tidak berubah yang disebabkan oleh faktor lain. Sebaliknya, pengiriman dapat ditingkatkan sementara autentikasi tetap tidak berubah. Simpan mekanisme dan hasilnya dalam bidang bukti yang terpisah. RFC 9989 , bagian 2.4 dan 4.4
Pilih tahap pengiriman dengan tepat
Aplikasi pengirim dan penyedia memaparkan tahapan yang berbeda. Permintaan API yang diterima dapat mendahului antrian dan upaya pengiriman. Penundaan sementara bukanlah penolakan akhir, dan penerimaan server penerima bukanlah bukti penempatan kotak masuk. Manusia yang membuka pesan adalah peristiwa berbeda yang memiliki keterbatasan pengukurannya sendiri. Hindari menggunakan satu kata yang disampaikan untuk mencakup semua tahapan ini.
Dokumentasi kejadian SendGrid yang disimpan memberikan contoh nyata: diproses menunjukkan bahwa pesan telah diterima dan siap dikirim; disampaikan menyangkut server penerima; ditangguhkan dan dibatalkan menggambarkan hasil berbeda lainnya. Definisi tersebut mendukung penafsiran peristiwa penyedia tersebut, bukan skema universal untuk setiap platform. Pertahankan definisi dan versi penyedia yang tepat yang digunakan dalam analisis. Referensi Webhook Acara SendGrid
Jika data yang tersedia berhenti pada penerimaan server penerima, nyatakan batas tersebut. Jangan mengganti nama penempatan kotak masuk karena akan membuat hasilnya terdengar lebih menarik secara komersial. Pengukuran tersebut harus tetap berguna meskipun tidak dapat menjawab setiap pertanyaan yang ingin diajukan oleh pemangku kepentingan.
Jaga agar populasi sebelum dan sesudah tetap sebanding
Tentukan aliran yang disertakan, penyedia penerima, domain, kategori pesan, jangka waktu, dan unit penghitungan. Pertahankan aturan coba ulang dan penanganan multi-penerima. Perbandingan antara kampanye liburan dan periode transaksi yang tenang mungkin mencerminkan perubahan populasi dibandingkan intervensi teknis. Demikian pula, menghapus aliran bermasalah dari penyebutnya dapat membuat laju terlihat lebih baik tanpa meningkatkan aliran tersebut.
Gunakan definisi peristiwa dan metode pengumpulan yang konsisten di seluruh perbandingan. Catat setiap perubahan instrumentasi, interval yang hilang, laporan terlambat, atau artefak yang dikecualikan. Jika penyedia layanan kesehatan mulai melaporkan secara lebih rinci setelah intervensi, tren yang terlihat mungkin sebagian mencerminkan visibilitas, bukan perilaku. Simpan versi kumpulan data dan metode ekstraksi sehingga analis lain dapat mereproduksi hasilnya.
Jangan membuat garis dasar jika tidak ada. Gambaran terkini dapat menggambarkan observasi terkini namun tidak dapat membuktikan perbaikan atas kondisi masa lalu yang tidak terdokumentasi. Jika data historis tidak lengkap, sajikan perbandingan terbatas atau buat garis dasar yang prospektif daripada memperkirakan angka-angka yang sesuai.
Catat penjelasan yang bersaing
Buat daftar perubahan penting yang dapat memengaruhi hasil: volume pengiriman, campuran penerima, konten, kebersihan daftar, pola pengaduan, rute penyedia, reputasi, musiman, dan perubahan aplikasi. Tujuannya bukan untuk mengklaim setiap variabel dapat dikontrol, namun untuk mencegah perbaikan autentikasi menerima kredit otomatis untuk semua pergerakan selanjutnya dalam metrik pengiriman.
Membedakan hubungan temporal dari kesimpulan kausal yang didukung. Bagan sebelum dan sesudah dapat menunjukkan bahwa satu hasil terukur berubah setelah koreksi konfigurasi. Ia tidak dapat, hanya berdasarkan waktu, membuktikan bahwa koreksi tersebut menyebabkan seluruh perubahan. Jika desain terkendali layak dan diizinkan, tentukan dengan hati-hati; jika tidak, ungkapkan sifat observasional dari perbandingan tersebut.
Jauhkan hasil dari ekstrapolasi finansial yang tidak didukung. Semakin banyak pesan yang diterima tidak secara otomatis berarti penjualan tambahan, pencegahan penipuan, atau laba atas investasi tertentu. Klaim tersebut memerlukan data dan asumsi analitisnya sendiri. Tidak ada perkiraan peningkatan, penghematan, atau perkiraan kerugian yang dapat dicegah dalam naskah ini.
Lembar kerja pengukuran dan kriteria penerimaan
Lembar kerja harus mencakup deskripsi intervensi, waktu perubahan yang tepat, rute yang terpengaruh, jendela sebelum dan sesudah, tahapan peristiwa, pembilang, penyebut, sistem sumber, versi kueri, pengecualian, dan pengaruh eksternal. Tambahkan kolom autentikasi dan pengiriman terpisah sehingga peninjau dapat melihat apakah koreksi identitas yang diamati dan hasil pengiriman berkaitan dengan cakupan yang sama.
Untuk autentikasi, pertahankan hasil yang selaras daripada menggantinya dengan yang mentah SPF lulus. Untuk pengiriman, simpan bukti peristiwa SMTP atau penyedia aktual dan bedakan keadaan sementara dari hasil akhir. Jika sumber tidak dapat mendukung gabungan tingkat transaksi, jelaskan hubungan yang dikelompokkan dan ketidakpastian daripada menyiratkan korespondensi yang tepat.
Penerimaan memerlukan penghitungan yang dapat direproduksi dari versi kumpulan data yang dinyatakan, definisi yang stabil, dan kesimpulan yang tidak lebih luas dari bukti. Laporan tersebut harus mengungkapkan apakah perbandingan tersebut bersifat deskriptif atau mendukung kesimpulan yang lebih kuat. Tinjauan operasional yang sebenarnya juga memerlukan persetujuan atas akses data atau desain pengujian apa pun; lembar kerja itu sendiri tidak mengizinkan ekspor atau pengiriman pesan.
Diagnosis fiktif: keselarasan meningkat sementara penerimaan bergeser
Bayangkan rute penerimaan fiktif yang konfigurasi penandatanganan kustomnya telah diperbaiki. Perbandingan yang diusulkan akan menunjukkan autentikasi yang selaras secara terpisah dari penerimaan server penerima. Pada periode yang sama, organisasi juga mengubah penargetan penerima dan volume pengiriman. Tidak ada pesan, jumlah, atau tarif sebenarnya yang dikumpulkan untuk contoh ini.
Jika kedua metrik kemudian membaik, analis dapat menggambarkan perubahan yang diamati dalam populasi yang diukur, namun tidak boleh mengaitkan seluruh perubahan penerimaan ke otentikasi tanpa mengatasi perubahan lainnya. Jika penyelarasan membaik dan penerimaan tidak, pekerjaan otentikasi masih dapat mencapai tujuan teknis cakupannya. Ini tidak boleh disebut kegagalan hanya karena masih ada masalah pengiriman yang berbeda.
Jika periode setelahnya tidak menyertakan penyedia penerima yang bermasalah, populasi harus disajikan kembali atau perbandingannya dikoreksi. Menghapus penyedia itu secara diam-diam akan menciptakan perbaikan buatan. Kesimpulan yang berguna menyebutkan rute yang disertakan, tahapan peristiwa dan ketidakpastian, bukan klaim universal bahwa DMARC menjamin pengiriman.
Bukti asli dan status pelepasan
Katalog ini memerlukan pengukuran sebelum dan sesudah dengan populasi yang stabil, tahap pengiriman, dan pengaruh eksternal. Draf ini hanya memberikan metodologi dan contoh fiktif. Tidak ada data dasar, ekspor peristiwa produksi, uji coba terkontrol, atau peningkatan terukur yang diklaim.
Keenam gerbang pelepasan tetap terbuka. Sebelum publikasi operasional, dapatkan data sumber resmi, validasi aturan penghitungan, dan mintalah peninjau yang berkualifikasi untuk memeriksa populasi dan bahasa sebab akibat. Ringkasan pemangku kepentingan harus menjaga perbedaan antara cakupan autentikasi dan hasil penyampaian meskipun keringkasan merupakan hal yang penting. Batasan yang jujur membuat hasil lebih dapat ditindaklanjuti dengan menunjukkan masalah mana yang sebenarnya telah diperbaiki dan mana yang masih memerlukan penyelidikan.