Behalten Sie den Nenner bei, bevor Sie den Trend vergleichen
Ein Trend zur Authentifizierung und Akzeptanz kann sich ändern, weil die Domänenkonfiguration geändert wurde, weil sich die Stichprobe geändert hat oder weil sich die Messmethode geändert hat. Diese Erklärungen sind nicht gleichwertig. Bei einem Längsschnittvergleich sollten die Grundgesamtheit, die Metrikdefinition, der Parser und die Fehlerbehandlung für jeden Zeitraum erhalten bleiben, damit nicht durch stillschweigendes Entfernen schwieriger Fälle oder Hinzufügen einer anderen Mischung von Domänen eine offensichtliche Verbesserung entsteht.
Dieser Artikel schlägt eine reproduzierbare Methode vor und präsentiert kein Studienergebnis. RFC 9989 definiert den Strom DMARC Verhalten, während RFC 7208 definiert SPF Veröffentlichung und Auswertung. Standards helfen dabei, zu spezifizieren, was eine Messung bedeutet. Sie versorgen die Bevölkerung nicht und rechtfertigen keine kausale Interpretation eines Trends. Für dieses Manuskript wurden keine Domains abgefragt.
Definieren Sie die gemessene Eigenschaft und Einheit
Geben Sie an, ob die Metrik das Vorhandensein von Datensätzen mit genauem Namen, gültige anwendbare Richtlinien, Durchsetzungsanforderungen, beobachtete ausgerichtete Nachrichten oder eine andere klar definierte Eigenschaft zählt. Eine konfigurierte Domäne und eine Nachricht sind unterschiedliche Einheiten und eine Domäne kann mehrere Sendeworkflows unterstützen. Der Nenner muss dem Zähler entsprechen. Der Anteil der Domänen, die eine Richtlinie veröffentlichen, kann nicht durch die Erfolgsquote beobachteter Nachrichten ersetzt werden, ohne die Frage zu ändern.
Notieren Sie die Herkunft der Probe, die Einschlusskriterien und den beabsichtigten Umfang. Website-Domänen, Kundendomänen und tatsächliche SMTP Identitäten können zu unterschiedlichen Ergebnissen führen. Wenn die Studie eine Convenience-Liste verwendet, behalten Sie diese Einschränkung bei. Vermeiden Sie es, zu sagen, dass sich das Internet verbessert hat, wenn sich die Beweise auf eine ausgewählte Kundenkohorte beziehen. Dieser Entwurf enthält keine zu verallgemeinernden Bevölkerungszahlen oder Adoptionsprozentsätze.
Verfolgen Sie die Mitgliedschaft als erstklassigen Datensatz
Führen Sie eine versionierte Mitgliedertabelle mit der stabilen Kennung, dem normalisierten Namen, dem Eintrittsdatum, dem Austrittsdatum und dem Grund für die Aufnahme oder den Ausschluss jeder Einheit. Behalten Sie Domain-Umbenennungen, Eigentümerwechsel und Fusionen bei, wenn sie Auswirkungen auf die Interpretation haben. Gehen Sie nicht davon aus, dass dieselbe Textbezeichnung in der gesamten Studie dieselbe organisatorische Beziehung darstellt. Eine Domäne kann im DNS verbleiben, während sich ihre Geschäftsrolle ändert.
Wählen Sie, ob die Analyse eine feste Kohorte, einen wiederholten Querschnitt oder beides verwendet. Eine feste Kohorte kann den Vergleich derselben Einheiten unterstützen, kann jedoch mit der Zeit an Repräsentativität verlieren. Ein wiederholter Querschnitt kann die aktuelle Population widerspiegeln, vermischt jedoch Mitgliederänderungen mit Konfigurationsänderungen. Melden Sie das gewählte Design und zeigen Sie, wo sinnvoll, beide Ansichten getrennt an, anstatt ihre unterschiedlichen Nenner zu verbergen.
Versionieren Sie die Messimplementierung
Behalten Sie Abfragecode oder Methodenbeschreibung, Resolver-Konfiguration, Zeitüberschreitungen, Wiederholungsversuche, Normalisierungsregeln, Parser-Version und Standardreferenzen für jeden Lauf bei. Ein Parser-Upgrade kann denselben Rohdatensatz neu klassifizieren, selbst wenn sich DNS nicht geändert hat. RFC 9989Die aktuellen Ermittlungsregeln, einschließlich der DNS Tree Walkveranschaulichen, warum eine Methode, die auf einem anderen Erkennungsalgorithmus basiert, ohne Analyse möglicherweise nicht direkt vergleichbar ist.
Wenn sich die Methode ändert, bewahren Sie die vorherigen Ergebnisse auf und identifizieren Sie einen Bruch in der Reihe. Sofern die Rohdaten dies zulassen, verarbeiten Sie frühere Beobachtungen mit dem neuen Parser erneut und melden Sie diese als separate Vergleichsreihe. Überschreiben Sie nicht stillschweigend historische Klassifizierungen und präsentieren Sie den überarbeiteten Trend als Originalmessung. Durch die erneute Verarbeitung können nie gespeicherte DNS Antworten nicht wiederhergestellt werden.
Behalten Sie Fehler in der Buchhaltung bei
Fehler beim Unterscheidungsnamen, keine angeforderten Daten, Zeitüberschreitung, Serverfehler, ungültige Richtlinie und nicht unterstützte Interpretation. Eine fehlgeschlagene Abfrage sollte nicht automatisch zu einer fehlenden Bereitstellung führen, und der Ausschluss aller Fehler kann die scheinbare Akzeptanzrate in die Höhe treiben. Behalten Sie versuchte Beobachtungen bei und erläutern Sie die Behandlung jeder Fehlerkategorie. Wenn ein Wiederholungsversuch erfolgreich ist, behalten Sie sowohl den anfänglichen Fehler als auch die für die endgültige Klassifizierung verwendete Regel bei.
RFC 1035 Definiert DNS Antwort- und Datensatzstrukturen. Behalten Sie die Grenzen von Rohdatensätzen vor dem Parsen des Protokolls bei, insbesondere wenn mehrere TXT Zeichenfolgen oder -Datensätze vorhanden sind. Eine Änderung in der Handhabung geteilter Zeichenfolgen oder doppelter Kandidaten durch den Parser kann zu einem falschen Trend führen, wenn die zugrunde liegenden Beweise verloren gehen. Die Datensatzstruktur ist Teil der Reproduzierbarkeit und nicht nur der Anzeigeformatierung.
Geben Sie jeden Bruch explizit an
Behalten Sie für jeden Zeitraum die Anzahl der ausgewählten, versuchten, erfolgreich beobachteten, klassifizierten, ausgeschlossenen und ungelösten Einheiten bei. Definieren Sie dann den Zähler für die gemeldete Eigenschaft. Die Übernahme bei allen ausgewählten Einheiten unterscheidet sich von der Übernahme bei erfolgreich klassifizierten Einheiten. Wenn beide Kennzahlen informativ sind, geben Sie beide mit ihren Bezeichnungen und Unsicherheiten an, anstatt die günstigere Variante anzugeben.
Erfinden Sie keine Konfidenzintervalle, statistische Signifikanz oder repräsentative Abdeckung ohne ein begründetes Stichprobenmodell. Fehlende Beobachtungen sind möglicherweise nicht zufällig und die Domänen, bei denen eine Zeitüberschreitung auftritt, können sich systematisch von denen unterscheiden, die reagieren. Ein transparenter beschreibender Vergleich kann auch ohne unbegründete Schlussfolgerungsansprüche nützlich sein. Dieses Manuskript liefert keine numerischen Schätzungen oder erfundenen Unsicherheitsberechnungen.
Trennen Sie die Konfigurationsänderung von den Nachrichtenergebnissen
Eine Domäne, die von einer nicht beobachteten Richtlinie zu einer beobachteten Richtlinie wechselt, ist eine Konfigurationsbeobachtung. Es zeigt nicht, dass jetzt alle legitimen Botschaften übereinstimmen oder dass der Betrug zurückgegangen ist. RFC 8601 beschreibt vertrauenswürdige Authentifizierungsergebnisnachweise, die eine Analyse auf Nachrichtenebene unterstützen könnten, aber diese Analyse erfordert eine eigene Population und gespeicherte Empfängerbeobachtungen.
RFC 9990 definiert die aggregierte Berichterstattung. Wenn Berichte zu einer Längsschnittstudie beitragen, bewahren Sie die Reporterabdeckung, die Zeiträume und die Zählungsdimensionen getrennt von DNS Beobachtungen auf. Änderungen in der Berichtsabdeckung können die scheinbare Authentifizierungsleistung auch ohne geändertes Absenderverhalten verändern. Fügen Sie einen DNS Kohortentrend und einen Berichtsanzahltrend nicht zu einer Metrik zusammen, es sei denn, die Methode erläutert die kompatiblen Einheiten und Einschränkungen.
Ein Arbeitsblatt zur Längsschnittabstimmung
Erstellen Sie ein Arbeitsblatt mit Zeitraum, Beispielversion, Mitgliedschaftsänderungen, Methodenversion, Quellenverweisen, versuchter Anzahl, Fehlerkategorien, Ausschlüssen, klassifizierter Anzahl und Metrikzähler. Fügen Sie die für jeden Nenner verwendete Regel und einen Vergleichsstatus hinzu, der angibt, ob Perioden direkt vergleichbar, erneut verarbeitet oder durch einen Methodenwechsel getrennt sind. Bewahren Sie Rohbeweis-Hashes und das Fehler-/Ausschlussprotokoll auf.
Bei der Überprüfung sollte gefragt werden, ob in jedem Zeitraum dieselbe Frage beantwortet wird. Wenn eine neue Empfängerquelle, Parser-Regel oder Domänenklasse in die Studie aufgenommen wird, dokumentieren Sie deren Auswirkungen, bevor Sie die Richtung der Änderung interpretieren. Lassen Sie einen unabhängigen Analysten einen kleinen Satz von Klassifizierungen und die Gesamtbuchhaltung reproduzieren, sobald Originaldaten verfügbar sind. Eine solche Reproduktion wurde hier nicht durchgeführt.
Fiktive Diagnose: ein besserer Prozentsatz nach Beseitigung von Fehlern
Ein fiktives Team veröffentlicht in seiner zweiten Periode einen höheren Akzeptanzprozentsatz. Der erste Nenner umfasste alle versuchten Domains, während der zweite alle Zeitüberschreitungen und ungültigen Antworten ausschloss. Die offensichtliche Verbesserung könnte daher eher auf eine geänderte Buchhaltung als auf einen zusätzlichen Einsatz zurückzuführen sein. Die vorgeschlagene Überprüfung rekonstruiert beide Zeiträume unter Verwendung derselben erklärten Regel und meldet die ungelösten Fälle separat.
Das Team würde auch prüfen, ob sich die Mitgliedschaft oder das Parserverhalten geändert haben. Es würde keine kausale Verbesserung gegenüber den ursprünglichen Prozentsätzen beanspruchen, bis diese Unterschiede verstanden würden. Dieses Beispiel liefert keine tatsächlichen Zählungen, Domänen oder Studienbeobachtungen. Es handelt sich um eine fiktive Darstellung der Nennerdrift und nicht um eine gemessene Erkenntnis über ein Authentifizierungsökosystem.
Vergleichbarkeitsgrenzen mit dem Ergebnis veröffentlichen
Ein vertretbarer Trendbericht gibt Auskunft über Grundgesamtheit, Zeitfenster, Messversionen, Zähler, Nenner und Fehler. Es erklärt Änderungen an der Methode und wandelt Bereitstellungsbeobachtungen nicht stillschweigend in Nachrichtenkonformität, Zustellung oder verhinderte Verluste um. Der Leser soll erkennen können, was sich in den gemessenen Systemen geändert hat und was sich nur im Messprozess geändert hat.
Der Katalog erfordert einen versionierten Datensatz, eine Abfragemethode und ein Fehler-/Ausschlussprotokoll, die ein anderer Analyst reproduzieren kann. Diese Originalartefakte bleiben offen. Auch die Prüfung durch menschliche Spezialisten, die Anwendbarkeit der Quelle, die Produktionswege, die Zugänglichkeit und die Freigabe durch den Eigentümer bleiben offen. Dieser Entwurf stellt einen methodischen Entwurf und eine fiktive Diagnose dar, keine durchgeführte Längsschnittstudie oder den Anspruch einer verbesserten Akzeptanz.