Bewaar de noemer voordat u de trend vergelijkt
Een trend van authenticatie-adoptie kan veranderen omdat domeinen van configuratie zijn veranderd, omdat de steekproef is gewijzigd of omdat de meetmethode is gewijzigd. Die verklaringen zijn niet gelijkwaardig. Bij een longitudinale vergelijking moeten de populatie, de metrische definitie, de parser en de foutafhandeling voor elke periode behouden blijven, zodat er geen duidelijke verbetering ontstaat door stilletjes moeilijke gevallen te verwijderen of een andere mix van domeinen toe te voegen.
Dit artikel stelt een reproduceerbare methode voor en presenteert geen onderzoeksresultaat. RFC 9989 definieert de huidige DMARC gedrag, terwijl RFC 7208 definieert SPF publicatie en evaluatie. Normen helpen specificeren wat een meting betekent; ze voorzien niet in de bevolking en rechtvaardigen geen causale interpretatie van een trend. Er zijn geen domeinen opgevraagd voor dit manuscript.
Definieer de gemeten eigenschap en eenheid
Geef aan of de statistiek de aanwezigheid van exacte namen, geldig toepasselijk beleid, handhavingsverzoeken, waargenomen afgestemde berichten of een andere duidelijk gedefinieerde eigenschap meetelt. Een geconfigureerd domein en een bericht zijn verschillende eenheden, en een domein kan meerdere verzendworkflows ondersteunen. De noemer moet overeenkomen met de teller. Het slagingspercentage voor geobserveerde berichten kan niet in de plaats komen van het aandeel domeinen dat een beleid publiceert zonder de vraag te veranderen.
Leg de herkomst, de inclusiecriteria en de beoogde reikwijdte van het monster vast. Websitedomeinen, klantdomeinen en daadwerkelijke SMTP identiteiten kunnen verschillende resultaten opleveren. Als het onderzoek gebruikmaakt van een gemakslijst, behoud dan die beperking. Zeg niet dat het internet verbeterd is als het bewijsmateriaal betrekking heeft op een geselecteerd klantencohort. Dit ontwerp bevat geen populatietelling of adoptiepercentage om te generaliseren.
Houd het lidmaatschap bij als een eersteklas dataset
Houd een lidmaatschapstabel bij met de stabiele identificatie van elke eenheid, de genormaliseerde naam, de instapdatum, de uitstapdatum en de reden voor opname of uitsluiting. Behoud domeinhernamen, eigendomswijzigingen en fusies waar deze de interpretatie beïnvloeden. Ga er niet van uit dat hetzelfde tekstlabel gedurende het hele onderzoek dezelfde organisatorische relatie vertegenwoordigt. Een domein kan in DNS blijven terwijl de zakelijke rol verandert.
Kies of de analyse een vast cohort, een herhaalde doorsnede of beide gebruikt. Een vast cohort kan de vergelijking van dezelfde eenheden ondersteunen, maar kan in de loop van de tijd minder representatief worden. Een herhaalde dwarsdoorsnede kan de huidige bevolking weerspiegelen, maar mengt lidmaatschapsverandering met configuratieverandering. Rapporteer het gekozen ontwerp en toon, waar nuttig, beide weergaven afzonderlijk in plaats van hun verschillende noemers te verbergen.
Versie de meetimplementatie
Bewaar de querycode of methodebeschrijving, de configuratie van de oplosser, time-outs, nieuwe pogingen, normalisatieregels, parserversie en standaardreferenties voor elke run. Een parser-upgrade kan hetzelfde onbewerkte record opnieuw classificeren, zelfs als DNS niet is gewijzigd. RFC 9989's huidige ontdekkingsregels, inclusief de DNS -boomwandelingillustreren waarom een methode gebaseerd op een ander ontdekkingsalgoritme zonder analyse mogelijk niet direct vergelijkbaar is.
Als de methode verandert, bewaar dan de eerdere resultaten en identificeer een breuk in de reeks. Waar het ruwe bewijs dit toelaat, verwerkt u eerdere waarnemingen opnieuw met de nieuwe parser en rapporteert u die als een afzonderlijke, vergelijkbare reeks. Overschrijf historische classificaties niet stilletjes en presenteer de herziene trend niet als de oorspronkelijke meting. Bij herverwerking kunnen DNS antwoorden die nooit zijn bewaard niet worden gereconstrueerd.
Houd fouten in de boekhouding bij
Onderscheid naamfout, geen gevraagde gegevens, time-out, serverfout, ongeldig beleid en niet-ondersteunde interpretatie. Een mislukte query mag niet automatisch een afwezigheid van implementatie worden, en het uitsluiten van alle fouten kan de schijnbare acceptatiegraad verhogen. Bewaar poging tot observatie en leg de behandeling van elke foutcategorie uit. Als een nieuwe poging slaagt, behoudt u zowel de aanvankelijke mislukking als de regel die voor de uiteindelijke classificatie is gebruikt.
RFC 1035 definieert DNS respons- en recordstructuren. Bewaar onbewerkte recordgrenzen voordat het protocol wordt geparseerd, vooral als er meerdere TXT tekenreeksen of records aanwezig zijn. Een verandering in de manier waarop de parser omgaat met gesplitste strings of dubbele kandidaten kan een valse trend creëren als het onderliggende bewijsmateriaal verloren gaat. De recordstructuur maakt deel uit van de reproduceerbaarheid, en niet alleen van de weergaveopmaak.
Geef elke breuk expliciet weer
Bewaar voor elke periode het aantal geselecteerde, geprobeerde, met succes geobserveerde, geclassificeerde, uitgesloten en onopgeloste eenheden. Definieer vervolgens de teller voor de gerapporteerde eigenschap. De adoptie onder alle geselecteerde eenheden verschilt van de adoptie onder succesvol geclassificeerde eenheden. Als beide maatregelen informatief zijn, rapporteer dan beide met hun labels en onzekerheid, in plaats van te presenteren wat het gunstigst is.
Bedenk geen betrouwbaarheidsintervallen, statistische significantie of representatieve dekking zonder een gerechtvaardigd steekproefmodel. Ontbrekende observaties hoeven niet willekeurig te zijn, en de domeinen waarbij een time-out optreedt, kunnen systematisch verschillen van de domeinen die wel reageren. Een transparante beschrijvende vergelijking kan nog steeds nuttig zijn zonder niet-ondersteunde gevolgtrekkingen. Dit manuscript bevat geen numerieke schattingen of verzonnen onzekerheidsberekeningen.
Scheid de configuratiewijziging van de berichtresultaten
Een domein dat overgaat van geen geobserveerd beleid naar geobserveerd beleid is een configuratieobservatie. Het toont niet aan dat elke legitieme boodschap nu op één lijn ligt of dat de fraude is afgenomen. RFC 8601 beschrijft betrouwbaar authenticatieresultaatbewijs dat analyse op berichtniveau zou kunnen ondersteunen, maar die analyse heeft een eigen populatie nodig en bewaarde observaties van de ontvanger.
RFC 9990 definieert de geaggregeerde rapportage. Als rapporten bijdragen aan een longitudinaal onderzoek, bewaar verslaggeversdekking, perioden en teldimensies dan afzonderlijk van DNS waarnemingen. Veranderingen in de rapportagedekking kunnen de schijnbare authenticatieprestaties veranderen, zelfs zonder veranderd afzendergedrag. Voeg een DNS cohorttrend en een trend voor het tellen van rapporten niet samen in één metriek, tenzij de methode de compatibele eenheden en beperkingen uitlegt.
Een werkblad voor longitudinale afstemming
Maak een werkblad met periode, voorbeeldversie, lidmaatschapswijzigingen, methodeversie, bronreferenties, poging tot telling, foutcategorieën, uitsluitingen, geclassificeerde telling en metrische teller. Voeg de regel toe die voor elke noemer wordt gebruikt en een vergelijkingsstatus die aangeeft of perioden direct vergelijkbaar zijn, opnieuw worden verwerkt of gescheiden door een methodeonderbreking. Bewaar onbewerkte bewijs-hashes en het fouten-/uitsluitingslogboek.
Bij de beoordeling moet worden nagegaan of in elke periode dezelfde vraag wordt beantwoord. Als een nieuwe ontvangerbron, parserregel of domeinklasse in het onderzoek terechtkomt, documenteer dan het effect ervan voordat u de richting van de verandering interpreteert. Laat een onafhankelijke analist een kleine reeks classificaties en de geaggregeerde boekhouding reproduceren wanneer originele gegevens beschikbaar komen. Een dergelijke reproductie werd hier niet uitgevoerd.
Fictieve diagnose: een beter percentage na het verwijderen van storingen
Een fictief team publiceert in de tweede periode een hoger adoptiepercentage. De eerste noemer omvatte elk geprobeerd domein, terwijl de tweede alle time-outs en ongeldige antwoorden uitsloot. De schijnbare verbetering kan daarom een gewijzigde boekhouding weerspiegelen in plaats van een extra inzet. De voorgestelde herziening reconstrueert beide perioden met behulp van dezelfde verklaarde regel en rapporteert afzonderlijk de onopgeloste gevallen.
Het team zou ook controleren of het lidmaatschaps- of parsergedrag veranderde. Het zou geen causale verbetering ten opzichte van de oorspronkelijke percentages claimen totdat deze verschillen werden begrepen. Dit voorbeeld levert geen feitelijke tellingen, domeinen of studiewaarnemingen op. Het is een fictieve illustratie van het afwijken van de noemer en geen gemeten bevinding over een authenticatie-ecosysteem.
Publiceer vergelijkbaarheidslimieten met het resultaat
Een verdedigbaar trendrapport vermeldt de populatie, tijdvensters, meetversies, teller, noemer en fouten. Het legt wijzigingen in de methode uit en zet observaties van de implementatie niet stilzwijgend om in berichtcompliance, bezorging of voorkomen verliezen. De lezer moet kunnen vaststellen wat er in de gemeten systemen is veranderd en wat er alleen in het meetproces is veranderd.
De catalogus vereist een dataset met versiebeheer, een querymethode en een fouten-/uitsluitingslogboek dat een andere analist kan reproduceren. Die originele artefacten blijven open. Beoordeling door menselijke specialisten, toepasbaarheid van bronnen, productieroutes, toegankelijkheid en vrijgave door de eigenaar blijven ook open. Dit ontwerp biedt een methodologisch ontwerp en een fictieve diagnose, geen uitgevoerd longitudinaal onderzoek of een claim van verbeterde adoptie.