Ta vare på nevneren før du sammenligner trenden
En autentiseringsadopsjonstrend kan endres fordi domener endret konfigurasjon, fordi prøven endret seg eller fordi målemetoden endret seg. Disse forklaringene er ikke likeverdige. En langsgående sammenligning bør beholde populasjonen, metrikkdefinisjonen, parseren og feilhåndteringen for hver periode, slik at det ikke skapes en tilsynelatende forbedring ved å fjerne vanskelige tilfeller i det stille eller legge til en annen blanding av domener.
Denne artikkelen foreslår en reproduserbar metode og presenterer ikke et studieresultat. RFC 9989 definerer gjeldende DMARC oppførsel, mens RFC 7208 definerer SPF publisering og evaluering. Standarder hjelper til med å spesifisere hva en måling betyr; de forsyner ikke befolkningen eller rettferdiggjør en kausal tolkning av en trend. Ingen domener ble spurt om dette manuskriptet.
Definer den målte egenskapen og enheten
Angi om beregningen teller tilstedeværelse av eksakt navn, gyldige gjeldende retningslinjer, håndhevelsesforespørsler, observerte justerte meldinger eller en annen klart definert egenskap. Et konfigurert domene og en melding er forskjellige enheter, og et domene kan støtte flere sendingsarbeidsflyter. Nevneren må samsvare med telleren. En bestått rate for observerte meldinger kan ikke erstatte andelen domener som publiserer en policy uten å endre spørsmålet.
Registrer prøvens opprinnelse, inklusjonskriterier og tiltenkt omfang. Nettsteddomener, kundedomener og faktiske SMTP identiteter kan gi forskjellige resultater. Hvis studien bruker en bekvemmelighetsliste, behold den begrensningen. Unngå å si at internett ble forbedret når bevisene gjelder en utvalgt kundekohort. Dette utkastet inneholder ingen befolkningstall eller adopsjonsprosent å generalisere.
Spor medlemskap som et førsteklasses datasett
Hold en versjonert medlemstabell med hver enhets stabile identifikator, normaliserte navn, inngangsdato, utgangsdato og årsak til inkludering eller ekskludering. Ta vare på domenenavn, eierendringer og fusjoner der de påvirker tolkningen. Ikke anta at den samme tekstetiketten representerer det samme organisatoriske forholdet gjennom hele studien. Et domene kan forbli i DNS mens forretningsrollen endres.
Velg om analysen bruker en fast kohort, et gjentatt tverrsnitt eller begge deler. En fast kohort kan støtte sammenligning av de samme enhetene, men kan bli mindre representativ over tid. Et gjentatt tverrsnitt kan gjenspeile den nåværende populasjonen, men blander medlemskapsendring med konfigurasjonsendring. Rapporter det valgte designet og, der det er nyttig, vis begge visningene separat i stedet for å skjule de forskjellige nevnerne.
Versjon målingsimplementeringen
Behold spørringskode eller metodebeskrivelse, løserkonfigurasjon, tidsavbrudd, forsøk på nytt, normaliseringsregler, parserversjon og standardreferanser for hver kjøring. En parseroppgradering kan omklassifisere den samme råposten selv om DNS ikke ble endret. RFC 9989gjeldende oppdagelsesregler, inkludert DNS Tree Walk, illustrere hvorfor en metode basert på en annen oppdagelsesalgoritme kanskje ikke er direkte sammenlignbar uten analyse.
Hvis metoden endres, bevar de tidligere resultatene og identifiser et brudd i serien. Der råbevis tillater det, behandle tidligere observasjoner på nytt med den nye parseren og rapporter det som en separat sammenlignbar serie. Ikke overskriv historiske klassifikasjoner i det stille og presenter den reviderte trenden som den opprinnelige målingen. Reprosessering kan ikke rekonstruere DNS svar som aldri ble beholdt.
Hold feil i regnskapet
Skille navnefeil, ingen forespurte data, tidsavbrudd, serverfeil, ugyldig policy og ustøttet tolkning. En mislykket spørring skal ikke automatisk bli fravær av distribusjon, og å ekskludere alle feil kan øke den tilsynelatende bruksraten. Behold forsøkte observasjoner og forklar behandlingen av hver feilkategori. Hvis et nytt forsøk lykkes, bevar både den første feilen og regelen som ble brukt for den endelige klassifiseringen.
RFC 1035 definerer DNS respons- og poststrukturer. Bevar råpostgrenser før protokollparsing, spesielt når flere TXT strenger eller poster er tilstede. En endring i parserens håndtering av delte strenger eller dupliserte kandidater kan skape en falsk trend hvis det underliggende beviset går tapt. Poststruktur er en del av reproduserbarheten, ikke bare visningsformatering.
Oppgi hver brøk eksplisitt
For hver periode, behold antall enheter valgt, forsøkt, vellykket observert, klassifisert, ekskludert og uløst. Definer deretter telleren for den rapporterte eiendommen. Adopsjon blant alle utvalgte enheter skiller seg fra adopsjon blant vellykket klassifiserte enheter. Hvis begge tiltakene er informative, rapporter begge med etiketter og usikkerhet i stedet for å presentere det som er mest gunstig.
Ikke oppfinn konfidensintervaller, statistisk signifikans eller representativ dekning uten en begrunnet prøvemodell. Manglende observasjoner er kanskje ikke tilfeldige, og domenene som får timeout kan avvike systematisk fra de som reagerer. En gjennomsiktig beskrivende sammenligning kan fortsatt være nyttig uten ustøttede slutningspåstander. Dette manuskriptet gir ingen numeriske estimater eller fabrikkerte usikkerhetsberegninger.
Separat konfigurasjonsendring fra meldingsutfall
Et domene som går fra ingen observert policy til en observert policy er en konfigurasjonsobservasjon. Det viser ikke at alle legitime meldinger nå stemmer overens, eller at svindel har redusert. RFC 8601 beskriver pålitelige autentiseringsresultatbevis som kan støtte analyse på meldingsnivå, men den analysen trenger sin egen populasjon og beholdte mottakerobservasjoner.
RFC 9990 definerer samlet rapportering. Hvis rapporter bidrar til en longitudinell studie, bevar reporterdekning, perioder og telledimensjoner separat fra DNS observasjoner. Endringer i rapporteringsdekning kan endre tilsynelatende autentiseringsytelse selv uten endret avsenderatferd. Ikke slå sammen en DNS kohorttrend og en rapporttellingstrend i én beregning med mindre metoden forklarer de kompatible enhetene og begrensningene.
Et arbeidsark for langsgående avstemming
Lag et regneark med periode, eksempelversjon, medlemskapsendringer, metodeversjon, kildereferanser, antall forsøk, feilkategorier, ekskluderinger, klassifisert telling og metrisk teller. Legg til regelen som brukes for hver nevner og en sammenligningsstatus som indikerer om perioder er direkte sammenlignbare, bearbeidet eller atskilt med et metodebrudd. Behold råbevis-hasher og feil-/ekskluderingsloggen.
Gjennomgangen bør spørre om det samme spørsmålet blir besvart i hver periode. Hvis en ny mottakerkilde, parserregel eller domeneklasse kommer inn i studien, dokumenter effekten før du tolker retningen for endringen. Få en uavhengig analytiker til å reprodusere et lite sett med klassifiseringer og det samlede regnskapet når originaldata blir tilgjengelig. Ingen slik gjengivelse ble utført her.
Fiktiv diagnose: en bedre prosentandel etter fjerning av feil
Et fiktivt team publiserer en høyere adopsjonsprosent i sin andre periode. Den første nevneren inkluderte alle forsøkte domene, mens den andre ekskluderte alle tidsavbrudd og ugyldige svar. Den tilsynelatende forbedringen kan derfor reflektere endret regnskap i stedet for ytterligere distribusjon. Den foreslåtte gjennomgangen rekonstruerer begge periodene ved å bruke samme erklærte regel og rapporterer separat de uavklarte sakene.
Teamet vil også sjekke om medlemskap eller parser-atferd endret seg. Det ville ikke kreve en kausal forbedring fra de opprinnelige prosentene før disse forskjellene ble forstått. Dette eksemplet gir ingen faktiske tellinger, domener eller studieobservasjoner. Det er en fiktiv illustrasjon av nevnerdrift og ikke et målt funn om et autentiseringsøkosystem.
Publiser sammenlignbarhetsgrenser med resultatet
En forsvarlig trendrapport angir populasjon, tidsvinduer, måleversjoner, teller, nevner og feil. Den forklarer endringer i metoden og konverterer ikke stille observasjoner av distribusjon til meldingsoverholdelse, levering eller forhindret tap. Leseren skal kunne fastslå hva som endret seg i de målte systemene og hva som endret seg kun i måleprosessen.
Katalogen krever et versjonsdatasett, spørringsmetode og feil-/ekskluderingslogg som en annen analytiker kan reprodusere. De originale gjenstandene forblir åpne. Gjennomgang av menneskelig spesialist, kildeanvendbarhet, produksjonsruter, tilgjengelighet og eierfrigivelse forblir også åpne. Dette utkastet gir et metodisk design og fiktiv diagnose, ikke en utført longitudinell studie eller et krav om forbedret adopsjon.