Bevar nævneren, før du sammenligner tendensen
En tendens til godkendelsesvedtagelse kan ændre sig, fordi domæner ændrede konfiguration, fordi prøven blev ændret, eller fordi målemetoden blev ændret. Disse forklaringer er ikke ækvivalente. En longitudinel sammenligning bør bevare populationen, metrisk definition, parser og fejlhåndtering for hver periode, så der ikke skabes en tilsyneladende forbedring ved lydløst at fjerne vanskelige cases eller tilføje en anden blanding af domæner.
Denne artikel foreslår en reproducerbar metode og præsenterer ikke et undersøgelsesresultat. RFC 9989 definerer strøm DMARC adfærd, mens RFC 7208 definerer SPF udgivelse og evaluering. Standarder hjælper med at specificere, hvad en måling betyder; de forsyner ikke befolkningen eller retfærdiggør en kausal fortolkning af en tendens. Ingen domæner blev forespurgt for dette manuskript.
Definer den målte egenskab og enhed
Angiv, om metrikken tæller tilstedeværelsen af eksakt navn, gyldige gældende politikker, håndhævelsesanmodninger, observerede tilpassede meddelelser eller en anden klart defineret egenskab. Et konfigureret domæne og en besked er forskellige enheder, og et domæne kan understøtte flere afsendelsesarbejdsgange. Nævneren skal svare til tælleren. En beståelsesrate for observerede meddelelser kan ikke erstatte andelen af domæner, der udgiver en politik, uden at ændre spørgsmålet.
Registrer prøvens oprindelse, inklusionskriterier og påtænkte omfang. Hjemmesidedomæner, kundedomæner og faktiske SMTP identiteter kan give forskellige resultater. Hvis undersøgelsen bruger en bekvemmelighedsliste, behold denne begrænsning. Undgå at sige, at internettet er blevet forbedret, når beviserne vedrører en udvalgt kundekohorte. Dette udkast indeholder ingen befolkningstal eller adoptionsprocent til at generalisere.
Spor medlemskab som et førsteklasses datasæt
Hold en versioneret medlemstabel med hver enheds stabile identifikator, normaliserede navn, indgangsdato, udgangsdato og årsag til inkludering eller udelukkelse. Bevar domæneomdøbninger, ejerskabsændringer og fusioner, hvor de påvirker fortolkningen. Antag ikke, at den samme tekstetiket repræsenterer det samme organisatoriske forhold gennem hele undersøgelsen. Et domæne kan forblive i DNS , mens dets forretningsrolle ændrer sig.
Vælg om analysen bruger en fast kohorte, et gentaget tværsnit eller begge dele. En fast kohorte kan understøtte sammenligning af de samme enheder, men kan blive mindre repræsentativ over tid. Et gentaget tværsnit kan afspejle den aktuelle population, men blander medlemsændringer med konfigurationsændringer. Rapportér det valgte design, og vis begge visninger separat, hvor det er nyttigt, i stedet for at skjule deres forskellige nævnere.
Version målingsimplementeringen
Bevar forespørgselskode eller metodebeskrivelse, resolverkonfiguration, timeouts, genforsøg, normaliseringsregler, parserversion og standardreferencer for hver kørsel. En parser-opgradering kan omklassificere den samme rå-record, selvom DNS ikke blev ændret. RFC 9989s nuværende opdagelsesregler, herunder DNS Tree Walk, illustrere hvorfor en metode baseret på en anden opdagelsesalgoritme måske ikke er direkte sammenlignelig uden analyse.
Hvis metoden ændres, skal du bevare de tidligere resultater og identificere et brud i serien. Hvor råt bevis tillader det, genbehandle tidligere observationer med den nye parser og rapporter det som en separat sammenlignelig serie. Du må ikke stille og roligt overskrive historiske klassifikationer og præsentere den reviderede tendens som den oprindelige måling. Genbehandling kan ikke rekonstruere DNS svar, der aldrig blev bevaret.
Hold fejl i regnskabet
Skelne navnefejl, ingen anmodede data, timeout, serverfejl, ugyldig politik og ikke-understøttet fortolkning. En mislykket forespørgsel bør ikke automatisk blive fravær af implementering, og at ekskludere alle fejl kan øge den tilsyneladende adoptionshastighed. Bevar forsøgte observationer og forklar behandlingen af hver fejlkategori. Hvis et genforsøg lykkes, skal du bevare både den indledende fejl og den regel, der blev brugt til den endelige klassificering.
RFC 1035 definerer DNS svar og registreringsstrukturer. Bevar råpostgrænser før protokolparsing, især når der er flere TXT strenge eller -poster til stede. En ændring i parserens håndtering af opdelte strenge eller duplikatkandidater kan skabe en falsk tendens, hvis det underliggende bevis går tabt. Optegnelsens struktur er en del af reproducerbarheden, ikke kun visningsformatering.
Angiv hver brøk eksplicit
For hver periode skal du beholde antallet af valgte enheder, forsøgt, med succes observeret, klassificeret, ekskluderet og uløst. Definer derefter tælleren for den indberettede ejendom. Adoption blandt alle udvalgte enheder adskiller sig fra adoption blandt vellykkede klassificerede enheder. Hvis begge foranstaltninger er informative, skal du rapportere både med deres etiketter og usikkerhed i stedet for at præsentere, hvad der er mest gunstigt.
Opfind ikke konfidensintervaller, statistisk signifikans eller repræsentativ dækning uden en begrundet stikprøvemodel. Manglende observationer er muligvis ikke tilfældige, og de domæner, der timeout, kan afvige systematisk fra dem, der reagerer. En gennemsigtig beskrivende sammenligning kan stadig være nyttig uden ikke-underbyggede slutningspåstande. Dette manuskript giver ingen numeriske skøn eller fremstillede usikkerhedsberegninger.
Separat konfigurationsændring fra meddelelsesresultater
Et domæne, der flytter sig fra ingen observeret politik til en observeret politik, er en konfigurationsobservation. Det viser ikke, at alle legitime budskaber nu stemmer overens, eller at svindel er faldet. RFC 8601 beskriver pålidelige godkendelsesresultatbeviser, der kunne understøtte analyse på meddelelsesniveau, men denne analyse har brug for sin egen population og bevarede modtagerobservationer.
RFC 9990 definerer samlet rapportering. Hvis rapporter bidrager til en longitudinel undersøgelse, skal du bevare reporterdækningen, perioder og tælle dimensioner adskilt fra DNS observationer. Ændringer i rapporteringsdækningen kan ændre tilsyneladende godkendelsesydelse, selv uden ændret afsenderadfærd. Slut ikke en DNS kohorte-trend og en rapporttællingstrend i én metrik, medmindre metoden forklarer de kompatible enheder og begrænsninger.
Et arbejdsark til langsgående afstemning
Opret et regneark med periode, eksempelversion, medlemskabsændringer, metodeversion, kildehenvisninger, forsøgstælling, fejlkategorier, ekskluderinger, klassificeret tæller og metrisk tæller. Tilføj reglen, der bruges for hver nævner, og en sammenligningsstatus, der angiver, om perioder er direkte sammenlignelige, genbearbejdede eller adskilt af et metodebrud. Behold råbevis-hashes og fejl-/udelukkelsesloggen.
Gennemgangen bør spørge, om det samme spørgsmål bliver besvaret i hver periode. Hvis en ny modtagerkilde, parserregel eller domæneklasse kommer ind i undersøgelsen, skal du dokumentere dens effekt, før du fortolker retningen af ændringen. Få en uafhængig analytiker til at gengive et lille sæt klassifikationer og det samlede regnskab, når originale data bliver tilgængelige. En sådan gengivelse blev ikke udført her.
Fiktiv diagnose: en bedre procentdel efter fjernelse af fejl
Et fiktivt hold udgiver en højere adoptionsprocent i sin anden periode. Den første nævner inkluderede alle forsøgte domæner, mens den anden udelukkede alle timeouts og ugyldige svar. Den tilsyneladende forbedring kan derfor afspejle ændret regnskab snarere end yderligere implementering. Den foreslåede gennemgang rekonstruerer begge perioder ved hjælp af den samme erklærede regel og rapporterer separat de uafklarede sager.
Teamet ville også kontrollere, om medlemskab eller parsers adfærd ændrede sig. Den ville ikke hævde en kausal forbedring fra de oprindelige procentsatser, før disse forskelle blev forstået. Dette eksempel giver ingen faktiske optællinger, domæner eller undersøgelsesobservationer. Det er en fiktiv illustration af nævnerdrift og ikke et målt fund om et autentificeringsøkosystem.
Offentliggør sammenlignelighedsgrænser med resultatet
En forsvarlig trendrapport angiver populationen, tidsvinduer, måleversioner, tæller, nævner og fejl. Den forklarer ændringer af metoden og konverterer ikke stille observationer af implementering til meddelelsesoverholdelse, levering eller forhindrede tab. Læseren skal være i stand til at bestemme, hvad der ændrede sig i de målte systemer, og hvad der kun ændrede sig i måleprocessen.
Kataloget kræver et versioneret datasæt, forespørgselsmetode og fejl-/udelukkelseslog, som en anden analytiker kan gengive. Disse originale artefakter forbliver åbne. Gennemgang af menneskelig specialist, kildeanvendelighed, produktionsruter, tilgængelighed og ejerfrigivelse forbliver også åbne. Dette udkast giver et metodisk design og fiktiv diagnose, ikke en udført longitudinel undersøgelse eller en påstand om forbedret adoption.