Bevara nämnaren innan du jämför trenden
En trend för autentisering och användning kan ändras på grund av att domäner ändrade konfigurationen, på grund av att provet ändrades eller på grund av att mätmetoden ändrades. Dessa förklaringar är inte likvärdiga. En longitudinell jämförelse bör behålla populationen, metrisk definition, parser och felhantering för varje period så att en uppenbar förbättring inte skapas genom att tyst ta bort svåra fall eller lägga till en annan blandning av domäner.
Den här artikeln föreslår en reproducerbar metod och presenterar inget studieresultat. RFC 9989 definierar ström DMARC beteende, medan RFC 7208 definierar SPF publicering och utvärdering. Standarder hjälper till att specificera vad en mätning betyder; de förser inte befolkningen eller motiverar en kausal tolkning av en trend. Inga domäner efterfrågades för detta manuskript.
Definiera den uppmätta egenskapen och enheten
Ange om mätvärdet räknar närvaron av exakta namnposter, giltiga tillämpliga policyer, verkställighetsbegäranden, observerade anpassade meddelanden eller annan tydligt definierad egenskap. En konfigurerad domän och ett meddelande är olika enheter, och en domän kan stödja flera sändningsarbetsflöden. Nämnaren måste motsvara täljaren. En genomgångsfrekvens för observerade meddelanden kan inte ersätta andelen domäner som publicerar en policy utan att ändra frågan.
Anteckna provets ursprung, inklusionskriterier och avsett omfattning. Webbplatsdomäner, kunddomäner och faktiska SMTP identiteter kan ge olika resultat. Om studien använder en bekvämlighetslista, behåll den begränsningen. Undvik att säga att internet förbättrades när bevisen gäller en utvald kundkohort. Detta utkast innehåller ingen befolkningsräkning eller adoptionsprocent att generalisera.
Spåra medlemskap som en förstklassig datauppsättning
Behåll en versionsbaserad medlemstabell med varje enhets stabila identifierare, normaliserade namn, inträdesdatum, utträdesdatum och skäl för inkludering eller uteslutning. Bevara domänbyten, ägarförändringar och sammanslagningar där de påverkar tolkningen. Anta inte att samma textetikett representerar samma organisatoriska relation genom hela studien. En domän kan vara kvar i DNS medan dess affärsroll ändras.
Välj om analysen använder en fast kohort, ett upprepat tvärsnitt eller båda. En fast kohort kan stödja jämförelse av samma enheter men kan bli mindre representativ med tiden. Ett upprepat tvärsnitt kan spegla den aktuella populationen men blandar medlemsförändring med konfigurationsändring. Rapportera den valda designen och, där det är användbart, visa båda vyerna separat istället för att dölja deras olika nämnare.
Verifiera mätimplementeringen
Behåll frågekod eller metodbeskrivning, resolverkonfiguration, timeouts, återförsök, normaliseringsregler, parserversion och standardreferenser för varje körning. En parseruppgradering kan omklassificera samma råpost även om DNS inte ändrades. RFC 9989s nuvarande upptäcktsregler, inklusive DNS Tree Walk, illustrera varför en metod baserad på en annan upptäcktsalgoritm kanske inte är direkt jämförbar utan analys.
Om metoden ändras, bevara de tidigare resultaten och identifiera ett avbrott i serien. Om obearbetade bevis tillåter, bearbeta tidigare observationer med den nya analysatorn och rapportera det som en separat jämförbar serie. Skriv inte över historiska klassificeringar i tysthet och presentera den reviderade trenden som den ursprungliga mätningen. Återbearbetning kan inte rekonstruera DNS svar som aldrig behölls.
Håll fel i bokföringen
Distinguish name error, inga begärda data, timeout, serverfel, ogiltig policy och ostödd tolkning. En misslyckad fråga bör inte automatiskt bli frånvaro av driftsättning, och att utesluta alla fel kan öka den uppenbara adoptionsfrekvensen. Behåll försök till observationer och förklara behandlingen av varje felkategori. Om ett nytt försök lyckas, bevara både det initiala misslyckandet och regeln som användes för den slutliga klassificeringen.
RFC 1035 definierar DNS svar och poststrukturer. Bevara råpostgränser före protokollanalys, särskilt när flera TXT strängar eller poster finns närvarande. En förändring i parserns hantering av delade strängar eller dubbletter av kandidater kan skapa en falsk trend om de underliggande bevisen går förlorade. Poststrukturen är en del av reproducerbarheten, inte bara visningsformateringen.
Ange varje bråkdel explicit
För varje period, behåll antalet valda enheter, försökte, framgångsrikt observerade, klassificerade, uteslutna och olösta. Definiera sedan täljaren för den rapporterade egenskapen. Adoption bland alla utvalda enheter skiljer sig från adoption bland framgångsrikt klassificerade enheter. Om båda åtgärderna är informativa, rapportera både med deras etiketter och osäkerhet istället för att presentera det som är mest fördelaktigt.
Uppfinn inte konfidensintervall, statistisk signifikans eller representativ täckning utan en motiverad urvalsmodell. Saknade observationer kanske inte är slumpmässiga, och de domäner som timeout kan skilja sig systematiskt från de som svarar. En transparent beskrivande jämförelse kan fortfarande vara användbar utan ounderbyggda slutsatser. Detta manuskript tillhandahåller inga numeriska uppskattningar eller tillverkade osäkerhetsberäkningar.
Separat konfigurationsändring från meddelanderesultat
En domän som går från ingen observerad policy till en observerad policy är en konfigurationsobservation. Det visar inte att alla legitima budskap nu stämmer överens eller att bedrägerierna minskat. RFC 8601 beskriver pålitliga bevis för autentiseringsresultat som skulle kunna stödja analys på meddelandenivå, men den analysen behöver sin egen population och bibehållna mottagarobservationer.
RFC 9990 definierar aggregerad rapportering. Om rapporter bidrar till en longitudinell studie, bevara reporterns täckning, perioder och räkna dimensioner separat från DNS observationer. Ändringar i rapporteringstäckningen kan ändra uppenbar autentiseringsprestanda även utan ändrat avsändarbeteende. Slå inte ihop en trend för en DNS kohort och en trend för rapporträkning till ett mått om inte metoden förklarar kompatibla enheter och begränsningar.
Ett arbetsblad för longitudinell avstämning
Skapa ett kalkylblad med period, exempelversion, medlemskapsändringar, metodversion, källreferenser, försöksräkning, felkategorier, undantag, klassificerat antal och metrisk täljare. Lägg till regeln som används för varje nämnare och en jämförelsestatus som anger om perioder är direkt jämförbara, omarbetade eller åtskilda av ett metodavbrott. Behåll råbevishaschar och fel-/uteslutningsloggen.
Granskningen bör fråga sig om samma fråga besvaras i varje period. Om en ny mottagarkälla, parserregel eller domänklass kommer in i studien, dokumentera dess effekt innan du tolkar förändringens riktning. Låt en oberoende analytiker återge en liten uppsättning klassificeringar och den aggregerade redovisningen när originaldata blir tillgängliga. Någon sådan reproduktion utfördes inte här.
Fiktiv diagnos: en bättre procentandel efter att ha tagit bort misslyckanden
Ett fiktivt team publicerar en högre adoptionsprocent under sin andra period. Den första nämnaren inkluderade alla försök till domän, medan den andra exkluderade alla timeouts och ogiltiga svar. Den skenbara förbättringen kan därför spegla ändrad redovisning snarare än ytterligare implementering. Den föreslagna granskningen rekonstruerar båda perioderna med samma deklarerade regel och rapporterar de olösta fallen separat.
Teamet skulle också kontrollera om medlemskapet eller analysbeteendet ändrades. Den skulle inte göra anspråk på en kausal förbättring från de ursprungliga procentsatserna förrän dessa skillnader förstods. Detta exempel ger inga faktiska räkningar, domäner eller studieobservationer. Det är en fiktiv illustration av nämnardrift och inte ett uppmätt fynd om ett autentiseringsekosystem.
Publicera jämförbarhetsgränser med resultatet
En försvarbar trendrapport anger population, tidsfönster, mätversioner, täljare, nämnare och fel. Den förklarar förändringar av metoden och omvandlar inte i det tysta implementeringsobservationer till meddelandeefterlevnad, leverans eller förhindrade förluster. Läsaren ska kunna avgöra vad som förändrades i de uppmätta systemen och vad som förändrades endast i mätprocessen.
Katalogen kräver en versionsuppsättning, frågemetod och fel-/uteslutningslogg som en annan analytiker kan återskapa. Dessa ursprungliga artefakter förblir öppna. Mänsklig specialistgranskning, källans tillämplighet, produktionsvägar, tillgänglighet och ägarefrisläppande förblir också öppna. Detta utkast tillhandahåller en metodologisk design och fiktiv diagnos, inte en utförd longitudinell studie eller ett påstående om förbättrad adoption.