Conserver le dénominateur avant de comparer la tendance
Une tendance à l'adoption de l'authentification peut changer parce que les domaines ont changé de configuration, parce que l'échantillon a changé ou parce que la méthode de mesure a changé. Ces explications ne sont pas équivalentes. Une comparaison longitudinale doit conserver la population, la définition métrique, l'analyseur et la gestion des erreurs pour chaque période afin qu'une amélioration apparente ne soit pas créée en supprimant silencieusement les cas difficiles ou en ajoutant une combinaison différente de domaines.
Cet article propose une méthode reproductible et ne présente pas de résultat d’étude. RFC 9989 définit le courant DMARC comportement, tandis que RFC 7208 définit SPF publication et évaluation. Les normes aident à préciser ce que signifie une mesure ; ils n’alimentent pas la population et ne justifient pas une interprétation causale d’une tendance. Aucun domaine n'a été interrogé pour ce manuscrit.
Définir la propriété et l'unité mesurées
Indiquez si la métrique prend en compte la présence d'un enregistrement de nom exact, les politiques applicables valides, les demandes d'application, les messages alignés observés ou une autre propriété clairement définie. Un domaine configuré et un message sont des unités différentes, et un domaine peut prendre en charge plusieurs workflows d'envoi. Le dénominateur doit correspondre au numérateur. Un taux de réussite des messages observés ne peut se substituer à la part des domaines publiant une politique sans changer la question.
Enregistrez l'origine de l'échantillon, les critères d'inclusion et la portée prévue. Les domaines de sites Web, les domaines clients et les identités SMTP réelles peuvent produire des résultats différents. Si l’étude utilise une liste de commodité, conservez cette limitation. Évitez de dire qu’Internet s’est amélioré lorsque les preuves concernent une cohorte de clients sélectionnée. Ce projet ne contient aucun décompte de population ni pourcentage d’adoption pour généraliser.
Suivez l’adhésion en tant qu’ensemble de données de première classe
Conservez un tableau d'adhésion versionné avec l'identifiant stable de chaque unité, le nom normalisé, la date d'entrée, la date de sortie et la raison de l'inclusion ou de l'exclusion. Préservez les noms de domaine, les changements de propriété et les fusions là où ils affectent l’interprétation. Ne présumez pas que la même étiquette de texte représente la même relation organisationnelle tout au long de l’étude. Un domaine peut rester dans DNS pendant que son rôle commercial change.
Choisissez si l'analyse utilise une cohorte fixe, une coupe transversale répétée ou les deux. Une cohorte fixe peut permettre la comparaison des mêmes unités mais peut devenir moins représentative au fil du temps. Une coupe transversale répétée peut refléter la population actuelle mais mélange un changement d'adhésion avec un changement de configuration. Signalez la conception choisie et, lorsque cela est utile, affichez les deux vues séparément plutôt que de masquer leurs différents dénominateurs.
Versionner la mise en œuvre de la mesure
Conservez le code de requête ou la description de la méthode, la configuration du résolveur, les délais d'attente, les tentatives, les règles de normalisation, la version de l'analyseur et les références aux normes pour chaque exécution. Une mise à niveau de l'analyseur peut reclasser le même enregistrement brut même si DNS n'a pas changé. RFC 9989les règles de découverte actuelles de, y compris les Promenade dans l'arborescence DNS, illustrent pourquoi une méthode basée sur un algorithme de découverte différent peut ne pas être directement comparable sans analyse.
Si la méthode change, conserver les résultats précédents et identifier une rupture dans la série. Lorsque les preuves brutes le permettent, retraitez les observations antérieures avec le nouvel analyseur et signalez-les sous forme de série comparable distincte. N’écrasez pas discrètement les classifications historiques et présentez la tendance révisée comme la mesure originale. Le retraitement ne peut pas reconstruire les réponses DNS qui n'ont jamais été conservées.
Conserver les échecs dans la comptabilité
Erreur de nom distinctif, aucune donnée demandée, délai d'attente, panne de serveur, stratégie non valide et interprétation non prise en charge. Un échec de requête ne doit pas automatiquement se traduire par une absence de déploiement, et l’exclusion de tous les échecs peut gonfler le taux d’adoption apparent. Conserver les tentatives d’observations et expliquer le traitement de chaque catégorie d’erreur. Si une nouvelle tentative réussit, conservez à la fois l'échec initial et la règle utilisée pour le classement final.
RFC 1035 définit les structures de réponse et d'enregistrement DNS . Préservez les limites des enregistrements bruts avant l’analyse du protocole, en particulier lorsque plusieurs chaînes ou enregistrements TXT sont présents. Un changement dans la gestion par l'analyseur des chaînes divisées ou des candidats en double peut créer une fausse tendance si la preuve sous-jacente est perdue. La structure des enregistrements fait partie de la reproductibilité, et pas seulement du formatage de l'affichage.
Énoncez chaque fraction explicitement
Pour chaque période, conserver le nombre d'unités sélectionnées, tentées, observées avec succès, classées, exclues et non résolues. Définissez ensuite le numérateur de la propriété signalée. L'adoption parmi toutes les unités sélectionnées diffère de l'adoption parmi les unités classées avec succès. Si les deux mesures sont informatives, indiquez les deux avec leurs étiquettes et leur incertitude plutôt que de présenter celle qui est la plus favorable.
N’inventez pas d’intervalles de confiance, de signification statistique ou de couverture représentative sans un modèle d’échantillonnage justifié. Les observations manquantes peuvent ne pas être aléatoires et les domaines qui expirent peuvent différer systématiquement de ceux qui répondent. Une comparaison descriptive transparente peut toujours être utile sans affirmations inférentielles non étayées. Ce manuscrit ne fournit aucune estimation numérique ni calcul d’incertitude fabriqué.
Séparer le changement de configuration des résultats du message
Un domaine passant d’une politique sans politique observée à une politique observée est une observation de configuration. Cela ne démontre pas que tous les messages légitimes s’alignent désormais ou que la fraude a diminué. RFC 8601 décrit des preuves fiables de résultats d'authentification qui pourraient prendre en charge une analyse au niveau du message, mais cette analyse nécessite sa propre population et les observations conservées du récepteur.
RFC 9990 définit le reporting global. Si les rapports contribuent à une étude longitudinale, préservez la couverture des journalistes, les périodes et les dimensions de comptage séparément des observations DNS . Les modifications apportées à la couverture des rapports peuvent modifier les performances apparentes de l'authentification, même sans modification du comportement de l'expéditeur. Ne joignez pas une tendance de cohorte DNS et une tendance de nombre de rapports en une seule métrique à moins que la méthode n'explique les unités et les limitations compatibles.
Une feuille de travail de rapprochement longitudinal
Créez une feuille de calcul avec la période, la version d'échantillon, les modifications d'adhésion, la version de la méthode, les références sources, le nombre de tentatives, les catégories d'erreurs, les exclusions, le nombre classifié et le numérateur de métrique. Ajoutez la règle utilisée pour chaque dénominateur et un statut de comparaison indiquant si les périodes sont directement comparables, retraitées ou séparées par un saut de méthode. Conservez les hachages de preuves brutes et le journal des erreurs/exclusions.
L'examen devrait demander si la même question reçoit une réponse à chaque période. Si une nouvelle source de récepteur, une règle d'analyseur ou une classe de domaine entre dans l'étude, documentez son effet avant d'interpréter la direction du changement. Demandez à un analyste indépendant de reproduire un petit ensemble de classifications et la comptabilité globale lorsque les données originales seront disponibles. Aucune reproduction de ce type n’a été réalisée ici.
Diagnostic fictif : un meilleur pourcentage après suppression des échecs
Une équipe fictive publie un pourcentage d’adoption plus élevé dans sa deuxième période. Le premier dénominateur incluait chaque domaine tenté, tandis que le second excluait tous les délais d'attente et les réponses non valides. L’amélioration apparente peut donc refléter un changement de comptabilité plutôt qu’un déploiement supplémentaire. La révision proposée reconstruit les deux périodes en utilisant la même règle déclarée et rend compte séparément des cas non résolus.
L’équipe vérifierait également si le comportement de l’adhésion ou de l’analyseur avait changé. Il ne prétendrait pas à une amélioration causale par rapport aux pourcentages initiaux tant que ces différences ne seraient pas comprises. Cet exemple ne fournit aucun décompte, domaine ou observation d’étude réel. Il s’agit d’une illustration fictive de la dérive du dénominateur et non d’une découverte mesurée sur un écosystème d’authentification.
Publier les limites de comparabilité avec le résultat
Un rapport de tendance défendable indique la population, les fenêtres temporelles, les versions de mesure, le numérateur, le dénominateur et les erreurs. Il explique les modifications apportées à la méthode et ne convertit pas silencieusement les observations de déploiement en conformité des messages, en livraison ou en pertes évitées. Le lecteur doit être capable de déterminer ce qui a changé dans les systèmes mesurés et ce qui a changé uniquement dans le processus de mesure.
Le catalogue nécessite un ensemble de données versionné, une méthode de requête et un journal d'erreurs/exclusions qu'un autre analyste peut reproduire. Ces artefacts originaux restent ouverts. L'examen par un spécialiste humain, l'applicabilité des sources, les itinéraires de production, l'accessibilité et la libération par le propriétaire restent également ouverts. Cette ébauche fournit une conception méthodologique et un diagnostic fictif, et non une étude longitudinale exécutée ou une affirmation d'une adoption améliorée.