Preserve o denominador antes de comparar a tendência
Uma tendência de adoção de autenticação pode mudar porque os domínios mudaram de configuração, porque a amostra mudou ou porque o método de medição mudou. Essas explicações não são equivalentes. Uma comparação longitudinal deve manter a população, a definição de métrica, o analisador e o tratamento de erros para cada período, para que uma melhoria aparente não seja criada pela remoção silenciosa de casos difíceis ou pela adição de uma combinação diferente de domínios.
Este artigo propõe um método reprodutível e não apresenta resultado de estudo. RFC 9989 define atual DMARC comportamento, enquanto RFC 7208 define SPF publicação e avaliação. Os padrões ajudam a especificar o que significa uma medição; eles não fornecem a população nem justificam uma interpretação causal de uma tendência. Nenhum domínio foi consultado para este manuscrito.
Defina a propriedade medida e a unidade
Indique se a métrica conta a presença de registro de nome exato, políticas aplicáveis válidas, solicitações de aplicação, mensagens alinhadas observadas ou outra propriedade claramente definida. Um domínio configurado e uma mensagem são unidades diferentes e um domínio pode suportar vários fluxos de trabalho de envio. O denominador deve corresponder ao numerador. Uma taxa de aprovação de mensagens observada não pode ser substituída pela parcela de domínios que publicam uma política sem alterar a questão.
Registrar a origem da amostra, critérios de inclusão e escopo pretendido. Domínios de sites, domínios de clientes e identidades SMTP reais podem produzir resultados diferentes. Se o estudo utilizar lista de conveniência, mantenha essa limitação. Evite dizer que a Internet melhorou quando as evidências dizem respeito a um grupo selecionado de clientes. Este rascunho não contém contagem populacional ou porcentagem de adoção para generalizar.
Acompanhe a adesão como um conjunto de dados de primeira classe
Mantenha uma tabela de membros versionada com o identificador estável de cada unidade, nome normalizado, data de entrada, data de saída e motivo da inclusão ou exclusão. Preserve renomeações de domínio, mudanças de propriedade e fusões onde elas afetarem a interpretação. Não presuma que o mesmo rótulo de texto representa o mesmo relacionamento organizacional ao longo do estudo. Um domínio pode permanecer no DNS enquanto sua função comercial muda.
Escolha se a análise utiliza uma coorte fixa, uma secção transversal repetida ou ambas. Uma coorte fixa pode apoiar a comparação das mesmas unidades, mas pode tornar-se menos representativa ao longo do tempo. Uma secção transversal repetida pode reflectir a população actual, mas mistura alterações de membros com alterações de configuração. Relate o desenho escolhido e, quando for útil, mostre ambas as visualizações separadamente, em vez de ocultar os seus diferentes denominadores.
Versão da implementação de medição
Retenha o código de consulta ou a descrição do método, a configuração do resolvedor, os tempos limite, as novas tentativas, as regras de normalização, a versão do analisador e as referências de padrões para cada execução. Uma atualização do analisador pode reclassificar o mesmo registro bruto mesmo que DNS não tenha sido alterado. RFC 9989regras de descoberta atuais, incluindo o Caminhada na árvore DNS, ilustram por que um método baseado em um algoritmo de descoberta diferente pode não ser diretamente comparável sem análise.
Caso o método mude, preserve os resultados anteriores e identifique uma quebra na série. Onde a evidência bruta permitir, reprocesse observações anteriores com o novo analisador e relate-as como uma série comparável separada. Não substitua silenciosamente as classificações históricas e apresente a tendência revisada como a medição original. O reprocessamento não pode reconstruir respostas DNS que nunca foram retidas.
Mantenha falhas na contabilidade
Distinga erro de nome, dados não solicitados, tempo limite, falha de servidor, política inválida e interpretação não suportada. Uma consulta falhada não deve tornar-se automaticamente ausência de implementação, e a exclusão de todas as falhas pode aumentar a taxa de adoção aparente. Retenha as tentativas de observação e explique o tratamento de cada categoria de erro. Se uma nova tentativa for bem sucedida, preserve tanto a falha inicial como a regra utilizada para a classificação final.
RFC 1035 define respostas DNS e estruturas de registro. Preserve os limites dos registros brutos antes da análise do protocolo, especialmente quando diversas strings ou registros TXT estiverem presentes. Uma mudança no tratamento de strings divididas ou candidatos duplicados pelo analisador pode criar uma tendência falsa se a evidência subjacente for perdida. A estrutura do registro faz parte da reprodutibilidade, não apenas da formatação da exibição.
Indique cada fração explicitamente
Para cada período, retenha o número de unidades selecionadas, tentadas, observadas com sucesso, classificadas, excluídas e não resolvidas. Em seguida, defina o numerador da propriedade informada. A adoção entre todas as unidades selecionadas difere da adoção entre unidades classificadas com sucesso. Se ambas as medidas forem informativas, reporte ambas com os seus rótulos e incerteza, em vez de apresentar a que for mais favorável.
Não invente intervalos de confiança, significância estatística ou cobertura representativa sem um modelo de amostragem justificado. As observações perdidas podem não ser aleatórias e os domínios que atingem o tempo limite podem diferir sistematicamente daqueles que respondem. Uma comparação descritiva transparente ainda pode ser útil sem afirmações inferenciais não suportadas. Este manuscrito não fornece estimativas numéricas ou cálculos de incerteza fabricados.
Separar alteração de configuração dos resultados da mensagem
Um domínio que passa de uma política não observada para uma política observada é uma observação de configuração. Não demonstra que todas as mensagens legítimas estão agora alinhadas ou que a fraude diminuiu. RFC 8601 descreve evidências confiáveis de resultados de autenticação que poderiam apoiar a análise em nível de mensagem, mas essa análise precisa de sua própria população e de observações retidas do receptor.
RFC 9990 define relatórios agregados. Se os relatórios contribuírem para um estudo longitudinal, preserve a cobertura, os períodos e as dimensões de contagem do repórter separadamente das observações DNS . Mudanças na cobertura dos relatórios podem alterar o desempenho aparente da autenticação mesmo sem alteração do comportamento do remetente. Não junte uma tendência de coorte DNS e uma tendência de contagem de relatórios em uma métrica, a menos que o método explique as unidades e limitações compatíveis.
Uma planilha de reconciliação longitudinal
Crie uma planilha com período, versão de amostra, alterações de associação, versão de método, referências de origem, tentativa de contagem, categorias de erro, exclusões, contagem classificada e numerador de métrica. Adicione a regra usada para cada denominador e um status de comparação indicando se os períodos são diretamente comparáveis, reprocessados ou separados por uma quebra de método. Retenha hashes de evidências brutas e o log de erros/exclusões.
A revisão deve perguntar se a mesma pergunta está sendo respondida em cada período. Se uma nova fonte receptora, regra de analisador ou classe de domínio entrar no estudo, documente seu efeito antes de interpretar a direção da mudança. Peça a um analista independente que reproduza um pequeno conjunto de classificações e a contabilidade agregada quando os dados originais estiverem disponíveis. Nenhuma reprodução desse tipo foi realizada aqui.
Diagnóstico fictício: um percentual melhor após a remoção das falhas
Uma equipe fictícia publica uma porcentagem de adoção maior em seu segundo período. O primeiro denominador incluiu todas as tentativas de domínio, enquanto o segundo excluiu todos os tempos limite e respostas inválidas. A aparente melhoria pode, portanto, reflectir uma mudança de contabilidade e não uma implantação adicional. A revisão proposta reconstrói ambos os períodos utilizando a mesma regra declarada e reporta separadamente os casos não resolvidos.
A equipe também verificaria se o comportamento da associação ou do analisador mudou. Não reivindicaria uma melhoria causal em relação às percentagens originais até que essas diferenças fossem compreendidas. Este exemplo não fornece contagens, domínios ou observações de estudo reais. É uma ilustração fictícia do desvio do denominador e não uma descoberta medida sobre um ecossistema de autenticação.
Publicar limites de comparabilidade com o resultado
Um relatório de tendências defensáveis indica a população, janelas de tempo, versões de medição, numerador, denominador e erros. Ele explica as alterações no método e não converte silenciosamente as observações de implantação em conformidade de mensagens, entrega ou perdas evitadas. O leitor deverá ser capaz de determinar o que mudou nos sistemas medidos e o que mudou apenas no processo de medição.
O catálogo requer um conjunto de dados versionado, método de consulta e log de erros/exclusões que outro analista possa reproduzir. Esses artefatos originais permanecem abertos. A revisão de especialistas humanos, a aplicabilidade da fonte, as rotas de produção, a acessibilidade e a liberação do proprietário também permanecem em aberto. Este rascunho fornece um desenho metodológico e um diagnóstico fictício, não um estudo longitudinal executado ou uma reivindicação de melhor adoção.