Testowanie nasion odpowiada na przydatne, ale wąskie pytanie: gdzie konkretna wiadomość testowa pojawiła się w wybranych skrzynkach pocztowych? Nie odpowiada automatycznie, gdzie wszyscy odbiorcy produkcji widzieli kampanię. Zaprojektuj test tak, aby jego ograniczenia były jasne, zanim ktokolwiek wykorzysta wynik do uzasadnienia poważnej zmiany w infrastrukturze.
Wybierz wydarzenie, które chcesz obserwować
Akceptacja SMTP i umieszczenie skrzynki pocztowej to różne zdarzenia. Ostateczny sukces SMTP ustanawia odpowiedzialność w tym przeskoku odbiorczym, a nie w widocznym folderze lub interakcji międzyludzkiej. Zachowaj logi wysyłania wraz z obserwacjami skrzynek pocztowych, ale nie zastępuj jednego drugim. RFC 5321.
Zdefiniuj foldery lub kategorie wyróżniane w raporcie. Skrzynka odbiorcza, spam, kwarantanna, zaginięcie i niezaobserwowanie nie powinny bez wyjaśnienia zwijać się w jedną wartość binarną. Kategorie dostawcy mogą również różnić się od modelu folderów innego dostawcy. Zapisz rzeczywistą etykietę i mapowanie raportowania.
Utrzymuj próbkę wystarczająco stabilną, aby móc ją porównać
Udokumentuj dostawcę każdej testowej skrzynki pocztowej, typ konta, odpowiednie zasady i najnowszą historię testów. Korzystaj z kont, do których masz uprawnienia wglądu. Filtry osobiste, listy dozwolonych i wcześniejsze interakcje mogą sprawić, że materiał siewny będzie zachowywał się inaczej niż zamierzona publiczność. Wielokrotne otwieranie każdej wiadomości testowej może samo w sobie zmienić historię skrzynki pocztowej.
Dla porównania zachowaj stały panel odbiorców, konstrukcję wiadomości i trasę wysyłania, z wyjątkiem badanej zmiennej, jeśli jest to praktyczne. Zachowaj pełną wersję testu i identyfikatory tras. Jeśli zmieni się kilka rzeczy na raz, zgłoś wynik jako łączną zmianę, a nie przypisuj go wyłącznie nowemu tematowi lub adresowi IP.
Przeanalizuj przykład brakującej obserwacji
Hipotetyczny panel zawiera 20 wymyślonych nasion: 12 w skrzynce odbiorczej, cztery spam i cztery niezaobserwowane. Proporcja skrzynek odbiorczych tylko obserwowanych wynosi 12 podzielone przez 16, czyli 75%. Proporcja całego panelu potwierdzona w skrzynce odbiorczej wynosi 12 podzielone przez 20, czyli 60%. Obydwa stwierdzenia mogą być prawdziwe, ponieważ odpowiadają na różne pytania.
Niezauważona czwórka nie jest automatycznie spamem. Wymagają dalszej kontroli lub muszą pozostać nieobecne. Ręcznie wykonane obliczenia uwzględniają wszystkie cztery nieznane obserwacje; nie wymaga się żadnego testu skryptu ani skrzynki pocztowej. Nie wysyła poczty ani nie sprawdza prawdziwych kont zalążkowych, a żaden procent nie jest twierdzeniem dotyczącym odbiorców produkcyjnych.
Zinterpretuj zmianę jako dowód na poparcie hipotezy
Załóżmy, że kontrolowany test poprawia się u jednego dostawcy, podczas gdy u innego pozostaje niezmieniony. Wynik jest powodem do sprawdzenia routingu specyficznego dla dostawcy, sposobu przetwarzania komunikatów i przykładowych warunków. Nie jest to dowód na poprawę ogólnego wyniku reputacji. Podobnie, czysty wynik zasiewu nie może wykluczyć problemów dotykających różnych odbiorców lub tras.
Korzystaj z dodatkowych sygnałów, takich jak rzeczywista diagnostyka odrzucenia, raporty autoryzowanych odbiorców i telemetria o własnym zakresie dostawcy. Na przykład Google opisuje obserwacje Postmaster dotyczące osobistego ruchu Gmail , a nie każdego możliwego miejsca docelowego. Pulpity Postmastera. Zachowaj ten zakres podczas łączenia dowodów.
Zgłoś decyzję i jej ograniczenia
Przydatny raport z testu zawiera nazwę wersji wiadomości, trasy, panelu, znaczników czasu, obserwacji folderów i brakujących danych. Następnie określa, którą hipotezę potwierdza wynik i jakie alternatywy pozostają. Nie twórz przedziału ufności populacji na podstawie wygodnego panelu, któremu brakuje odpowiedniego projektu pobierania próbek.
Wybierz kolejne najmniejsze badanie, które pozwoli rozróżnić pozostałe przyczyny. Powtórz z kontrolowaną zmianą lub uzyskaj odpowiednią próbkę produkcyjną za pozwoleniem. Wartością badania nasion jest zdyscyplinowana obserwacja, a nie odsetek, który gwarantuje każdemu odbiorcy takie same doświadczenia.
Wybierz następny test dla czterech niewiadomych
Rozszerz hipotetyczny panel, zakładając, że dwa niezaobserwowane nasiona potwierdziły ostateczną akceptację SMTP , a dwa nie potwierdziły wyniku transportu. W przypadku pierwszej pary poproś upoważnionego właściciela skrzynki pocztowej o dowód folderu, kwarantanny lub reguły. W przypadku drugiej pary najpierw uzyskaj kolejkę wysyłającą i ślad transakcji. Są to różne brakujące etapy, a nie cztery zmierzone miejsca docelowe zawierające spam.
Użyj wiersza dla każdego materiału siewnego z jego stabilną etykietą, wersją testu, trasą, znacznikiem czasu, stanem SMTP , obserwacją folderu i nierozwiązanym sprawdzeniem. Przypisz rzeczywistego kolekcjonera tylko po uzgodnieniu. Jest to proponowana struktura raportu, a nie klasyfikacja eksportu dostawcy lub wykonana. Spór może pozostać nierozwiązany, jeśli wymagane dowody są niedostępne.
Rozwiąż każdą brakującą obserwację na swoim etapie
- Zaakceptowano i sprawdzono skrzynkę odbiorczą: zapisz dowód i godzinę skrzynki pocztowej.
- Zaakceptowano i zauważono spam: sprawdź odpowiednie traktowanie odbiorcy.
- Zaakceptowano, ale nie zaobserwowano: uzyskaj autoryzowany folder lub dowód kwarantanny.
- Wynik SMTP nieznany: najpierw zbierz ślad wysyłania i odbierania.
- Raport: utrzymuj widoczność wszystkich nierozwiązanych wierszy i unikaj ekstrapolowania panelu wygody na wszystkich.