Im aktuellen Test der Publicare Marketing Communications GmbH „20 Versandplattformen auf dem Deliverability-Prüfstand“ wird der Versuch unternommen, verschiedene Email Mail Service Provider (ESPs) nach ihrer Leistungsfähigkeit bei der Zustellung von kommerziellen E-Mails zu bewerten.

Grundsätzlich halten wir das Ziel, Zustellkompetenz messbar(er) zu machen für richtig und innovativ, denn in diesem immer wichtiger werdenden Teil des E-Mail-Marketing gibt es noch zu wenig belastbare Informationen. Ein Scoring der Qualität des Zustellmanagements kann Kunden bei der Auswahl eines ESPs helfen, und ESPs bei der Standortbestimmung und Verbesserung ihres Know-Hows.

Leider ist der methodische Ansatz der Studie aus den folgenden Gründen nicht geeignet, dem gesetzten Ziel gerecht zu werden:

(1) Stichprobenumfang

Pro ESP wurden 3 Newsletter ausgewählt und analysiert. Im Falle von XQueue sind das 3 von etwa 1.500 Newslettern, also 0,2% der Grundgesamtheit. Zum Vergleich: Um bei normalverteilten Daten auf 5% Signifikanzniveau unter 10% Genauigkeit zu bleiben, benötigt man eine Mindeststichprobengröße von fast 100 Beobachtungen. Diese geringe Teststärke lässt keinerlei signifikante Aussagen zu. Bei dieser geringen Fallzahl kann man mit den „richtigen Stichproben“ leicht jede gewünschte Rangliste produzieren.

(2) Unvollständigkeit des Kriterienkatalogs

Die Liste der technischen Kriterien ist aus unserer Sicht unvollständig, denn es fehlen beispielsweise IP und Domain Reputation.

(3) Handwerkliche Fehler

Das Kriterium „X-CSA-Complaints“ ist ein essenzieller Teil des Beschwerdeprozesses der CSA und fügt dem E-Mail Header einfach nur die CSA Complaint-Adresse der CSA hinzu. Auf die Zustellbarkeit der E-Mail hat dieser Header überhaupt keinen Einfluss.

(4) Interpretierbarkeit

Die Studie erweckt den Eindruck, dass durch die Wahl des richtigen ESPs ein besserer Zustellerfolg eintritt. Das ist beweisbar sehr weit entfernt von der Wahrheit, denn Faktoren wie Listenqualität und -hygiene, Permission-Erhebung, relevanter Content, Bounce Management, Verwendung guter MTAs, Blacklist Monitorings, Complaint Management, Feedback Loops usw. werden vernachlässigt.

(5) Unabhängigkeit

Der E-Mail Service Provider auf dem ersten Platz ist Premium Partner des Unternehmens, das die Studie durchgeführt hat.

(6) Transparenz

Im Laufe des 07.02.2014 wurde das Ranking ohne Angabe von Gründen verändert.

Wir sind jederzeit und gern bereit, an einem objektiveren Kriterienkatalog mitzuwirken und stellen uns jedem Bewertungsverfahren.