zum Inhalt

Tests im Direktmarketing

Methode · Management · Erfolgsorientierung

Know-How: So testen Sie erfolgreich

„Tests im Direktmarketing“ von Markus Schöberl ist das umfassende Handbuch zur Durchführung von Tests im Direktmarketing. Diese Rubrik „Know-How“ bietet Ihnen Leseproben zu zentralen Themen aus einzelnen Kapiteln.

Unter „Thesen Thesen Thesen“ finden Sie eine Sammlung aktueller Aufsätze zu Tests und anderen aktuellen Direktmarketingthemen.

Überzeugen Sie sich im folgenden Text von der immensen Bedeutung von Tests für jede erfolgreiche Direktmarketingstrategie.

Darf's auch zwei Drittel mehr sein? Durchschnittlich 63% Ergebnisverbesserung durch Tests!

Zur Fragestellung

Wie viel Verbesserungspotenzial zeigt ein durchschnittlicher Test auf? „Ja, kann man das denn so pauschal sagen“, fragt sich hier möglicherweise mancher. Und die Antwort lautet: so pauschal nicht. Aber statistisch schon!

Knapp 2.000 Testergebnisse wurden auf dieser Website auf Ihre Signifikanz überprüft. Das sind 2.000 Datensätze aus der Direktmarketingpraxis. Das sind 2.000 Tests, über die zwar in inhaltlicher Hinsicht keinerlei Aussagen getroffen werden können, für die sich aber die für die Frage des aufgezeigten Verbesserungspotenzials entscheidende Kennzahl ermitteln lässt: die Testspreizung.

Die Testspreizung (TS) ist eine standardisierte Kennziffer, die für Testergebnisse auf vergleichbarer Basis angibt, um wie viel besser die erfolgreichste Testgruppe gegenüber der schwächsten Testgruppe abgeschnitten hat (vgl. Schöberl 2005: Nur die zweite Nachkommastelle?). Die Testspreizung hat minimal den Wert 1, was einen Test ohne jeden Unterschied zwischen den Testgruppen widerspiegelt. Ein Wert von 2 bedeutet ein doppelt so hohes Ergebnis in der besten Testgruppe gegenüber der schwächsten, ein Wert von 3,5 den dreieinhalbfachen Wert in der besten Testgruppe u.s.w.

Kurz gesagt: die Testspreizung ist das direkte Maß der für den Full Run möglichen Ergebnisverbesserung, die ein vorliegender Test anzeigt. Und der Mittelwert vieler Testspreizungen ist ein geeignetes Maß für die durchschnittliche Ergebnisverbesserung durch Tests im Direktmarketing.

Zur Datengrundlage

Die folgenden Analysen beruhen auf den Eingabedaten des Signifikanztest-Moduls dieser Website. Damit handelt es sich streng genommen zwar um keine repräsentative Stichprobe für Tests im Direktmarketing im Allgemeinen. Aber faktisch dürfte es sich um eine der größten und vielfältigsten Ergebnisdatenbanken für Direktmarketingtests in Deutschland handeln. Stichprobenartigen Analysen zur Besucherstruktur zeigen ein buntes Spektrum an Nutzern aus großen und kleinen Unternehmen, aus klassischen Direktmarketingbranchen und in diesem Vertriebsweg typischerweise weniger aktiven Bereichen.

Um Probe- und Spaßeingaben, Irrtümer und Verzerrungen durch Extremwerte auszuschließen, werden Tests mit einer Spreizung ab dem Wert 10 von den Betrachtungen ausgeschlossen. Von den insgesamt 1.987 erfassten Testergebnissen wurden aus diesem Grund lediglich 1.884 (95%) berücksichtigt. Darin spiegelt sich einerseits die Erwartung wider, dass mit dem Ausschluss der oberen 5% Extremwerte die Validität der in der Analyse verbleibenden Werte weitgehend gesichert ist. Andererseits ergab eine Sichtprüfung der Rohdaten, dass systematisch unplausible Datensätze erst bei Eingabedaten mit dem Resultat noch größerer Testspreizungen regelmäßig auftraten.

Ergebnisse

Die nachfolgende Tabelle stellt die Verteilung der gemessenen Testspreizungen in den Gesamtdaten dar:

Testspreizung gruppiert Anteil an allen Tests
1 2%
1–1,1 28%
1,1–1,2 2%
1,2–1,5 24%
1,5–2 14%
2–3 2%
3–5 5%
5–10 3%
Gesamtergebnis 100%
1,63
Basis: 1884 Tests

Für die Gesamtmenge aller Tests ergibt sich eine mittlere Testspreizung von 1,63, also eine durchschnittliche Ergebnisverbesserung gegenüber der jeweils schwächsten Testgruppe von nicht weniger als 63%! Mehr als die Hälfte aller Tests resultiert in Testspreizungen größer 1,2. Die Chance auf eine mindestens 20%ige Ergebnisverbesserung liegt also bei einem durchschnittlichen Test bei über 50%. Und immerhin 17% aller Tests ergeben Werte größer 2 und zeigen damit Verbesserungspotenziale um mehr als das Doppelte an.

Die Häufigkeitsverteilung der Testspreizungen stellt sich wie folgt dar:

grafische Darstellung der Häufigkeitsverteilung der Testspreizungen aller tests

Wie nicht anders zu erwarten, erweist sich die Verteilungskurve als extrem rechtsschief. Die Wahrscheinlichkeit für eine geringere Testspreizung ist also immer höher als die Wahrscheinlichkeit für eine höhere Testspreizung. Dennoch ist deutlich zu sehen, dass der Bereich mit Testspreizungen von mindestens 1,2 immer noch sehr viele Fälle beinhaltet — wie oben schon berichtet mehr als 50%.

Da extreme Testergebnisse sehr selten auftretende Resultate sind, ist es durchaus interessant, sich nur einen Bereich mit eher häufig auftretenden Testresultaten anzusehen. Betrachtet man ausschließlich Tests mit einer Spreizung kleiner als 2, dann ergibt sich folgende Häufigkeitsverteilung:

grafische Darstellung der Häufigkeitsverteilung der Testspreizungen aller Tests mit einer Testspreizng von kleiner 2

Knapp die Hälfte (43%) dieser Testergebnisse haben eine Testspreizung größer 1,20, der Mittelwert liegt bei 1,24. 13% aller Tests münden allerdings lediglich in Spreizungen bis zum Wert 1,05, zeigen also Optimierungspotenziale von maximal 5% an. In der Praxis wird man so geringe Werte meistens als nicht verwertbar oder nicht verlässlich einstufen.

Dagegen ist es bemerkenswert, dass selbst bei einer so starken Beschränkung auf Testergebnisse in kleinen Wertebereichen, also bei einer absichtlichen Missachtung wirklich massiv wirksamer Tests, immer noch eine durchschnittliche Testspreizung von mehr als 1,20 zu vermelden bleibt. Denn das bedeutet nicht weniger, als dass auch bei einer ausgesprochen vorsichtigen Analyse für einen durchschnittlichen Test im Direktmarketing ein Optimierungspotential von mehr als 20% festzuhalten ist.

Bedeutung für die Praxis

Lippenbekenntnisse zur Bedeutung von Tests für das Direktmarketing sind allgegenwärtig. Der Werbealltag bleibt hinter diesen guten Vorsätzen nur allzu häufig zurück. Tests kosten Zeit, Energie, Manpower und nicht zuletzt auch Geld.

Da sollte das hier vorgestellte Ergebnis zur Wirksamkeit eines durchschnittlichen Tests noch einmal deutlichen Rückenwind für die gezielte Forcierung von Testmaßnahmen geben. Eine durchschnittliche Verbesserung von 63% ist ein schlagendes Argument, das es deutlich leichter machen sollte, entsprechende Budgets zu rechtfertigen. Ein derartiges Optimierungspotenzial zeigt, dass in Tests unbedingt viel mehr die Chance auf deutliche Verbesserungen zu sehen ist, als das Risiko, auf neuen Wegen etablierte Planwerte zu verfehlen.

Das gilt um so mehr, als sogar die Beschränkung auf Testergebnisse mit einer Spreizung von maximal 2 immer noch ganz erstaunliche Verbesserungspotenziale bestehen lässt. Selbst dann resultiert noch knapp jeder zweite Test (43%) in einem Verbesserungspotenzial von mindestens 20%.

Ein solches Potenzial auszulassen, nur um kurzfristig Gelder einzusparen, Personalkapazitäten klein zu halten oder vermeintliche Risiken zu minimieren, wäre unverantwortlich und fahrlässiges Management. Hier belegen die Zahlen die Notwendigkeit dessen, was die Theorie ohnehin immer schon als zentralen Auftrag an den Direktmarketingmanager formuliert hat: Testen! Testen! Testen!