A/B-Test

Warum das für Ihre Entscheidung wichtig ist

A/B-Tests schützen vor Bauchentscheidungen. Selbst gut begründete Ideen verbessern ihre Zielkennzahl oft nicht: In einer bekannten Auswertung aus der Praxis war nur etwa ein Drittel der Experimente erfolgreich. Wer testet, statt zu vermuten, spart sich viele Fehlgriffe.

Ein A/B-Test beantwortet aber vor allem die Frage 'wie': welcher Button, welche Headline, welcher Ablauf. Die Frage 'ob' kommt davor: ob ein neues Angebot, ein anderer Preis oder ein neuer Tarif überhaupt gewählt wird. Diese Frage lässt sich im Live-System schwer beantworten, weil dafür ein Angebot live gehen müsste, das es noch nicht gibt, oder mehrere Preise gleichzeitig für reale Kunden gelten würden.

A/B-Test und Painted-Door-Test

Ein Painted-Door-Test ist methodisch verwandt: Auch er verteilt Besucher zufällig auf Varianten, die sich in genau einem Merkmal unterscheiden. Er läuft aber außerhalb der eigenen Systeme, mit eigenen Angebotsseiten und Traffic über Google- und Meta-Anzeigen. Verkauft wird nichts, die Auflösung folgt direkt nach dem Klick. Deshalb kann er Angebote und Preise prüfen, die noch nicht existieren, ohne bestehende Kunden zu beeinflussen.

Beide haben ihren Platz: Pre-Launch-Validierung mit dem Painted-Door-Test, Post-Launch-Optimierung mit dem A/B-Test.

Beispiel

Ein Onlinehändler will ein Abo für Tierfutter einführen. Vor dem Launch zeigt ein Painted-Door-Test bei Horizon zwei Varianten: Abo mit 10 % Rabatt und Abo mit kostenlosem Versand. Die gemessene Kaufabsicht liegt bei 3,6 % und 2,5 %, die Rabattvariante wird gebaut.

Nach dem Launch optimiert das Team mit A/B-Tests die Seite im eigenen Shop: Position des Abo-Hinweises, Formulierung des Buttons, Anzahl der Schritte im Checkout.

Abgrenzung

Der A/B-Test setzt ein verfügbares Produkt voraus und misst reale Nutzung oder reale Käufe. Der Painted-Door-Test misst Kaufabsicht vor dem Bau. Der Fake-Door-Test liegt dazwischen: ein Button für ein nicht existierendes Feature im bestehenden Produkt. Multivariate Tests variieren mehrere Elemente gleichzeitig und brauchen entsprechend mehr Traffic.

Grenzen

A/B-Tests brauchen ausreichend Traffic im eigenen System und die Fähigkeit, jede Variante zu liefern. Tiefgreifende Änderungen an Preis oder Angebot im Live-Betrieb können Bestandskunden verunsichern. Der Painted-Door-Test hat andere Grenzen: Er misst Absicht statt Kauf und die erste Entscheidung statt Wiederkauf, und er erreicht nur Zielgruppen, die über Anzeigen ansprechbar sind.

Auch statistisch gibt es Parallelen: Beide Verfahren brauchen eine vorab festgelegte Stichprobengröße und klare Stopp-Regeln, sonst entstehen Scheinsieger durch zu frühes Hinsehen.