Test-and-Learn

Warum das für Ihre Entscheidung wichtig ist

Viele Organisationen testen bereits, vor allem im digitalen Marketing und im Live-Produkt: Anzeigenmotive, Betreffzeilen, Checkout-Schritte. Das optimiert Bestehendes. Die großen Wetten, etwa ein neues Produkt, ein neues Preismodell oder ein neuer Tarif, fallen dagegen oft ohne vorherigen Verhaltenstest, weil sich nicht verfügbare Angebote im Live-System schlecht testen lassen.

Test-and-Learn entfaltet seinen größten Wert, wenn es vor die teuren Entscheidungen rückt. Ein Painted-Door-Test macht das möglich: Er prüft Angebote, die es noch nicht gibt, außerhalb der eigenen Systeme, mit realen Menschen. So wird aus Test-and-Learn für die Optimierung auch Test-and-Learn für die Richtung.

Damit Lernen stattfindet, braucht jeder Test eine vorab formulierte Frage, eine primäre Kennzahl und eine Stopp-Regel. Und die Ergebnisse brauchen einen festen Platz in der Entscheidung, sonst bleibt Test-and-Learn eine Sammlung interessanter Einzelbefunde.

Hilfreich ist eine Reihenfolge: zuerst die Frage mit der größten Unsicherheit und dem größten Budget dahinter, etwa ob ein Angebot überhaupt gewählt wird, dann die Frage nach dem Preis, dann nach Versprechen und Details. Jeder Test verkleinert die Unsicherheit für den nächsten. Werden die Tests vergleichbar aufgesetzt, entsteht mit der Zeit auch ein eigener Maßstab, an dem neue Ergebnisse eingeordnet werden können.

Beispiel

Ein Retailer überlegt, eine Eigenmarke für Outdoor-Bekleidung in zwei Preislagen einzuführen. Statt direkt zu produzieren, prüft das Team in einem ersten Test drei Preispunkte für eine Wetterjacke. Pro Variante erreichen rund 2.000 Besucher die Angebotsseite. Bei 89 Euro liegt die gemessene Kaufabsicht bei 2,8 Prozent, bei 109 Euro bei 2,6 Prozent, bei 129 Euro bei 1,4 Prozent. Der zweite Test prüft bei 109 Euro zwei Nutzenversprechen. Erst danach fällt die Entscheidung über Sortiment und Produktion.

Abgrenzung

Ein A/B-Test ist ein Werkzeug im Test-and-Learn, meist im Live-System und für Bestehendes. Pretotyping und Painted-Door-Test sind Werkzeuge für Angebote vor dem Bau. Evidenzbasierte Innovation beschreibt das übergeordnete Prinzip, Entscheidungen auf Belege zu stützen, das Behavioural Gate dessen feste Verankerung in der Freigabe.

Grenzen

Viele kleine Tests ergeben nicht automatisch eine gute Strategie. Wer nur optimiert, was schon da ist, findet selten das grundsätzlich bessere Angebot. Wer zu viele Varianten gleichzeitig ändert, lernt wenig, weil unklar bleibt, was gewirkt hat. Und wer Tests stoppt, sobald ein Ergebnis gefällt, sammelt Scheinsieger.

Horizon unterstützt Test-and-Learn vor der Investition mit Painted-Door-Tests, rund vier Wochen von der Frage bis zur Datenauswertung, mit bis zu sechs Varianten.