



Die primäre Kennzahl ist die eine Messgröße, die vor einem Test festgelegt wird und über das Ergebnis entscheidet; im Painted-Door-Test ist es der letzte verbindliche Klick vor der Auflösung, bezogen auf die Besucher der Angebotsseite.
Ein Test erzeugt viele Zahlen: Klicks auf Anzeigen, Verweildauer, Scrolltiefe, Eintragungen. Damit ein Ergebnis belastbar ist, muss vorher feststehen, welche davon zählt.
Wer erst nach dem Test entscheidet, welche Zahl zählt, findet fast immer eine, nach der eine Variante gewinnt. Mit jeder zusätzlich betrachteten Größe steigt die Wahrscheinlichkeit, dass ein Unterschied nur zufällig auftritt. Eine vorab festgelegte primäre Kennzahl schützt davor und macht Ergebnisse über Tests hinweg vergleichbar.
Für die Entscheidung heißt das: Management, Produkt und Insights sprechen über dieselbe Zahl, und die Diskussion dreht sich um die Bedeutung des Ergebnisses, nicht um die Auswahl der Kennzahl.
Die Regel lautet: Primär ist der letzte verbindliche Klick vor der Auflösung. Je näher ein Klick an einer Kaufentscheidung liegt, desto weniger Neugierklicks enthält er und desto stärker ist das Signal.
Einstufiger Aufbau: Die Angebotsseite enthält direkt den Kaufknopf, dessen Klick die primäre Kennzahl ist. Zweistufiger Aufbau: Auf die Angebotsseite folgt eine Produktdetailseite; primär ist dort der Klick auf "In den Warenkorb". Der erste Klick ("Mehr erfahren") ist dann nur ein Zwischensignal. Ob zweistufig getestet wird, hängt davon ab, ob in der Laufzeit genug Besucher erreichbar sind.
Der Nenner ist immer die Zahl der eindeutigen Besucher der ersten Angebotsseite. Anzeigenimpressionen und Reichweite sind Planungsgrößen, weil sie von der Auslieferung der Werbeplattform abhängen, nicht von der Variante. Die E-Mail-Eintragung nach der Auflösung ist ein zweitrangiges Signal: Sie misst Interesse an Neuigkeiten, nicht Kaufabsicht.
Ein Test vergleicht drei Value Propositions für eine Akku-Küchenmaschine, zweistufig. Variante A erzielt die meisten Klicks auf "Mehr erfahren" (11 % der Besucher), Variante B die meisten Klicks auf "In den Warenkorb" (2,1 % gegenüber 1,6 % bei A).
Da die primäre Kennzahl vorab auf den Warenkorbklick festgelegt war, liegt B vorn. A weckt mehr Neugier, B löst mehr Kaufabsicht aus. Beide Befunde sind wertvoll, aber nur einer entscheidet.
Sekundäre Kennzahlen, etwa der Klick auf Anzeigen, das Zwischensignal oder die E-Mail-Eintragung, helfen bei der Diagnose, entscheiden aber nicht. Die Klickrate einer Anzeige misst die Werbewirkung, nicht das Angebot. Die primäre Kennzahl ist auch nicht dasselbe wie ein Geschäftsziel: Umsatz oder Deckungsbeitrag entstehen erst im Markt und werden auf Basis des Testergebnisses kalkuliert.
Eine einzige Kennzahl verdichtet das Verhalten stark. Sie sagt, welche Variante mehr Kaufabsicht auslöst, aber nicht, warum. Dafür lohnt der Blick auf die Zwischensignale und, wo nötig, eine ergänzende qualitative Befragung.
Außerdem gilt: Je tiefer die primäre Kennzahl im Ablauf liegt, desto weniger Signale fallen an und desto mehr Besucher braucht der Test. Die Wahl ist deshalb ein Abwägen zwischen Signalstärke und Reichweite und wird im Testdesign dokumentiert.
Simmons, Nelson & Simonsohn 2011: Simulation: Wer ab 10 Beobachtungen je Gruppe nach jeweils 10 weiteren prüft und bei p < 0,05 stoppt, erhält 14,3 % statt 5 % falsch positive Ergebnisse; bei Prüfung nach jeder Beobachtung 22,1 %. False-Positive Psychology, Psychological Science 22(11). Quelle
Ausgewertet werden alle, entschieden wird nach einer. Wer mehrere Kennzahlen gleichrangig betrachtet, erhöht das Risiko, einen zufälligen Unterschied für einen echten zu halten.
Nein. Sie erfolgt, nachdem die Person weiß, dass es sich um einen Test handelt, und misst deshalb Interesse an Neuigkeiten.
Auf die eindeutigen Besucher der ersten Angebotsseite, nicht auf Anzeigenimpressionen.
Bringen Sie Ihre Entscheidungsfrage mit, wir skizzieren ein mögliches Testdesign.
Sie sprechen mit Daniel Putsche
Gründer & CEO, 30 Minuten