Statistische Signifikanz

Warum das für Ihre Entscheidung wichtig ist

Zwei Varianten zeigen fast nie exakt dieselben Werte. Die Frage ist, ob der Abstand auf einen echten Unterschied im Verhalten hindeutet oder im Rahmen des Zufalls liegt. Ein Signifikanztest beantwortet genau diese Frage und schützt davor, auf einen Zufallsausschlag hin zu investieren.

Was er nicht beantwortet: wie groß und wie wichtig der Unterschied ist. Die American Statistical Association hält ausdrücklich fest, dass ein p-Wert weder die Größe eines Effekts misst noch die Bedeutung eines Ergebnisses, und dass Geschäftsentscheidungen nicht allein an einer Schwelle hängen sollten.

Beispiel: Rechnung mit zwei Varianten

Zwei Angebotsseiten für eine Akku-Küchenmaschine, je 2.000 Besucher. Variante A: 80 Klicks auf "In den Warenkorb" (4,0 %). Variante B: 100 Klicks (5,0 %). Der Abstand wirkt deutlich, ein Viertel mehr Kaufabsicht.

Der Zwei-Stichproben-Test für Anteile ergibt einen z-Wert von etwa 1,53 und einen p-Wert von etwa 0,13. Bei der üblichen Schwelle von 0,05 ist der Unterschied nicht signifikant: Ein Abstand dieser Größe entsteht bei dieser Stichprobe auch ohne echten Unterschied in etwa 13 von 100 Fällen.

Mit je 5.000 Besuchern und denselben Anteilen (200 gegenüber 250 Klicks) liegt der p-Wert bei etwa 0,016. Der gleiche Abstand ist jetzt signifikant, weil die größere Stichprobe den Zufallsspielraum verkleinert.

Wie Horizon Signifikanz nutzt

Die Signifikanz auf der primären Kennzahl ist eine von mehreren Bedingungen für einen Sieger. Zusätzlich muss die Wahrscheinlichkeit, die beste Variante zu sein, eine vorab festgelegte Schwelle erreichen, und der Vorsprung muss zu den vorgelagerten Schritten passen, also kein Effekt der Anzeigen sein. Alle Werte werden aus den Rohzahlen neu berechnet. Ergebnisse werden als bestätigt, richtungsweisend oder nicht eindeutig eingeordnet.

Abgrenzung

Das Konfidenzintervall zeigt die Spanne, in der der wahre Wert plausibel liegt, und damit auch die Größe des Unterschieds. Die Wahrscheinlichkeit, die beste Variante zu sein, ist eine bayesianische Größe und beantwortet eine andere Frage: Wie sicher liegt eine Variante vorn? Praktische Relevanz ist eine inhaltliche Frage: Lohnt sich ein Unterschied dieser Größe für das Geschäft?

Grenzen

Signifikanz hängt stark von der Stichprobe ab. Bei sehr großen Stichproben wird fast jeder Unterschied signifikant, bei kleinen kaum einer. Wer während des Tests wiederholt prüft und beim ersten signifikanten Wert stoppt, erhöht die Quote falscher Treffer deutlich; deshalb gehört eine Stopp-Regel dazu.

Auch ein sauber signifikantes Ergebnis im Verhaltenstest sagt nichts über Effekte, die der Test nicht abbildet, etwa Wiederkauf oder Reaktionen des Wettbewerbs. Nicht signifikant heißt außerdem nicht "kein Unterschied", sondern: Die Daten reichen nicht, um einen Unterschied sicher zu belegen.