Benchmark

Warum das für Ihre Entscheidung wichtig ist

Angenommen, von drei Konzepten gewinnt eines deutlich. Das kann heißen, dass es ein starkes Konzept ist, oder dass es das am wenigsten schwache ist. Für eine Investitionsentscheidung ist dieser Unterschied zentral. Besonders bei Fragen zur Marktnachfrage zu einem gegebenen Preis gehört deshalb neben dem Variantenvergleich eine absolute Einordnung dazu.

Ein Benchmark ist allerdings nur so gut wie die Vergleichsgruppe. Ein Wert aus einer anderen Kategorie, einem anderen Land oder einem anderen Kanal kann eine Variante stärker oder schwächer erscheinen lassen, als sie ist.

Wie Horizon Benchmarks bildet

Verglichen wird je Variante, nicht je Test, mit einer Vergleichsgruppe, die auf festen Merkmalen übereinstimmt: Testtyp, Produktkategorie, Preispositionierung, Land oder Region, Marke und Kanal. Zähler und Nenner müssen dieselben sein wie beim eigenen Ergebnis, also dieselbe primäre Kennzahl, bezogen auf die Besucher der Angebotsseite.

Reicht die exakte Vergleichsgruppe nicht aus, werden weichere Merkmale in fester Reihenfolge gelockert, und jede Lockerung wird neben dem Wert genannt. Die Basis wird immer angegeben, als Zahl vergleichbarer Varianten. Ist die Basis dünn, wird der Vergleich als Tendenz dargestellt. Benchmark-Werte teilt Horizon ausschließlich mit Auftraggebern im Rahmen eines Tests, nicht öffentlich.

Beispiel

Ein Energieversorger testet drei Varianten eines neuen Wärmepumpen-Mietmodells. Variante C liegt mit klarem Vorsprung vorn. Im Vergleich mit Varianten anderer Mietmodelle aus derselben Branche, demselben Land und demselben Kanal liegt C über dem Median, aber unter dem oberen Viertel.

Die Einordnung: C ist die richtige Wahl unter den getesteten Varianten und im Branchenvergleich solide, aber kein Ausreißer nach oben. Das Team entscheidet, vor dem Launch noch das Preismodell zu prüfen.

Abgrenzung

Ein Benchmark ist keine Zielvorgabe und kein Branchendurchschnitt aus Veröffentlichungen, sondern ein Vergleich mit Messungen derselben Methode. Werte aus A/B-Tests im Live-Shop, aus Anzeigenstatistiken oder aus Befragungen sind nicht vergleichbar, weil sie andere Zähler und Nenner haben. Der Variantenvergleich innerhalb eines Tests bleibt das Kernergebnis; der Benchmark ordnet es ein.

Grenzen

Für neue Märkte, neue Kategorien oder seltene Preislagen gibt es oft keine ausreichende Vergleichsgruppe. Dann wird kein marktspezifischer Wert versprochen, sondern das Ergebnis für sich gelesen, ergänzt um eigene Daten des Auftraggebers. Ein Benchmark übersetzt auch nicht in Absatz: Er zeigt, wie stark eine Variante im Vergleich zu ähnlichen Tests ist, nicht, wie viel sie im Markt verkaufen wird.