WEIRD-Bias

Was dahintersteckt

Henrich, Heine und Norenzayan prägten 2010 das Akronym WEIRD: Western, Educated, Industrialized, Rich, Democratic. Sie zeigten, dass viele Erkenntnisse der Verhaltensforschung auf Stichproben aus solchen Gesellschaften beruhen, die in wichtigen Punkten besonders untypisch für die Menschheit sind.

Sprachmodelle übernehmen diese Schieflage aus ihren Trainingsdaten. Atari und Kollegen fanden, dass Modellantworten am stärksten Menschen aus WEIRD-Gesellschaften ähneln und die Ähnlichkeit mit wachsender kultureller Distanz zu den USA deutlich abnimmt. Der Zusammenhang war stark: r = -0,70 über 49 Länder.

Warum das für Ihre Entscheidung wichtig ist

Aus europäischer Sicht klingt WEIRD zunächst nach uns selbst. Doch der Bezugspunkt ist meist die USA. Deutsche, französische, spanische oder skandinavische Konsumenten unterscheiden sich in Preisbewusstsein, Vertrauen in Marken, Umgang mit Verträgen und Datenschutz. Ein Modell, das US-Muster besser trifft als europäische, liefert für einen Markteintritt in Spanien oder einen Tarif in Österreich eine Verzerrung, die im Ergebnis nicht sichtbar ist.

Besonders relevant ist das bei Mehrländerentscheidungen: Wenn Unterschiede zwischen Märkten zu klein erscheinen, fällt die Wahl leicht auf eine einheitliche Lösung, die in einzelnen Ländern nicht trägt.

Hinzu kommt, dass innerhalb eines Landes nicht alle Gruppen gleich gut in Texten vertreten sind. Ältere Menschen, ländliche Regionen oder Menschen, die wenig online schreiben, hinterlassen weniger Spuren, aus denen ein Modell lernen kann.

Wie Sie damit umgehen: Fragen Sie bei synthetischen Ergebnissen, auf welchen Daten das Modell für Ihren Markt beruht. Nutzen Sie synthetische Befragte für Hypothesen zu Länderunterschieden, und prüfen Sie Markteintritts- und Preisentscheidungen je Land mit realen Menschen.

Beispiel

Ein Konsumgüterhersteller prüft eine Nachfüllpackung in Deutschland, Frankreich und Italien. Synthetische Befragte zeigen in allen drei Ländern ähnliche Zustimmung von 58 bis 61 %. Ein Verhaltenstest mit realen Menschen in allen drei Märkten, gleichem Angebot und gleicher Zielgruppendefinition ergibt deutliche Unterschiede in der gemessenen Kaufabsicht zwischen den Ländern.

Für die Frage, in welchem Markt man zuerst startet, ist genau dieser Unterschied die Information.

Abgrenzung

WEIRD-Bias beschreibt, wessen Muster ein Modell wiedergibt. Varianzkompression beschreibt, wie einheitlich es antwortet. Beide treten oft gemeinsam auf. Vom Stichprobenfehler klassischer Befragungen unterscheidet sich der WEIRD-Bias dadurch, dass er sich nicht durch mehr simulierte Fälle verringert.

Grenzen

Die zentrale Studie zu Sprachmodellen liegt als Preprint vor, und neuere Modelle werden gezielt auf mehr Sprachen und Kulturen trainiert. Das Ausmaß kann sich also verändern. Die Frage bleibt dennoch berechtigt, wie gut ein Modell Ihren konkreten Markt kennt.

Verhaltenstests haben ihre eigene Grenze: Sie messen reale Menschen in dem Markt, in dem Anzeigen laufen, und lassen sich nicht ohne Weiteres auf andere Länder übertragen. Deshalb misst Horizon bei Mehrländerfragen in jedem Markt separat.