Varianzkompression

Was dahintersteckt

Sprachmodelle erzeugen wahrscheinliche Antworten. Wahrscheinlich heißt: nahe an dem, was in den Trainingsdaten häufig vorkommt. Wird ein Modell gebeten, tausend verschiedene Personen zu spielen, entstehen deshalb oft Antworten, die sich ähnlicher sind als die tausend realer Menschen. Extreme Zustimmung, klare Ablehnung und die typischen Weiß-nicht-Antworten werden seltener.

Bisbee und Kollegen zeigten 2024, dass synthetische Antworten im Mittel nahe an einer großen US-Wahlstudie lagen, aber deutlich weniger streuten. Wang und Kollegen fanden 2025 in Studien mit 3.200 Teilnehmenden, dass Modelle demografische Gruppen zu flach abbilden: Die Vielfalt innerhalb einer Gruppe geht verloren.

Warum das für Ihre Entscheidung wichtig ist

Viele Entscheidungen hängen nicht am Durchschnitt, sondern an den Rändern. Ein neues Angebot lebt oft von einer kleinen Gruppe früher Käufer. Eine Preiserhöhung scheitert an dem Anteil, der kündigt. Eine Nischenmarke wächst mit Menschen, die vom Mainstream abweichen. Wenn die Methode genau diese Ränder glättet, wirkt ein Konzept unauffällig, das in Wahrheit polarisiert.

Eine Untersuchung des NIM beobachtete mehr positive Antworten, weniger Streuung und eine Bevorzugung bekannter Marken bei synthetischen Befragten. Nischen und Neues verschwinden so im Mittelfeld.

Beispiel

Ein Mobilfunkanbieter testet einen Tarif ohne Mindestlaufzeit mit Aufpreis. Synthetische Befragte vergeben im Schnitt 6,1 von 10 Punkten, fast alle Werte liegen zwischen 5 und 7. Eine reale Befragung ergibt einen ähnlichen Mittelwert von 5,8, aber zwei Lager: ein Viertel bewertet mit 9 oder 10, ein Drittel mit 3 oder weniger.

Für die Entscheidung ist das Viertel mit hoher Zustimmung die eigentliche Information. Ob es auch handelt, zeigt ein Verhaltenstest, in dem Menschen den Tarif mit Preis sehen.

Abgrenzung

Varianzkompression ist nicht dasselbe wie ein falscher Mittelwert. Sie betrifft die Form der Verteilung. Verwandt ist der WEIRD-Bias, der beschreibt, wessen Muster ein Modell wiedergibt. Algorithmische Treue fragt, wie gut Verteilungen insgesamt getroffen werden. Die Zustimmungstendenz realer Befragter ist ein eigener Effekt, der in Befragungen mit Menschen auftritt.

Wie man damit umgeht

Schauen Sie bei synthetischen Ergebnissen immer auf Streuung und Verteilung, nicht nur auf Mittelwerte. Nehmen Sie ungewöhnliche Konzepte bewusst in den nächsten Schritt mit, auch wenn sie im Screening mittelmäßig abschneiden. Und prüfen Sie Entscheidungen, die an Minderheiten oder frühen Käufern hängen, mit realen Menschen.

Grenzen

Neuere Verfahren versuchen, die Streuung künstlich zu vergrößern, etwa durch andere Abfragetechniken. Das verbessert die Form der Verteilung, schafft aber keine neue Beobachtung. Auch ein Verhaltenstest hat Grenzen: Er zeigt, wie viele Menschen handeln, nicht automatisch warum. Für das Warum ergänzt qualitative Forschung.