Ground Truth / Referenzmaß

Warum das für Ihre Entscheidung wichtig ist

Neue Verfahren, etwa synthetische Befragte oder digitale Zwillinge, werden häufig mit Übereinstimmungswerten beschrieben. Diese Werte sind nur so aussagekräftig wie das Referenzmaß, an dem sie gemessen wurden. Ist das Referenzmaß eine Befragung, zeigt eine hohe Übereinstimmung, dass das Verfahren Befragungsantworten gut nachbildet. Ob Menschen ein Angebot wählen, ist damit noch nicht geprüft.

Für Entscheidungen über neue Angebote, Preise oder Tarife heißt das: Die Frage nach dem Referenzmaß gehört an den Anfang jeder Methodenbewertung, nicht an das Ende.

Befragung oder Verhalten als Maßstab

Ein Sprachmodell gibt wieder, was Menschen gesagt und geschrieben haben. Auch Studien, die synthetischen Befragten eine hohe Übereinstimmung bescheinigen, messen sie an Befragungen, nicht an Verhalten. Zwei viel beachtete Arbeiten zeigen das: In der einen erreichen KI-Agenten bei Antworten in einer großen Sozialbefragung 86 % der Konsistenz, mit der Menschen ihre eigenen Antworten wiederholen. In der anderen erreichen synthetische Antworten auf Kaufabsichtsfragen rund 90 % der Test-Retest-Reliabilität menschlicher Befragter. Beide Ergebnisse sind methodisch bemerkenswert, und beide nutzen Befragungsantworten als Referenzmaß.

Befragungsantworten selbst weichen aber vom Verhalten ab: Absichten werden etwa in der Hälfte der Fälle umgesetzt, und hypothetisch genannte Zahlungsbereitschaft liegt im Schnitt über der realen. Ein Verfahren, das Befragungen gut nachbildet, übernimmt diese Abweichung.

Beispiel

Ein Team prüft ein Verfahren, das Kaufbereitschaft für drei Varianten eines Zahnzusatztarifs simuliert. Die Anbieterunterlagen zeigen eine hohe Übereinstimmung mit einer früheren Befragung. Das Team stellt zwei Fragen: Woran wurde die Übereinstimmung gemessen, und gab es die getesteten Angebote schon im Markt?

Die Antwort: gemessen an Skalenantworten, für bestehende Tarife. Für den neuen Tarif fehlt damit ein Beleg am Verhalten. Das Team nutzt das Verfahren zur Vorauswahl und prüft die zwei verbliebenen Varianten in einem Verhaltenstest.

Abgrenzung

Validität beschreibt, ob eine Methode misst, was sie messen soll; das Referenzmaß ist der Maßstab, an dem das geprüft wird. Reliabilität beschreibt, ob wiederholte Messungen übereinstimmen, und sagt nichts darüber, ob das Richtige gemessen wird. Ein Verfahren kann sehr reliabel sein und trotzdem am falschen Referenzmaß kalibriert.

Grenzen

Auch beobachtetes Verhalten im Painted-Door-Test ist kein vollständiges Referenzmaß für den späteren Markt: Es zeigt die Entscheidung vor einem realistischen Angebot, nicht Wiederkauf, Retouren oder Wettbewerbsreaktionen. Der ehrlichste Maßstab für ein Verfahren ist deshalb immer der, der der eigenen Entscheidung am nächsten kommt.

Synthetische Befragte machen die Exploration schneller: Hypothesen, Segmente, eine erste Vorauswahl. Ob Menschen ein neues Angebot wählen, zeigt ihr Verhalten. Horizon misst deshalb die Kaufabsicht realer Menschen für die finalen Varianten vor der Investition.