Smoke Test

Warum das für Ihre Entscheidung wichtig ist

Ein Smoke Test beantwortet eine einfache Frage mit wenig Aufwand: Reagieren Menschen auf dieses Angebot? Er wird oft sehr früh eingesetzt, etwa mit einem ersten Entwurf des Nutzenversprechens, lange bevor Spezifikationen existieren. Das macht ihn attraktiv für Teams, die viele Ideen haben und wenig Zeit.

Für Investitionsentscheidungen kommt es aber darauf an, wie der Test gebaut ist. Ein einzelner Wert ohne Vergleich, eine Anmeldung zu einer Warteliste ohne Preis oder Traffic, der von der Werbeplattform auf billige Klicks optimiert wird, liefern schnell eine Zahl, aber keine belastbare Grundlage.

Viele Teams führen Smoke Tests bereits selbst durch. Das ist ein gutes Zeichen, denn es zeigt, dass der Abstand zwischen Gesagtem und Getanem bekannt ist. Die Frage ist dann, ob die Tests vergleichbar genug sind, um über mehrere Entscheidungen hinweg Maßstäbe zu bilden.

Was einen belastbaren Smoke Test ausmacht

Mehrere Varianten statt einer Seite, damit ein Vergleich entsteht. Eine isolierte Variable, damit klar ist, was den Unterschied verursacht. Ein Preis auf der Seite, damit Kaufabsicht und nicht nur Neugier gemessen wird. Ein Messpunkt nah an der Entscheidung, also der letzte verbindliche Klick. Eine zufällige Verteilung der Besucher und eine vorab festgelegte Stichprobengröße.

Horizon führt Smoke Tests in dieser strukturierten Form als Painted-Door-Tests durch: realistische Angebotsseiten, Google- und Meta-Anzeigen, bis zu sechs Varianten, rund vier Wochen bis zur Datenauswertung. Verkauft wird nichts, die Auflösung folgt direkt nach dem Klick.

Beispiel

Ein Telekommunikationsanbieter will wissen, ob ein Mobilfunktarif mit unbegrenztem Datenvolumen im Inland für 29,99 Euro auf Interesse stößt. Ein einfacher Smoke Test mit einer Seite und einem Button 'Auf die Warteliste' ergibt 5 % Anmeldungen.

Ein strukturierter Test mit drei Preisvarianten (24,99, 29,99 und 34,99 Euro) und dem Klick auf 'Tarif wählen' als Messpunkt ergibt 3,0 %, 2,6 % und 1,5 %. Erst der zweite Test zeigt, wie stark der Preis die Abschlussabsicht bewegt.

Abgrenzung

Smoke Test, Painted-Door-Test, Fake-Door-Test, Pretotyping und Proto-Selling meinen im Kern dasselbe Vorgehen. Nuancen gibt es im Einsatz, etwa ob der Test in einer bestehenden App oder auf einer eigenen Landingpage läuft. Entscheidend ist nicht der Name, sondern ob der Test mit Preis, mehreren Varianten und statistischer Auswertung gebaut ist.

Der technische Smoke Test in der Softwareentwicklung hat damit nichts zu tun.

Grenzen

Ein Smoke Test misst eine erste Online-Reaktion. Er erklärt nicht, warum Menschen reagieren, und bildet weder Wiederkauf noch Nutzung ab. Wartelisten-Anmeldungen ohne Preis überschätzen Nachfrage leicht. Für Entscheidungen, die im Handel, im B2B-Einkauf oder auf Vergleichsportalen fallen, ist er nicht geeignet.