A/B-Test

Ein A/B-Test ist ein kontrolliertes Experiment, bei dem zufällig zugewiesene Gruppen unterschiedliche Varianten erhalten. Verglichen wird, wie sich die Varianten auf vorher festgelegte Zielgrößen auswirken, etwa den Anteil abgeschlossener Bestellungen.

Ein Experiment planen

Vor Beginn werden Fragestellung, Varianten, Zielgruppen, Kennzahlen und Auswertungsverfahren festgelegt. Ausreichende Beobachtungszahl und Laufzeit richten sich unter anderem nach erwarteter Effektgröße und gewünschter Aussagekraft. Eine zufällige Gruppenzuweisung verbessert die Vergleichbarkeit innerhalb des Experiments, macht die untersuchte Gruppe aber nicht automatisch repräsentativ für alle potenziellen Nutzer.

Ergebnisse richtig lesen

Bei einem klassischen Signifikanztest beschreibt der p-Wert, wie gut die Daten mit der Nullhypothese und den Modellannahmen vereinbar sind. Er ist weder die Wahrscheinlichkeit, dass diese Hypothese wahr ist, noch die Wahrscheinlichkeit, dass der beobachtete Unterschied „nur Zufall“ war. Neben statistischer Unsicherheit zählt die praktische Größe des Effekts.

Mehrere Änderungen und vorzeitiges Stoppen

Eine Variante darf mehrere Änderungen enthalten. Dann misst der Vergleich deren gemeinsamen Effekt, nicht die isolierte Wirkung jedes einzelnen Elements. Soll diese getrennt untersucht werden, braucht es ein entsprechend geplantes Experiment.

Wer einen Test mit fest geplanter Auswertung allein beim ersten signifikanten Zwischenstand beendet, kann die Fehlalarmrate erhöhen. Für laufende Auswertung sind dafür geeignete Verfahren erforderlich. Auch ein korrekt durchgeführter A/B-Test muss keinen eindeutigen Gewinner liefern.

Quellen: Optimizely – A/B-Testing; NIST – p-Wert; Greenland et al. – Häufige Fehlinterpretationen statistischer Tests. Geprüft am 27. Oktober 2026.