Wie statistische Signifikanz funktioniert
Ein A/B-Test vergleicht zwei Conversion Rates, und beide schwanken von Woche zu Woche. Signifikant heißt: Der Abstand ist so groß, dass er bei gleich guten Fassungen selten zufällig entstünde. Selten heißt hier in weniger als 5 von 100 Tests.
Was der p-Wert sagt
Der p-Wert beantwortet eine Frage: Wie oft käme ein mindestens so großer Abstand zustande, wenn A und B in Wahrheit gleich gut wären? Ein p-Wert von 0,03 heißt: in etwa 3 von 100 solchen Tests. Liegt er unter 0,05, gilt das Ergebnis als signifikant. Die Grenze von 0,05 ist eine Übereinkunft. Manche Teams legen sie strenger fest, bevor der Test startet.
Was der p-Wert nicht sagt: mit welcher Wahrscheinlichkeit B besser ist, und wie groß der Vorteil ausfällt. Darauf weist auch die American Statistical Association in ihrer Erklärung zu p-Werten hin (Wasserstein und Lazar 2016). Für die Frage, ob sich eine Umstellung lohnt, schaut ihr deshalb zusätzlich auf den Unterschied selbst und auf die Bereiche um beide Raten.
Der 95-%-Bereich um jede Rate
Eine gemessene Conversion Rate ist eine Schätzung. Der Rechner zeigt um jede Rate eine Klammer: den Bereich, in dem die echte Rate mit 95 % Sicherheit liegt. Gerechnet ist er als Wilson-Intervall. Je mehr Besucher, desto schmaler die Klammer.
Überlappen sich die Bereiche von A und B deutlich, ist der Abstand in aller Regel nicht signifikant. Ganz verlässlich ist der Blick auf die Klammern aber nicht: Zwei Bereiche können sich knapp überlappen, und der Test ist trotzdem signifikant. Für das Urteil zählt deshalb der Test. Die Klammern zeigen, wie genau jede Rate geschätzt ist.
Warum kleine Stichproben täuschen
Mit wenigen Besuchern reichen ein paar zufällige Conversions, um eine Fassung weit vorn aussehen zu lassen. Wie viele Besucher ein Test braucht, hängt von eurer heutigen Conversion Rate ab und vom kleinsten Unterschied, den er noch finden soll. Bei 3 % Conversion Rate braucht er rund 13.896 Besucher je Fassung, um eine Steigerung auf 3,6 % zu finden. Dieselbe Steigerung um 20 % braucht bei 1 % Conversion Rate rund 42.642 Besucher je Fassung, bei 5 % rund 8.146.
Gerechnet ist das mit 80 % Teststärke: Gibt es den Unterschied wirklich, findet ihn der Test in 80 von 100 Fällen. Die Formel für zwei Anteile (Kim 2016) lautet: Besucher je Fassung = (1,96 + 0,84)² × (p₁ × (1 − p₁) + p₂ × (1 − p₂)) / (p₂ − p₁)², mit p₁ als heutiger und p₂ als gesuchter Rate.
Wird ein Test mit zu kleiner Stichprobe trotzdem signifikant, fällt der gemessene Abstand meist größer aus als der echte (Gelman und Carlin 2014). Der Rechner sagt es deshalb dazu, wenn eure Stichprobe kleiner ist als die, die der gemessene Unterschied braucht.
Peeking: warum ihr nicht beim ersten signifikanten Wert abbrecht
Viele Testtools zeigen den p-Wert laufend an. Er schwankt während des Tests und fällt auch bei gleich guten Fassungen zeitweise unter 0,05. Wer täglich nachschaut und den Test beim ersten solchen Wert beendet, ruft deutlich öfter einen falschen Gewinner aus, als es die 5 % vorsehen.
Legt die Stichprobe deshalb vor dem Start fest, mit dem Reiter „Test planen“, und wertet erst aus, wenn sie erreicht ist. Lasst den Test außerdem über volle Wochen laufen, damit jeder Wochentag gleich oft vorkommt.
Quellen, abgerufen am 13.10.2026: NIST/SEMATECH e-Handbook of Statistical Methods, z-Test für zwei Anteile und Wilson-Intervall; Kim 2016 für die Stichprobe; Wasserstein und Lazar 2016; Gelman und Carlin 2014.