Frequentistischer Ansatz mit festem Horizont, Bayes'scher Ansatz oder sequenzieller Ansatz: Wie wählt man die richtige Statistik-Engine aus?

Mein Interesse an Statistik begann mit einem Witz aus meiner Kindheit. Jemand fragte: „Wie hoch ist die Wahrscheinlichkeit, in der U-Bahn einen Dinosaurier zu sehen?“ Als datenorientierter Mensch antwortete ich: „0 %. Dinosaurier sind ausgestorben.“ Die Antwort lautete: „Nein, 50 %. Entweder man sieht einen oder nicht.“ Diese Logik erschien mir seltsam schlüssig, aber völlig falsch. Ich widersprach: „Ich bin schon über hundert Mal U-Bahn gefahren und habe noch nie einen Dinosaurier gesehen. Wie kann die Wahrscheinlichkeit also 50 % betragen?“ Dieses kleine Rätsel ist mir im Gedächtnis geblieben und verdeutlicht etwas Wesentliches über unser Verständnis von Wahrscheinlichkeit.

Heute möchte ich diese Intuition nutzen, um die drei statistischen Ansätze im A/B-Testing – frequentistisch, Bayes’sch und sequenziell – zu erläutern und ihre praktischen Unterschiede aufzuzeigen. So können Sie entscheiden, welcher Ansatz am besten zu Ihrem Team passt.

Zunächst eine kurze Einführung in die Wahrscheinlichkeitstheorie

Denken Sie an Ihren Mathematikunterricht in der Oberstufe zurück: „In einem Beutel befinden sich 7 Kugeln – 3 weiße und 4 schwarze. Wie hoch ist die Wahrscheinlichkeit, eine weiße Kugel zu ziehen?“ Die Antwort lautet 3/7. Ganz einfach. Interessant ist nun, was passiert, wenn die beiden Hauptrichtungen der Statistik – die frequentistische und die Bayes’sche Statistik – diese Idee auf reale Experimente anwenden. Frequentistische vs. Bayes’sche Statistik: Was ist der tatsächliche Unterschied? Die Erklärung, die mir persönlich schließlich den Durchbruch brachte: Der frequentistische Ansatz ordnet Daten Wahrscheinlichkeiten zu, während der Bayes’sche Ansatz Hypothesen Wahrscheinlichkeiten zuordnet. Lassen Sie das auf sich wirken. Angenommen, Sie führen ein Experiment durch, um zu testen, ob ein neues Banner auf der Startseite die Klickrate verbessert. Ihre Hypothese lautet: „Dieses neue Banner wird mehr Klicks erhalten als das bestehende.“

• Bayes'sche Interpretation: „Variante B hat eine Wahrscheinlichkeit von 90 %, besser als die Kontrollgruppe zu sein.“
• Frequentistische Interpretation: „Wenn es keinen wirklichen Unterschied zwischen den Varianten gäbe, läge die Wahrscheinlichkeit, Daten dieser oder einer noch extremeren Größenordnung zu erhalten, nur bei 10 %. Daher ist es wahrscheinlich, dass ein tatsächlicher Unterschied besteht.“

Die Bayes'sche Aussage ist intuitiv, da sie die Frage „Ist diese Variante besser?“ direkt beantwortet. Die frequentistische Aussage ist präziser, aber für einen nicht-technischen Stakeholder schwieriger zu erklären.

Wie sich diese Unterschiede im Verlauf des Experiments auswirken

Die beiden Ansätze unterscheiden sich nicht nur in der Interpretation der Ergebnisse, sondern auch in der Planung und Durchführung von Experimenten.

1. Experimentplanung

Bei einem klassischen frequentistischen Ansatz (mit festem Zeithorizont) muss die erforderliche Stichprobengröße vor Beginn berechnet werden. Dazu muss die Basismetrik bekannt sein. Beispielsweise, welcher Prozentsatz der Besucher typischerweise auf das bestehende Banner klickt, und ein minimaler nachweisbarer Effekt (MDE) definiert werden: die kleinste Verbesserung, die nachgewiesen werden soll.

Die korrekte Bestimmung des MDE ist einer der schwierigsten Aspekte der Versuchsplanung. Ist er zu klein, benötigt man eine riesige Stichprobe, deren Erhebung Monate dauert. Ist er zu groß, besteht die Gefahr, dass der Test zu wenig Aussagekraft besitzt und tatsächliche, kleinere Effekte übersehen werden. Bei einem Bayes'schen Ansatz gibt es zwei Möglichkeiten: informative oder nicht-informative Priors. Informative Priors sind eine mathematische Darstellung des vorhandenen Wissens oder der Annahmen über die Metrik – nicht nur historische Daten, sondern eine daraus abgeleitete Wahrscheinlichkeitsverteilung. Nicht-informative Priors bedeuten, dass man von vorn beginnt, ohne Annahmen vor dem Experiment, und die eingehenden Daten für sich selbst sprechen lässt.

Die meisten Online-Experimentierplattformen verwenden standardmäßig nicht-informative Priors, und das aus gutem Grund: Informative Priors korrekt zu definieren, ist tatsächlich schwierig. Liegen sie falsch, sind die Ergebnisse von vornherein falsch. 2. Durchführung des Experiments Beim klassischen frequentistischen Testen verpflichten Sie sich, alle Daten zu sammeln, bevor Sie die Ergebnisse analysieren. Ein Blick auf die Daten mitten im Experiment – ​​die Berechnung von p-Werten und Konfidenzintervallen, bevor Sie Ihre Zielstichprobe erreicht haben – erhöht die Rate falsch positiver Ergebnisse erheblich. Sie müssen warten. Bayesianisches Testen unterliegt dieser Einschränkung nicht, sodass Sie die Ergebnisse während des gesamten Experiments überprüfen können, ohne deren Gültigkeit zu beeinträchtigen. Sequenzielles Testen: Das Beste aus beiden Welten Sequenzielles Testen kombiniert die Robustheit des frequentistischen Ansatzes mit der Flexibilität des Bayesianischen Monitorings. Sie erhalten präzise Ergebnisse und können die eingehenden Daten einsehen, ohne die Anzahl falsch positiver Ergebnisse zu erhöhen. Wie funktioniert das? Der Optimizely-Algorithmus mSPRT für sequentielles Testen leitet gültige p-Werte aus einem Mischungs-Likelihood-Verhältnis ab (berechnet durch Mittelung der Likelihood über eine A-priori-Verteilung möglicher Effektstärken). Dadurch bleiben die Raten falsch positiver Ergebnisse während des gesamten Experiments unter Kontrolle. Es ist nicht erforderlich, eine MDE (Minimum-Defects-Effizienz) vorab festzulegen. Dies ist besonders nützlich, wenn Sie eine neue primäre Metrik testen oder in einem unbekannten Bereich Ihres Produkts arbeiten. Welchen Ansatz sollten Sie also wählen? Es gibt keine allgemein „bessere“ statistische Methode. Es hängt davon ab, wie Ihr Team arbeitet und welche Ziele Sie mit Ihrem Experiment verfolgen.

1. Klassischer frequentistischer Ansatz (fester Zeithorizont): Er eignet sich für Teams mit einem klar definierten Geschäftszyklus, einem soliden Verständnis ihrer Basismetriken und der Disziplin, auf vollständige Daten zu warten, bevor sie einen Gewinner küren.
2. Bayesianischer Ansatz: Er eignet sich gut, wenn Ihre Stakeholder in Wahrscheinlichkeiten denken – „Wie hoch ist die Wahrscheinlichkeit, dass diese Variante besser ist?“ – und sich mit p-Werten oder Konfidenzintervallen nicht wohlfühlen.
3. Sequenzieller Ansatz: Er ist die richtige Wahl, wenn Sie frequentistische Strenge wünschen, aber Flexibilität benötigen: Sie sind sich bezüglich der richtigen MDE unsicher, arbeiten mit einer neuen Metrik oder Ihr Unternehmen muss in der Lage sein, jederzeit während des Experiments auf die Ergebnisse zu reagieren.

Die richtige Wahl hängt davon ab, welche Methode zu den Entscheidungsprozessen Ihres Teams passt.

Hier ist eine Kurzanleitung zur Auswahl der richtigen Statistikmethode für Ihr Team:

Häufige Missverständnisse über statistische Methoden

1. „Bayesianische Experimente benötigen eine kleinere Stichprobe, um Signifikanz zu erreichen.“

So einfach ist es nicht. Bayesianische Experimente mit wohldefinierten, benutzerdefinierten Priors können die benötigte Stichprobengröße tatsächlich reduzieren. Wie bereits erwähnt, ist die präzise Definition von Priors jedoch sehr schwierig und erfordert fundierte Statistikkenntnisse.

Vergleicht man einen klassischen frequentistischen Ansatz mit festem Horizont mit einem Bayesianischen Ansatz mit nicht-informativen Priors, so sind die benötigten Stichprobengrößen tatsächlich sehr ähnlich.

2. „Die sequentielle Statistik-Engine von Optimizely ist zu konservativ und benötigt eine größere Stichprobe.“

Auch hier gilt: Im Vergleich zu klassischen frequentistischen Tests mit festem Horizont kann der Ansatz mit festem Horizont bei sehr kleinen MDE-Werten eine etwas kleinere Stichprobengröße erfordern – der Unterschied ist jedoch marginal. Wenn Ihr MDE hoch ist, erreicht die sequentielle Engine von Optimizely typischerweise bereits mit einer kleineren Stichprobe Signifikanz.

Zum Thema „konservativ“: Sowohl unsere sequentielle Engine als auch der frequentistische Ansatz mit festem Horizont kontrollieren die Falsch-Positiv-Rate standardmäßig und schützen so die Qualität Ihrer Ergebnisse. Die Kontrolle falscher Entdeckungen ist bei sequentiellen oder frequentistischen statistischen Ansätzen mit festem Horizont unerlässlich – es gibt kein Szenario mit mehreren Vergleichen, in dem sie nicht erforderlich wäre. Wichtig ist, dass sie die Wahrscheinlichkeit, dass Ihre primäre Metrik in einem einfachen A/B-Test statistische Signifikanz erreicht, nicht verringert.

„Ich habe Daten von der Ergebnisseite mit der sequentiellen Engine abgerufen, sie durch einen Online-Rechner laufen lassen, und dieser zeigt Signifikanz an – die Ergebnisseite jedoch nicht.“

Dies ist genau das zuvor beschriebene falsch-positive Szenario. Würden Sie die Stichprobengröße berechnen, die für Ihre gegebene Basismetrik und Ihren MDE erforderlich ist, um Signifikanz zu erreichen, wie Sie es mit einer klassischen frequentistischen Methode tun würden, würden Sie wahrscheinlich feststellen, dass Sie diese noch nicht erreicht haben. Es ist daher schwierig auszuschließen, dass das Signifikanzergebnis ein falsch positives Ergebnis ist, da bekannt ist, dass ein vorzeitiges Überprüfen der Ergebnisse die Anzahl falsch positiver Ergebnisse deutlich erhöht.

3. „Der frequentistische Ansatz ist zuverlässiger als der Bayes'sche.“

Das stimmt nicht. Ein gut konzipiertes Experiment liefert unabhängig von der verwendeten statistischen Methode gute Ergebnisse. Entscheidend ist, dass Sie die Ergebnisse für die gewählte Methode korrekt interpretieren. Nutzen Sie die Entscheidungshilfe in diesem Beitrag, um den richtigen Ansatz für Ihr Experiment auszuwählen, und die Zuverlässigkeit ergibt sich daraus.