A/B-Testing Stichprobenumfangs-Rechner

Der Stichprobenrechner von Optimizely unterscheidet sich von anderen statistischen Signifikanzrechnern. Er basiert auf der Formel, die in Experimentation's stats engine verwendet wird. Die Statistik-Engine berechnet die statistische Signifikanz mithilfe von sequentiellen Tests und Kontrollen der Falschentdeckungsrate. In Kombination bedeuten diese beiden Techniken, dass Sie nicht mehr auf eine vorgegebene Stichprobengröße warten müssen, um die Gültigkeit Ihrer Ergebnisse zu gewährleisten. Wenn Intelligence Cloud Ihnen sagt, dass ein Ergebnis zu 95 % signifikant ist, können Sie eine Entscheidung mit 95 %iger Sicherheit treffen. Mehr erfahren

Mit diesem Rechner für die statistische Signifikanz können Sie die Stichprobengröße für jede Variation in Ihrem Test berechnen, die Sie im Durchschnitt benötigen, um die gewünschte Änderung Ihrer Konversionsrate zu messen. Wenn Intelligence Cloud einen Effekt feststellt, der größer ist als der gewünschte, können Sie Ihren Test in vielen Fällen vorzeitig beenden.

Unser A/B-Test-Stichprobengrößenrechner basiert auf der Formel unserer neuen Stats Engine, die zur Berechnung der statistischen Signifikanz einen zweiseitigen sequentiellen Likelihood-Ratio-Test mit Kontrolle der Falschentdeckungsrate verwendet.

Mit dieser Methodik müssen Sie den Stichprobengrößenrechner nicht mehr verwenden, um die Gültigkeit Ihrer Ergebnisse zu gewährleisten. Stattdessen eignet sich der A/B-Test-Rechner am besten als Werkzeug für die Planung Ihres Testprogramms, um herauszufinden, wie lange Sie möglicherweise warten müssen, bevor Optimizely feststellen kann, ob Ihre Ergebnisse signifikant sind, je nach dem Effekt, den Sie beobachten möchten.

Sie können sich historische Daten darüber ansehen, wie diese Seite in der Vergangenheit in der Regel funktioniert hat, und zwar mit einem Tool wie Google Analytics oder einer anderen von Ihnen verwendeten Website-Analyse. Mehr erfahren

Bei traditionellen Hypothesentests ist der MDE im Wesentlichen die Empfindlichkeit Ihres Tests. Mit anderen Worten, es handelt sich um die kleinste relative Änderung der Konversionsrate, die Sie erkennen möchten. Wenn Ihre Basis-Konversionsrate beispielsweise 20 % beträgt und Sie einen MDE-Wert von 10 % festlegen, würde Ihr Test alle Änderungen erkennen, die Ihre Konversionsrate aus dem absoluten Bereich von 18 % bis 22 % herausbewegen (ein relativer Effekt von 10 % entspricht in diesem Beispiel einer absoluten Änderung der Konversionsrate von 2 %). 

Entscheiden Sie, inwieweit Sie bereit sind, die Empfindlichkeit Ihres Tests gegen die Dauer der Testdurchführung abzuwägen. Je kleiner die MDE ist, desto empfindlicher muss Ihr Test sein, und desto mehr Stichproben benötigen Sie.

Denken Sie daran, dass die statistische Signifikanz in der Intelligence Cloud-Statistikmaschine die Wahrscheinlichkeit angibt, dass Ihre Ergebnisse jemals signifikant sein werden, während das Experiment läuft. Wenn der Effekt, den unsere Stats Engine beobachtet, größer ist als der von Ihnen gesuchte minimale nachweisbare Effekt, kann Ihr Test bis zu doppelt so schnell zum Gewinner oder Verlierer erklärt werden, als wenn Sie auf die voreingestellte Stichprobengröße warten müssten. Wenn Sie mehr Zeit haben, kann die Statistik-Engine auch einen kleineren MDE als den erwarteten finden. Mehr erfahren

Die statistische Aussagekraft ist im Wesentlichen ein Maß dafür, ob Ihr Test über ausreichende Daten verfügt, um ein schlüssiges Ergebnis zu erzielen. Die Statistik-Engine von Intelligence Cloud führt Tests durch, die immer eine Aussagekraft von eins erreichen. Das bedeutet, dass der Test immer über ausreichende Daten verfügt, um Ihnen Ergebnisse zu liefern, die zu diesem Zeitpunkt gültig sind, und schließlich einen Unterschied feststellen wird, wenn es einen gibt. Das bedeutet, dass Sie eine Entscheidung treffen können, sobald Ihre Ergebnisse Signifikanz erreichen, ohne sich Gedanken über die Aussagekraft zu machen.