Die automatische Erkennung von Stichprobenverhältnis-Diskrepanzen (SRM) in Optimizely Experiment gibt Experimentatoren Sicherheit. Sie reduziert die Zeit, die Nutzer negativen Erfahrungen aussetzen, indem sie Verschlechterungen im Experiment schnell erkennt.
Diese Verschlechterung entsteht durch unerwartete Ungleichgewichte bei den Besuchern einer Experimentvariante. Vor allem ermöglicht diese automatische SRM-Erkennung Produktmanagern, Marketingfachleuten, Entwicklern und Experimentierteams, weitere Experimente mit Zuversicht zu starten.
Optimizely erkennt dank automatischer SRM-Funktion (Sample Ratio Mismatch) schnell jegliche Verschlechterung von Experimenten. Erfahren Sie, wie Teams so mehr Experimente sicher starten können.
Wie die Statistik-Engine von Optimizely Experiment und die automatische Erkennung von Abtastratenabweichungen zusammenarbeiten
Das unausgewogene Stichprobenverhältnis (SRM) wirkt wie ein Türsteher mit einem mechanischen Zähler, der die Tickets der Gäste (Nutzer) kontrolliert und ihnen mitteilt, in welchem Raum sie feiern dürfen.
Die Statistik-Engine ist wie der Gastgeber, der die Stimmung (das Verhalten) der Gäste beim Betreten des Raumes im Blick behält.
Wenn SRM korrekt funktioniert, kann die Statistik-Engine zuverlässig feststellen, welcher Partyraum besser ist, und den Traffic schneller zur erfolgreicheren Variante (der besseren Party) lenken.
Warum sollte ich die SRM-Erkennung von Optimizely Experiment nutzen?
Es ist ebenso wichtig sicherzustellen, dass Optimizely Experiment-Nutzer wissen, dass ihre Experimentergebnisse vertrauenswürdig sind und dass sie die nötigen Werkzeuge haben, um zu verstehen, was ein Ungleichgewicht für ihre Ergebnisse bedeuten kann und wie es verhindert werden kann.
Optimizely Experiment geht einen Schritt weiter, indem es die automatische Erkennung von Besucherungleichgewichten mit einem aussagekräftigen Indikator für den Experimentstatus kombiniert. Dieser Indikator erfüllt eine doppelte Funktion: Er informiert unsere Kunden, wenn alles in Ordnung ist und kein Ungleichgewicht vorliegt.
Wenn Sie dann in Echtzeit Informationen benötigen, um Ihre Geschäftsentscheidungen zu schützen, liefert Optimizely auch Benachrichtigungen in Echtzeit, die unseren Kunden helfen, den Schweregrad von Fehlern zu erkennen, sie zu diagnostizieren und zu beheben.
Warum sollte mich die Diskrepanz zwischen Stichprobenverhältnis und Probenahmeverhältnis (SRM) kümmern?
So wie Fieber ein Symptom vieler Krankheiten ist, ist ein SRM (Service Resource Management) ein Symptom für verschiedene Datenqualitätsprobleme. Ignoriert man ein SRM, ohne die Ursache zu kennen, kann dies dazu führen, dass eine fehlerhafte Funktion als gut erscheint und an die Benutzer ausgeliefert wird – oder umgekehrt. Findet man ein Experiment mit einer unbekannten Quelle für ein Ungleichgewicht im Datenverkehr, kann man es schnell stoppen und die Auswirkungen minimieren.
Welcher Zusammenhang besteht dann zwischen einer „Fehlanpassung“ und einem „Stichprobenverhältnis“?
Wenn wir ein Experiment starten, weisen wir Optimizely Experiment eine Traffic-Aufteilung zu, die auf die einzelnen Varianten verteilt wird. Wir erwarten, dass diese zugewiesene Traffic-Aufteilung weitgehend mit der tatsächlichen Traffic-Aufteilung im laufenden Experiment übereinstimmt. Ein Experiment ist von einem SRM-Ungleichgewicht betroffen, wenn eine statistisch signifikante Differenz zwischen der erwarteten und der tatsächlich zugewiesenen Traffic-Aufteilung der Besucher auf die verschiedenen Varianten eines Experiments besteht.
1. Eine Nichtübereinstimmung bedeutet nicht, dass die Übereinstimmung unvollkommen ist.
Wichtig: Ein tatsächliches Ungleichgewicht erfordert ein statistisch signifikantes Ergebnis der Besucherdifferenz. Erwarten Sie keine perfekte, identische Übereinstimmung der Traffic-Aufteilung am Starttag mit Ihrer Traffic-Aufteilung im Produktivbetrieb. Es wird immer eine minimale Abweichung geben.
Nicht jede Traffic-Diskrepanz bedeutet automatisch, dass ein Experiment nutzlos ist. Da Optimizely die Zeit und Energie unserer Kunden sehr schätzt, haben wir einen neuen statistischen Test entwickelt, der die Experimentergebnisse kontinuierlich überwacht und schädliche SRMs so früh wie möglich erkennt. Gleichzeitig wird auch darauf geachtet, dass keine Fehlalarme ausgelöst werden (d. h. wenn wir fälschlicherweise von einem überraschenden Unterschied zwischen einer Testvariante und der Basislinie ausgehen, obwohl kein tatsächlicher Unterschied besteht).
2. Ein genauer Blick auf den SRM-Erkennungsalgorithmus von Optimizely Experiment.
Die automatische SRM-Erkennungsfunktion von Optimizely Experiment verwendet einen sequenziellen Bayes'schen Multinomialtest (versuchen Sie mal, das fünfmal schnell hintereinander zu sagen!), genannt sequenzielle Stichprobenverhältnis-Fehlererkennung. Die Optimizely-Statistiker Michael Lindon und Alen Malek haben diese Methode entwickelt, und sie stellt einen neuen Beitrag zum Gebiet der sequenziellen Statistik dar. Die SRM-Erkennung von Optimizely Experiment harmonisiert sequenzielle und Bayes'sche Methoden, indem sie kontinuierlich die Besucherzahlen überprüft und auf signifikante Ungleichgewichte in den Besucherzahlen einer Variante testet. Der Algorithmus ist Bayes'sch inspiriert, um das optionale Absetzen und Fortsetzen eines Experiments zu berücksichtigen und gleichzeitig sequentielle Garantien für die Fehlerwahrscheinlichkeit 1. Art zu liefern.
3. Vorsicht vor Chi-Eap-Alternativen!
Die gängigsten frei verfügbaren SRM-Rechner verwenden den Chi-Quadrat-Test. Wir empfehlen dringend, die Funktionsweise des Chi-Quadrat-Tests sorgfältig zu prüfen. Das Hauptproblem dieser Methode besteht darin, dass Fehler erst nach der vollständigen Datenerhebung entdeckt werden. Dies ist – wohlgemerkt – viel zu spät und widerspricht dem eigentlichen Zweck der meisten Kunden, eine SRM-Einbehaltung zu erreichen. In unserem Blogbeitrag „Eine bessere Methode zum Testen auf Stichprobenverhältnis-Diskrepanzen (oder warum ich keinen Chi-Quadrat-Test verwende)“ gehen wir detaillierter auf die Funktionsweise des Chi-Quadrat-Tests ein und erläutern, wie unser Ansatz die Lücken der Alternativen schließt.
Häufige Ursachen für eine SRM
1. Umleitungen & Verzögerungen
Ein SRM (Site Redirect Management) entsteht üblicherweise dadurch, dass Besucher die Seite verlassen, bevor die Weiterleitung abgeschlossen ist. Da wir die Entscheidungsereignisse erst senden, wenn die Besucher auf der Seite eintreffen und Optimizely Experiment geladen ist, können wir diese Besucher in unserer Ergebnisseite nicht berücksichtigen, es sei denn, sie kehren zu einem späteren Zeitpunkt zurück und senden ein Ereignis an Optimizely Experiment.
Ein SRM kann auftreten, wenn Ereignisse von Optimizely Experiment verzögert oder nicht ausgelöst werden, beispielsweise durch Codeänderungen. Er tritt auch auf, wenn Weiterleitungsexperimente Besucher auf eine andere Domain weiterleiten. Langsame Verbindungszeiten verstärken dieses Problem.
2. Force-Bucketing
Wenn ein Nutzer in einem Experiment zunächst einer Kategorie zugeordnet wird und diese Zuordnung dann in einem nachfolgenden Experiment zur erneuten Kategorisierung verwendet wird, sind die Ergebnisse dieses nachfolgenden Experiments unausgewogen.
Hier ein Beispiel:
Variante A bietet ein völlig anderes Nutzererlebnis als Variante B.
Besucher, die Variante A zugeordnet wurden, haben ein positives Erlebnis und viele von ihnen melden sich weiterhin an und gelangen in das nachfolgende Experiment, wo sie erneut Variante A zugeordnet werden.
Besucher, die Variante B zugeordnet wurden, haben hingegen kein positives Erlebnis. Nur wenige Nutzer melden sich an und gelangen in das nachfolgende Experiment, wo sie erneut Variante B zugeordnet werden.
Nun befinden sich deutlich mehr Besucher in Variante A als in Variante B.
3. Die Website verfügt über eigene Weiterleitungen.
Einige Websites verwenden eigene Weiterleitungen (z. B. 301-Weiterleitungen), die in Kombination mit unseren Weiterleitungen dazu führen können, dass ein Besucher auf einer Seite ohne den Code-Snippet landet. Dies führt dazu, dass ausstehende Entscheidungsereignisse im localStorage gesperrt werden und Optimizely Experiment diese weder empfängt noch zählt.
4. Die API-Aufrufe zum Halten/Senden von Ereignissen befinden sich außerhalb des Code-Snippets.
Einige Benutzer binden hold/send-Ereignisse in ihren Projekt-JS-Code ein. Andere wiederum integrieren sie in andere Skripte auf der Seite, beispielsweise in Vendor-Bundles oder Analyse-Tracking-Skripten. Dadurch entsteht ein weiteres Skript, das korrekt geladen werden muss, damit die Entscheidungen wie gewünscht ausgelöst werden. Die Implementierungs- oder Ladezeiten können je nach Variante variieren, insbesondere bei Weiterleitungen.
Interessiert?
Wenn Sie bereits Optimizely Experiment-Kunde sind und mehr darüber erfahren möchten, wie die automatische SRM-Erkennung Ihre A/B-Tests optimiert, schauen Sie in unserer Wissensdatenbank nach:
- Die automatische Erkennung von Sample-Ratio-Mismatch (SRM) in Optimizely Experiment entdeckt frühzeitig jegliche Verschlechterung des Experiments.
- Ungleichgewicht erkannt: Was tun, wenn die automatische SRM-Erkennung von Optimizely Experiment Sie auf ein Ungleichgewicht hinweist?.
Für weitere Informationen wenden Sie sich bitte an Ihren Customer Success Manager. Werfen Sie aber bitte zuerst einen Blick in unsere Dokumentation!
Wenn Sie noch kein Kunde sind, starten Sie hier mit uns!
Und wenn Sie mehr über die Technologie hinter Optimizely-Experimenten erfahren möchten, besuchen Sie unsere Seite für schnellere und verlässlichere Entscheidungen bei digitalen Experimenten.