A/A-Testing

Was ist A/A-Testing?

A/A-Testing ist eine Methode, A/B-Testing bei der zwei identische Versionen der Seite gegeneinander getestet werden. Sie wird in der Regel angewendet, um zu überprüfen, ob das für das Experiment verwendete Tool statistisch fair ist. Wenn der Test korrekt implementiert ist, sollte das Tool in einem A/A-Test keinen Unterschied der Conversions zwischen Original und Variation anzeigen.

Warum ist A/A-Testing wichtig?

Warum sollte man einen Test durchführen, wenn Variation und Original identisch sind?

In einigen Fällen wird er zur Erfassung der Anzahl an Conversions auf der Seite genutzt, auf der A/A-Testing zum Zählen der Conversions und zur Bestimmung der Baseline-Conversion-Rate vor Durchführung eines A/B- oder Multivarianztests durchgeführt wird.

In den meisten anderen Fällen ist der A/A-Test eine Methode zur doppelten Kontrolle der Effektivität und Genauigkeit der A/B-Test-Software. Sie sollten darauf achten, ob die Software einen statistisch signifikanten (mehr als 95 % statistische Signifikanz) Unterschied zwischen Original und Variation meldet. Wenn die Software einen statistisch signifikanten Unterschied meldet, ist das problematisch und Sie sollten prüfen, ob die Software auf Ihrer Website oder mobilen App korrekt implementiert ist.

Was Sie beim A/A-Testing beachten sollten

Bei Durchführung eines A/A-Tests ist es wichtig, zu bedenken, dass unterschiedliche Conversion Rates zwischen identischen Test- und Kontrollseiten immer möglich sind. Das muss nicht bedeuten, dass die A/B-Test-Plattform nicht richtig funktioniert, denn beim Testen spielt stets auch der Zufall eine Rolle.

Vergessen Sie nicht, dass bei Durchführung jeglicher A/B-Tests die statistische Signifikanz Ihrer Ergebnisse eine Wahrscheinlichkeit darstellt, keine Gewissheit. Selbst ein statistisches Signifikanzniveau von 95 % stellt eine Chance von 1 zu 20 dar, dass die ermittelten Ergebnisse zufällig bedingt sind. In den meisten Fällen sollte Ihr A/A-Test zum Ergebnis haben, dass die Verbesserung der Conversion Rate zwischen Original und Variation statistisch nicht aussagekräftig ist.

Optimizely-Statistik-Engine und A/A-Testing

Bei Durchführung eines A/A-Tests mit Optimizely können Sie in den meisten Fällen erwarten, dass die Ergebnisse des Tests nicht aussagekräftig sind — die Conversion-Unterschiede zwischen den Variationen erreichen keine statistische Signifikanz. Tatsächlich werden die Anzahl der A/A-Tests mit nicht eindeutigem Ergebnis mindestens so hoch sein wie die in Ihren Projekteinstellungen gesetzte Signifikanzschwelle (Standardwert 90 %).

In einigen Fällen könnten Sie allerdings feststellen, dass eine Variation eine andere übertrifft oder das sogar für eines Ihrer Ziele ein Gewinner genannt wird. Das schlüssige Ergebnis dieses Experiments ist rein zufällig und sollte nur in 10 % aller Fälle auftreten, wenn Sie die Signifikanzsschwelle auf 90 % gesetzt haben. Wenn Ihre Signifikanzschwelle höher eingestellt ist (zum Beispiel 95 %), dann ist die Wahrscheinlichkeit, einen schlüssigen A/A-Test zu erleben, sogar noch kleiner (in diesem Fall 5 %).

Weitere Details zu den statistischen Methoden und der Statistik-Engine von Optimizely finden Sie auf unserer Anleitung zur Durchführung und Interpretation eines A/A-Tests.