Nutzung von Interaktionseffekten in A/B- und multivariaten Tests

Evan WeissEvan Weiss
14. Juni 2018

„Interaktionseffekte“. Dieser Begriff lässt jeden erschaudern, der schon einmal mehrere A/B-Tests gleichzeitig durchführen wollte. Im besten Fall betrachten Experimentatoren Interaktionseffekte als eine unangenehme Realität, die sie dazu zwingt, Experimente so zu gestalten, dass sie sich gegenseitig ausschließen.

„Interaktionseffekte“. Dieser Begriff kann jedem, der mehrere A/B-Tests gleichzeitig durchführen möchte, Angst einjagen. Im besten Fall betrachten Experimentatoren Interaktionseffekte als eine unangenehme Realität, die sie dazu zwingt, Experimente voneinander auszuschließen.

Im schlimmsten Fall können Interaktionseffekte die Interpretation der Ergebnisse gleichzeitiger Tests erschweren oder gar unmöglich machen. Aber Interaktionseffekte müssen nicht beängstigend sein!

In diesem Beitrag für Experimentatoren und Analysten gehe ich auf folgende Punkte ein:

  • Interaktionseffekte und ihre Funktionsweise im Kontext digitaler Experimente
  • Wie multivariate Tests eingesetzt werden können, um Interaktionseffekte zu finden und deren Einfluss auf die Experimentmetriken zu quantifizieren
  • Wie positive Interaktionseffekte die Experimentleistung steigern können

Multivariate Tests sind derzeit nur für Web-Experimente verfügbar.

Was sind Interaktionseffekte?

Bevor wir uns in Details verlieren, sollten wir eine gemeinsame Definition festlegen. In der Statistik wird eine Interaktion definiert als „…eine Situation, in der der gleichzeitige Einfluss zweier Variablen auf eine dritte nicht additiv ist.“¹ Im Kontext digitaler Experimente können wir Interaktionseffekte beobachten, wenn mehrere Experimente dieselben Nutzer ansprechen. Die Kombination der Experimentvarianten kann deren Verhalten auf überraschende Weise verändern, die wir bei der Betrachtung der Ergebnisse jedes einzelnen Experiments nicht vorhersehen könnten. Betrachten wir beispielsweise zwei A/B-Tests für einen einzelnen „Jetzt kaufen“-Button. Ein Test ändert den Button-Text, der andere die Button-Farbe. Diese Tests sind so konfiguriert, dass sie sich gegenseitig ausschließen. Das bedeutet, dass Nutzer, die an einem Test teilnehmen, nicht für den anderen ausgewählt werden können. Nachdem beide Tests Signifikanz erreicht haben, stellen Sie fest, dass Nutzer, die die Textvariante „Entdecken“ gesehen haben, den Button 2 % häufiger angeklickt haben, und Nutzer, die die rote Farbvariante gesehen haben, 5 % häufiger. Sie könnten annehmen, dass die Verwendung der erfolgreichsten Varianten in beiden Experimenten eine Gesamtverbesserung von 7 % ergibt. Da Sie ein sorgfältiger Experimentator sind, entscheiden Sie sich, Ihre Annahme zu überprüfen, indem Sie die erfolgreiche Kombination direkt testen.

Zu Ihrer Überraschung stellen Sie fest, dass Besucher, die die Kombination der erfolgreichen Varianten sehen, 10 % häufiger auf den Button klicken. Woher kommen die „zusätzlichen“ 3 %? Die Antwort ist ein Interaktionseffekt: Die Kombination aus Text und Farbe erzielt eine bessere Performance, als die einfache Addition der Ergebnisse beider erfolgreicher Varianten vermuten ließe.

Herzlichen Glückwunsch, Sie haben soeben einen positiven Interaktionseffekt entdeckt!

Multivariate Tests

Diese Art von Effekten lässt sich auch bei multivariaten Tests (MVT) beobachten, bei denen verschiedene Abschnittsvarianten miteinander kombiniert werden (weitere Informationen finden Sie in unserem hilfreichen Artikel zu Experimenttypen).

Wer mit MVT vertraut ist, hat sich beim Anblick des obigen Beispiels wahrscheinlich gefragt: „Warum haben wir nicht gleich einen MVT durchgeführt?“ Da haben Sie völlig recht! Ein multivariater Test (MVT) wäre ein ideales Test-Setup, um die optimale Kombination aus Text und Farbe für unseren „Jetzt kaufen“-Button zu ermitteln.

Die Durchführung des obigen Tests als MVT bietet einige Vorteile:

  1. Sie können die Durchführung zweier unabhängiger Tests überspringen und direkt mit dem Testen von Kombinationen beginnen.
  2. Sie finden garantiert die beste Variablenkombination, selbst wenn die Variablen einzeln getestet nicht so gut abschneiden wie in Kombination.

Ein weiterer Vorteil (Nr. 2) ist, dass Ihre MVT-Ergebnisse von Anfang an Interaktionseffekte berücksichtigen. Tatsächlich ist die Möglichkeit, Interaktionseffekte zu erkennen, der Hauptgrund, warum erfahrene Experimentatoren MVT anstelle mehrerer sich überschneidender A/B-Tests bevorzugen!

Ermittlung von Interaktionseffekten mittels multivariater Tests

Okay, nehmen wir an, Sie sind bereit, in Ihren MVTs nach positiven Interaktionseffekten zu suchen. Was nun? Bevor Sie Ihren Test starten, überlegen Sie, ob die Abschnitte des MVTs sich gegenseitig beeinflussen. Mit anderen Worten: Interaktionseffekte treten eher auf, wenn Abschnitte eng miteinander verknüpft sind (wie im obigen Beispiel mit den Schaltflächen). Zwar können Sie einen MVT durchaus verwenden, um die optimale Kombination zweier unabhängiger Variablen zu ermitteln (z. B. das Hero-Bild der Startseite und die Anzahl der auf der Startseite angezeigten Elemente), doch sind Interaktionseffekte dabei deutlich unwahrscheinlicher. Nachdem Ihr Test eine Weile gelaufen ist, können Sie die Ergebnisse detailliert analysieren und nach Interaktionseffekten suchen.

Einführung von Abschnittsrollups

Abschnitts-Rollups sind ein neuer Analysemodus, der den Beitrag spezifischer Abschnittsvarianten zur Gesamtleistung des multivariaten Tests (MVT) untersucht. Um ein Abschnitts-Rollup zu erstellen, werden die Metriken aller Kombinationen, die eine bestimmte Abschnittsvariante enthalten, aggregiert, um eine neue Ergebnisdarstellung zu erzeugen.

Sie können Abschnitts-Rollups als Heuristik verwenden, um das Vorhandensein von Interaktionseffekten in Ihren MVT-Ergebnissen zu erkennen. Bei der Betrachtung eines Abschnitts-Rollups stellen Sie sich die Frage: „Ist die Leistung dieser Abschnittsvariante besser, als ich erwarten würde, wenn ich sie isoliert testen würde?“

Die gute Nachricht ist: Wenn Sie einen vollständigen faktoriellen MVT durchführen (bei dem jede mögliche Kombination getestet wird), haben Sie tatsächlich jede Abschnittsvariante „isoliert“ getestet (d. h. in Kombination mit den Kontrollvarianten aller anderen Abschnitte). Der in dieser Kombination gemessene Lift repräsentiert den Effekt der Anzeige der Abschnittsvariation ohne weitere Änderungen am Nutzererlebnis.

Ist der im Abschnitts-Rollup gemessene Lift deutlich höher als der in der Kombination „Isolation“ gemessene, bedeutet dies, dass die Performance anderer Kombinationen durch positive Interaktionseffekte gesteigert wird!

Diese heuristische Methode deckt nicht alle Interaktionseffekte auf, da bestimmte Verteilungsmuster in der Abschnitts-Rollup-Ansicht „ausgeblendet“ werden können. Analysten, die Interaktionseffekte umfassender erkennen und quantifizieren möchten, können eine ANOVA (Varianzanalyse) verwenden. Die Ergebnisseite von Optimizely unterstützt derzeit keine ANOVA. Wenn Sie diese Technik jedoch nutzen möchten, können Sie die Optimizely-Ereignisdaten exportieren und anschließend mit Ihrem bevorzugten Statistikprogramm analysieren.

Umgang mit negativen Interaktionseffekten

Bis jetzt haben wir hauptsächlich über positive Interaktionseffekte gesprochen, aber Interaktionseffekte können sich auch negativ auf die Kombinationsleistung auswirken. Kehren wir zu unserem „Jetzt einkaufen“-Button zurück und nehmen wir an, wir möchten die optimale Kombination aus Button- und Textfarbe ermitteln.

Wir müssen den Test nicht einmal starten, um zu wissen, dass die Kombination mit rotem Text auf einem roten Button schlecht abschneiden wird!

Wenn Sie vermuten, dass eine bestimmte Kombination negative Interaktionseffekte aufweist, können Sie verhindern, dass Besucher dieser Kombination ausgesetzt werden, indem Sie einen partiellen faktoriellen MVT verwenden.

Wenn Sie sich wirklich Sorgen um Interaktionseffekte machen und diese vollständig vermeiden möchten, besteht ein anderer Ansatz darin, mehrere sich gegenseitig ausschließende A/B-Tests durchzuführen. Mit dieser Methode können Sie verhindern, dass Nutzer mehreren Tests ausgesetzt werden, die sich wahrscheinlich gegenseitig beeinflussen, oder Sie können die Teilnahme auf jeweils einen Test beschränken. Dies reduziert zwar das Risiko unerwünschter Wechselwirkungen, kann aber die statistische Aussagekraft Ihrer Tests erheblich beeinträchtigen, da jeder Test mit anderen um Traffic konkurriert. Zudem entgeht Ihnen die Möglichkeit, positive Interaktionseffekte zu entdecken. Erfahren Sie mehr darüber, wie Sie sich gegenseitig ausschließende Tests mit Optimizely durchführen.

Was das alles für Experimentierprogramme bedeutet

Wir haben uns ausführlich mit Interaktionseffekten und ihrer Funktionsweise in A/B- und multivariaten Tests befasst. Doch was bedeutet das alles für Ihr Experimentierprogramm? Es gibt einige wichtige Punkte zu beachten:
  • Interaktionseffekte können immer dann auftreten, wenn Nutzer mehreren Variablen ausgesetzt sind, unabhängig vom Testverfahren.
  • Es ist ratsam, Interaktionseffekte bei der Planung zu berücksichtigen (entweder durch die Durchführung multivariater Tests und das Deaktivieren ungünstiger Kombinationen oder durch die Durchführung sich gegenseitig ausschließender Experimente).
  • Das Entdecken positiver Interaktionseffekte ist ein Hauptgrund für die Durchführung multivariater Tests.

Haben Sie eine Geschichte über überraschende Interaktionen, die Sie durch Experimente entdeckt haben? Wir würden uns freuen, von Ihnen zu hören!

¹ Dodge, Y. (2003). The Oxford Dictionary of Statistical Terms. Oxford University Press. ISBN 0-19-920613-9.