CUPED

Was ist CUPED?

CUPED (Controlled-experiment Using Pre-Existing Data) ist eine statistische Methode, die die Varianz in A/B-Tests reduziert, deren Sensitivität erhöht und es einfacher macht, Unterschiede zwischen Gruppen zu erkennen.

CUPED hilft Ihnen, intelligentere Experimente durchzuführen, die schneller und mit größerer Sicherheit zu Ergebnissen führen. Dabei geht es um:

• Nutzung von Daten aus der Zeit vor dem Experiment, um ein präziseres Mess-Framework zu erstellen
• Reduzierung statistischen Rauschens, um wahre Behandlungseffekte sichtbar zu machen
• Erreichen statistischer Signifikanz mit weniger Daten, wenn ein tatsächlicher Effekt vorliegt
• Transformation des Experimentierens durch höhere Präzision und schnellere Ergebnisse

Bildquelle: Optimizely

Führende Unternehmen wie Netflix, Meta und Airbnb nutzen CUPED, um die Sensitivität von Experimenten zu steigern und Lernzyklen zu beschleunigen.

Warum ist CUPED wichtig?

Durch die Implementierung von CUPED in Ihrem Experimentierprogramm können Sie:

• Statistische Signifikanz schneller mit kleineren Stichproben erreichen
• Kleinere Effekte erkennen, die herkömmliche Methoden möglicherweise übersehen
• Mehr Experimente mit Ihrem vorhandenen Traffic durchführen
• Datengestützte Entscheidungen mit größerer Sicherheit treffen
• Häufige Herausforderungen wie hohe Metrik-Varianz und unzureichenden Traffic überwinden

CUPED-Beispiel

Im digitalen Experimentieren gibt es immer Raum für Verbesserungen der statistischen Effizienz, und die besten Unternehmen optimieren kontinuierlich ihre Testfähigkeiten, um schnellere und zuverlässigere Ergebnisse zu erzielen.

Nehmen wir an, wir testen eine Werbekampagne und ob sie den Umsatz steigert oder nicht:

• Test, ob eine neue Werbekampagne den Kundenumsatz steigert
• 1.000 Kunden aufgeteilt in Kontroll- und Behandlungsgruppe
• Umsatzdaten aus der Zeit vor dem Experiment für alle Kunden verfügbar

So sehen die Ergebnisse im Vergleich aus.

Traditionelles A/B-Testing:

• 8 % Umsatzsteigerung beobachtet
• p-Wert: 0,09 (nicht statistisch signifikant)

Mit CUPED:

• Gleiche 8 % Umsatzsteigerung
• p-Wert: 0,03 (statistisch signifikant)
• Varianz um 41 % reduziert

CUPED ermöglicht es Teams, denselben Effekt mit derselben Stichprobengröße sicher zu erkennen, indem die Ausgabemuster jedes Kunden vor dem Experiment berücksichtigt werden.

Traditionelles A/B-Testing vs. CUPED

So funktioniert CUPED

CUPED verbessert Ihre Testergebnisse, indem es vorhandene Daten zur Varianzreduktion nutzt. So funktioniert es:

1. Historische Daten erfassen: Sammeln Sie vergangene Leistungsdaten für ausgewählte Metriken (mindestens zwei Wochen an Daten vor dem Experiment erforderlich).
2. Prädiktives Modell erstellen: Schätzen Sie, wie die Ergebnisse ohne Änderungen aussehen würden.
3. Experimentergebnisse anpassen: Subtrahieren Sie die prognostizierte Basislinie von den beobachteten Ergebnissen zwischen Kontrollgruppe und Varianten.
4. Präzisere Erkenntnisse gewinnen: Durch die Verringerung der vorhandenen Varianz steigt die statistische Sensitivität und die Konfidenzintervalle werden enger.

Die technischen Mechanismen umfassen Kovarianzberechnungen und lineare Regression, aber in der Praxis passt CUPED automatisch vorhandene Unterschiede zwischen Nutzern an und fokussiert die Analyse auf Veränderungen, die nach der Behandlung auftreten.

CUPED-Anwendungsfälle

CUPED kann viele Arten von Experimenten verbessern, insbesondere bei Metriken mit hoher Varianz:

• Verbesserung von Umsatzmetriken: Messen Sie die Auswirkungen von Änderungen auf Metriken mit hoher Varianz wie durchschnittlicher Bestellwert oder Umsatz pro Nutzer genauer.
• Engagement-Optimierung: Erkennen Sie bedeutsame Unterschiede bei Nutzer-Engagement-Metriken wie Sitzungsdauer oder Seitenaufrufen mit weniger Daten.
• Verhältnismetriken: Verbessern Sie die Präzision von Metriken wie Artikel pro Bestellung oder Klicks pro Nutzer mit Zähler-/Nenner-Struktur.
• Analyse von Segmenten mit wenig Traffic: Steigern Sie die statistische Power bei der Analyse von Nutzersegmenten mit begrenzten Daten, sodass aussagekräftige Experimente für spezifische Kundenkohorten möglich werden, die sonst unverhältnismäßig große Stichproben erfordern würden.

CUPED-Implementierung

Optimizely macht es einfach, CUPED für Ihre Experimente zu aktivieren.

Bei der Implementierung von CUPED:

• Kompatible Metriken: Funktioniert nur mit numerischen Metriken (Umsatz, Engagement-Zählungen usw.) und nicht mit binären Conversion-Metriken.
• Daten vor dem Experiment: Nur Berechnungen der primären und sekundären Zielmetriken vor dem Experiment werden als Kovariaten verwendet.
• Plattformunterstützung: Funktioniert auf großen Data Warehouses wie Snowflake, BigQuery und Databricks.
• Implementierungsschritte: Wird in der Regel über einen einfachen Schalter in der Experimentkonfiguration aktiviert und erfordert keine komplexen statistischen Berechnungen durch den Nutzer.
• Datenanforderungen: Erfordert Daten aus der Zeit vor dem Experiment für die analysierten Metriken; hat keine Auswirkung auf neu erstellte Metriken ohne historische Daten.
• Erwartetes Ergebnis: Kann die Varianz in Experimentergebnissen erheblich reduzieren und die erforderliche Stichprobengröße bei Metriken mit starker Korrelation zu historischem Verhalten potenziell um 30–50 % verringern.

So sieht es mit und ohne CUPED aus.

Ohne CUPED

Bildquelle: Optimizely

Mit CUPED

Bildquelle: Optimizely

CUPED-Best-Practices

Befolgen Sie bei der Implementierung von CUPED diese Best Practices:

1. Die richtigen Metriken wählen: CUPED funktioniert am besten mit numerischen Metriken mit hoher Varianz, die eine Korrelation zwischen Zeiträumen vor und nach dem Experiment aufweisen.
2. Ausreichend historische Daten sicherstellen: Mindestens zwei Wochen an Daten vor dem Experiment sind für eine wirksame Varianzreduktion erforderlich.
3. Datenqualität überwachen: Stellen Sie ein konsistentes Tracking vor und während des Experiments sicher.
4. Die Grenzen kennen: CUPED hilft möglicherweise nicht bei neuen Features, Metriken mit geringer Vor-/Nach-Korrelation oder unzureichenden historischen Daten.
5. Mit anderen Techniken kombinieren: Für maximalen Nutzen verwenden Sie CUPED zusammen mit einem sorgfältigen Experimentdesign und Stichprobengrößen-Berechnungen.

Allerdings profitieren nicht alle Metriken gleichermaßen von CUPED …

Obwohl CUPED leistungsstark ist, variiert seine Wirksamkeit je nach Metriktyp:

• Am effektivsten für: Umsatz pro Nutzer, Sitzungsdauer, Artikel pro Bestellung und andere numerische Metriken mit hoher Varianz
• Weniger effektiv für: Binäre Conversion-Metriken (derzeit nicht in der Optimizely-Implementierung unterstützt)
• Erfordert besondere Beachtung: Metriken, die saisonalen Schwankungen unterliegen oder von externen Faktoren beeinflusst werden

Zusammenfassung

Durch die Reduzierung der Varianz und die Steigerung der statistischen Power hilft CUPED, das volle Potenzial von Experimentierprogrammen auszuschöpfen.

Wichtigste Erkenntnisse:

• Ergebnisse schneller erkennen: Rauschen herausfiltern und wesentliche Unterschiede zwischen Testgruppen aufdecken.
• Experiment-Bias minimieren: Testgruppen mithilfe vorhandener Daten ausbalancieren.
• Intelligentere Tests durchführen: Schneller mit weniger Daten zu Ergebnissen gelangen.
• Ihren Ergebnissen vertrauen: Klarere, datengestützte Erkenntnisse gewinnen.

Verbessern Sie Ihr Experimentieren mit den CUPED-Funktionen von Optimizely und reihen Sie sich ein in die Riege datengetriebener Unternehmen, die in kürzerer Zeit intelligentere Entscheidungen treffen.