CUPED

Was ist CUPED?

CUPED (Controlled-experiment Using Pre-Existing Data) ist eine statistische Methode, die die Varianz in A/B-Tests reduziert, ihre Sensitivität erhöht und die Erkennung von Unterschieden zwischen den Gruppen erleichtert.

Mit CUPED können Sie intelligentere Experimente durchführen, die schneller und mit größerer Sicherheit zu Ergebnissen führen. Es beinhaltet:

• Verwendung von Daten aus der Zeit vor dem Experiment, um einen präziseren Messrahmen zu schaffen
• Reduzierung des statistischen Rauschens, um die wahren Behandlungseffekte aufzudecken
• Erzielung statistischer Signifikanz mit weniger Daten, wenn es einen echten Effekt gibt
• Umgestaltung des Experimentierens mit höherer Präzision und schnelleren Ergebnissen

Bildquelle: Optimizely

Führende Unternehmen wie Netflix, Meta und Airbnb nutzen CUPED, um die Sensitivität von Experimenten zu erhöhen und die Lernzyklen zu beschleunigen.

Warum ist CUPED wichtig?

Wenn Sie CUPED in Ihr Experimentieren integrieren, können Sie:

• Mit kleineren Stichprobengrößen schneller statistische Signifikanz erreichen
• kleinere Effekte entdecken, die traditionellen Methoden entgehen könnten
• mehr Experimente mit Ihrem bestehenden Datenverkehr durchführen
• datengestützte Entscheidungen mit größerer Sicherheit treffen
• häufige Herausforderungen wie hohe metrische Varianz und unzureichender Datenverkehr überwinden

CUPED-Beispiel

Beim digitalen Experimentieren gibt es immer Raum für Verbesserungen bei der statistischen Effizienz, und die besten Unternehmen verbessern ständig ihre Funktionen zum Testen, um schnellere und zuverlässigere Ergebnisse zu erzielen.

Stellen Sie sich vor, wir testen eine Werbekampagne und ob sie den Umsatz erhöht oder nicht:

• Testen, ob eine neue Werbekampagne den Kundenumsatz steigert
• 1.000 Kunden, aufgeteilt in Kontroll- und Behandlungsgruppe
• Umsatzdaten vor dem Experiment für alle Kunden verfügbar

So sehen die Ergebnisse im Vergleich aus.

Traditionelles A/B-Testing:

• 8% Umsatzsteigerung beobachtet
• p-value: 0,09 (statistisch nicht signifikant)

Mit CUPED:

• Gleiche Umsatzsteigerung von 8%
• p-value: 0.03 (statistisch signifikant)
• Varianz um 41% reduziert

CUPED ermöglicht es den Teams, mit der gleichen Stichprobengröße den gleichen Effekt zu erzielen, indem das Ausgabeverhalten der Kunden vor dem Experiment berücksichtigt wird.

Traditionelles A/B-Testing vs. CUPED

Wie funktioniert CUPED?

CUPED verbessert Ihre Testergebnisse, indem es bereits vorhandene Daten nutzt, um die Varianz zu verringern. Und so funktioniert es:

1. Sammeln Sie historische Daten: Sammeln Sie frühere Leistungsdaten für ausgewählte Metriken (mindestens zwei Wochen Daten vor dem Experiment erforderlich).
2. Erstellen Sie ein Vorhersagemodell: Schätzen Sie ab, wie die Ergebnisse aussehen würden, wenn keine Änderungen vorgenommen würden.
3. Passen Sie die Ergebnisse des Experiments an: Ziehen Sie die vorhergesagte Basislinie von den beobachteten Ergebnissen zwischen Kontrolle und Varianten ab.
4. Erhalten Sie genauere Einblicke: Die Verringerung der bereits vorhandenen Varianz erhöht die statistische Sensitivität und verengt die Konfidenzintervalle.

Die technische Mechanik umfasst Kovarianzberechnungen und lineare Regression, aber in der Praxis passt CUPED automatisch die bereits bestehenden Unterschiede zwischen den Nutzern an und konzentriert die Analyse auf Veränderungen, die nach der Behandlung auftreten.

CUPED Anwendungsfälle

CUPED kann für viele Arten von Experimenten von Nutzen sein, insbesondere für Metriken mit hoher Varianz:

• Verbesserungen der Umsatzmetriken: Messen Sie die Auswirkungen von Änderungen auf hochvariable Kennzahlen wie den durchschnittlichen Bestellwert oder den Umsatz pro Nutzer genauer.
• Optimierung des Engagements: Erkennen Sie mit weniger Daten aussagekräftige Unterschiede bei Metriken zur Nutzerbindung wie Sitzungsdauer oder Seitenaufrufe.
• Umgang mit Verhältnismetriken: Verbessern Sie die Genauigkeit von Metriken wie Artikel pro Bestellung, Klicks pro Benutzer mit Zähler/Nenner-Struktur.
• Analyse von Segmentierungen mit geringem Traffic: Erhöhen Sie die statistische Aussagekraft bei der Analyse von Nutzersegmenten mit begrenzten Daten. So können Sie aussagekräftige Experimente mit bestimmten Kundenkohorten durchführen, für die andernfalls zu große Stichprobengrößen erforderlich wären.

CUPED-Implementierung

Optimizely macht es Ihnen leicht, CUPED für Ihre Experimente zu aktivieren.

Bei der Implementierung von CUPED:

• Kompatible Metriken: Funktioniert nur mit numerischen Metriken (Umsatz, Engagementzahlen usw.) und nicht mit binären Conversion-Metriken.
• Daten vor dem Experiment: Nur Berechnungen der primären und sekundären Targeting-Metriken vor dem Experiment werden als Kovariaten verwendet.
• Plattform-Unterstützung: Funktionen für die wichtigsten Data Warehouses, einschließlich Snowflake, BigQuery und Databricks.
• Implementierungsschritte: Wird in der Regel durch einen einfachen Schalter in der Konfigurationsoberfläche des Experiments aktiviert und erfordert keine komplexen statistischen Berechnungen durch den Benutzer.
• Datenanforderungen: Erfordert Daten aus der Zeit vor dem Experiment für die zu analysierenden Metriken; hat keine Auswirkungen auf neu erstellte Metriken ohne historische Daten.
• Erwartetes Ergebnis: Die Streuung der Ergebnisse von Experimenten kann erheblich reduziert werden. Bei Metriken mit einer starken Korrelation zum historischen Verhalten können die Anforderungen an die Stichprobengröße um 30-50% gesenkt werden.

Hier sehen Sie, wie es mit und ohne CUPED aussieht.

Ohne CUPED

Bildquelle: Optimizely

Mit CUPED

Bildquelle: Optimizely

CUPED Erfolgsmethoden

Beachten Sie bei der Implementierung von CUPED die folgenden Erfolgsmethoden:

1. Wählen Sie die richtigen Metriken: CUPED funktioniert am besten mit numerischen Metriken mit hoher Varianz, die eine Korrelation zwischen den Zeiträumen vor und nach dem Experiment aufweisen.
2. Sorgen Sie für ausreichende historische Daten: Für eine wirksame Varianzreduzierung sind Daten aus der Zeit vor dem Experiment erforderlich, die mindestens zwei Wochen umfassen.
3. Überwachen Sie die Datenqualität: Sorgen Sie für eine konsistente Verfolgung vor und während des Experiments.
4. Kennen Sie die Grenzen: CUPED hilft möglicherweise nicht bei neuen Merkmalen, Metriken mit geringer Prä/Post-Korrelation oder unzureichenden historischen Daten.
5. Kombinieren Sie mit anderen Techniken: Um den größtmöglichen Nutzen zu erzielen, sollten Sie CUPED zusammen mit einem angemessenen Experimentieren und der Berechnung der Stichprobengröße einsetzen.

Allerdings profitieren nicht alle Metriken gleichermaßen von CUPED...

CUPED ist zwar leistungsstark, aber je nach Art der Metrik unterschiedlich effektiv:

• Am effektivsten für: Umsatz pro Benutzer, Sitzungsdauer, Artikel pro Bestellung und andere numerische Metriken mit hoher Varianz
• Weniger effektiv für: Binäre Conversion-Kennzahlen (derzeit in der Implementierung von Optimizely nicht unterstützt)
• Erfordert Berücksichtigung: Metriken, die saisonale Schwankungen aufweisen oder von externen Faktoren beeinflusst werden

Zusammenfassend...

Durch die Verringerung der Varianz und die Erhöhung der statistischen Aussagekraft hilft CUPED, das volle Potenzial von Programmen zum Experimentieren zu erschließen.

Die wichtigsten Erkenntnisse:

• Erkennen Sie Ergebnisse schneller: Filtern Sie das Rauschen heraus und decken Sie wichtige Unterschiede zwischen den Testgruppen auf.
• Minimieren Sie die Verzerrung von Experimenten: Gleichen Sie die Testgruppen anhand bereits vorhandener Daten aus.
• Führen Sie intelligentere Tests durch: Kommen Sie mit weniger Daten schneller zu Ergebnissen.
• Vertrauen Sie Ihren Ergebnissen: Erhalten Sie klarere, datengestützte Erkenntnisse.

Verbessern Sie Ihr Experimentieren mit den CUPED-Funktionen von Optimizely und nehmen Sie an den Reihen der datengesteuerten Unternehmen teil, die in kürzerer Zeit intelligentere Entscheidungen treffen.