CUPED

Vad är CUPED?

CUPED (Controlled-experiment Using Pre-Existing Data) är en statistisk metod som minskar variansen i A/B-tester, förbättrar deras känslighet och gör det enklare att upptäcka skillnader mellan grupper.

CUPED hjälper dig att köra smartare experiment som når slutsatser snabbare och med större säkerhet. Det innebär:

• Att använda data från före experimentet för att skapa ett mer precist mätramverk
• Att minska statistiskt brus för att synliggöra verkliga behandlingseffekter
• Att uppnå statistisk signifikans med mindre data när det finns en verklig effekt
• Att omvandla experimentering med högre precision och snabbare resultat

Bildkälla: Optimizely

Ledande företag som Netflix, Meta och Airbnb använder CUPED för att öka experimentkänsligheten och snabba upp inlärningscyklerna.

Varför är CUPED viktigt?

Genom att implementera CUPED i ditt experimenteringsprogram kan du:

• Nå statistisk signifikans snabbare med mindre urvalsstorlekar
• Upptäcka mindre effekter som traditionella metoder kan missa
• Köra fler experiment med din befintliga trafik
• Fatta datadrivna beslut med större säkerhet
• Övervinna vanliga utmaningar som hög metrisk varians och otillräcklig trafik

CUPED-exempel

Inom digital experimentering finns det alltid utrymme för förbättringar av statistisk effektivitet, och de bästa företagen förbättrar ständigt sina testmöjligheter för att få snabbare och mer tillförlitliga resultat.

Tänk dig att vi testar en annonskampanj och huruvida den ökar intäkterna eller inte:

• Testar om en ny annonskampanj ökar kundintäkterna
• 1 000 kunder uppdelade mellan kontroll- och behandlingsgrupper
• Intäktsdata från före experimentet tillgängligt för alla kunder

Så här ser resultaten ut i jämförelse.

Traditionell A/B-testning:

• 8 % intäktsökning observerad
• p-värde: 0,09 (inte statistiskt signifikant)

Med CUPED:

• Samma 8 % intäktsökning
• p-värde: 0,03 (statistiskt signifikant)
• Variansen minskad med 41 %

CUPED gör det möjligt för team att med säkerhet upptäcka samma effekt med samma urvalsstorlek genom att ta hänsyn till varje kunds köpmönster före experimentet.

Traditionell A/B-testning jämfört med CUPED

Hur CUPED fungerar

CUPED förbättrar dina testresultat genom att använda befintliga data för att minska variansen. Så här fungerar det:

1. Samla in historiska data: Samla in tidigare prestationsdata för utvalda mätvärden (kräver minst två veckors data före experimentet).
2. Bygg en prediktiv modell: Uppskatta hur resultaten skulle se ut om inga ändringar gjordes.
3. Justera experimentresultaten: Subtrahera den förutsagda baslinjen från observerade resultat mellan kontroll och varianter.
4. Få mer precisa insikter: Genom att minska befintlig varians ökar den statistiska känsligheten och konfidensintervallen stramas åt.

Den tekniska mekaniken involverar kovariansberäkningar och linjär regression, men i praktiken justerar CUPED automatiskt för befintliga skillnader mellan användare och fokuserar analysen på förändringar som sker efter behandlingen.

Användningsområden för CUPED

CUPED kan gynna många typer av experiment, särskilt mätvärden med hög varians:

• Förbättringar av intäktsmätvärden: Mät effekten av förändringar på mätvärden med hög varians som genomsnittligt ordervärde eller intäkt per användare mer exakt.
• Engagemangsoptimering: Upptäck meningsfulla skillnader i mätvärden för användarengagemang som sessionstid eller sidvisningar med mindre data.
• Hantering av kvotvärden: Förbättra precisionen för mätvärden som artiklar per order eller klick per användare med täljare/nämnare-struktur.
• Analys av segment med låg trafik: Öka den statistiska kraften vid analys av användarsegment med begränsade data, vilket gör det möjligt att köra meningsfulla experiment på specifika kundkohorter som annars skulle kräva orimligt stora urvalsstorlekar.

CUPED-implementering

Optimizely gör det enkelt att aktivera CUPED för dina experiment.

Vid implementering av CUPED:

• Kompatibla mätvärden: Fungerar endast med numeriska mätvärden (intäkter, engagemangstal etc.) snarare än binära konverteringsmätvärden.
• Data före experimentet: Endast beräkningar av de primära och sekundära målmåtten före experimentet används som kovariater.
• Plattformsstöd: Fungerar på stora datalager inklusive Snowflake, BigQuery och Databricks.
• Implementeringssteg: Aktiveras vanligtvis via en enkel växling i experimentkonfigurationsgränssnittet, utan behov av komplexa statistiska beräkningar från användaren.
• Datakrav: Kräver data före experimentet för de mätvärden som analyseras; har ingen effekt på nyligen skapade mätvärden utan historiska data.
• Förväntat resultat: Kan avsevärt minska variansen i experimentresultat och potentiellt minska kraven på urvalsstorlek med 30–50 % för mätvärden med stark korrelation till historiskt beteende.

Så här ser det ut med och utan CUPED.

Utan CUPED

Bildkälla: Optimizely

Med CUPED

Bildkälla: Optimizely

Bästa praxis för CUPED

Följ dessa bästa praxis vid implementering av CUPED:

1. Välj rätt mätvärden: CUPED fungerar bäst med numeriska mätvärden med hög varians som uppvisar korrelation mellan perioder före och efter experimentet.
2. Säkerställ tillräckliga historiska data: Minst två veckors data före experimentet behövs för effektiv variansreduktion.
3. Övervaka datakvaliteten: Säkerställ konsekvent spårning före och under experimentet.
4. Känn till begränsningarna: CUPED kanske inte hjälper vid nya funktioner, mätvärden med låg pre/post-korrelation eller otillräckliga historiska data.
5. Kombinera med andra tekniker: För maximal nytta, använd CUPED tillsammans med korrekt experimentdesign och beräkningar av urvalsstorlek.

Alla mätvärden drar dock inte lika stor nytta av CUPED...

Även om CUPED är kraftfullt varierar dess effektivitet beroende på typ av mätvärde:

• Mest effektivt för: Intäkt per användare, sessionstid, artiklar per order och andra numeriska mätvärden med hög varians
• Mindre effektivt för: Binära konverteringsmätvärden (stöds för närvarande inte i Optimizelys implementering)
• Kräver eftertanke: Mätvärden som påverkas av säsongsfluktuationer eller externa faktorer

Sammanfattning...

Genom att minska variansen och öka den statistiska kraften hjälper CUPED till att frigöra den fulla potentialen i experimenteringsprogram.

Viktiga slutsatser:

• Upptäck resultat snabbare: Filtrera bort brus och avslöja viktiga skillnader mellan testgrupper.
• Minimera experimentbias: Balansera testgrupper med hjälp av befintliga data.
• Kör smartare tester: Nå slutsatser snabbare med mindre data.
• Lita på dina resultat: Få tydligare, datadrivna insikter.

Förbättra din experimentering med Optimizelys CUPED-funktioner och anslut dig till de datadrivna organisationer som fattar smartare beslut på kortare tid.