Vad är CUPED?
CUPED (Controlled-experiment Using Pre-Existing Data) är en statistisk metod som minskar variansen i A/B-testningar, vilket ökar deras känslighet och gör det lättare att upptäcka skillnader mellan grupper.
CUPED hjälper dig att köra smartare experiment som når slutsatser snabbare och med större säkerhet. Det innebär att:
- Använda data från före experimentet för att skapa ett mer exakt mätramverk
- Minska det statistiska bruset för att avslöja verkliga behandlingseffekter
- Uppnå statistisk signifikans med mindre data när det finns en verklig effekt
- Förändra experimentering med högre precision och snabbare resultat
Bildkälla: Optimizely
Ledande företag som Netflix, Meta och Airbnb använder CUPED för att öka känsligheten för experiment och påskynda inlärningscykler.
Varför är CUPED viktigt?
Genom att implementera CUPED i ditt program för experimentering kan du
- Uppnå statistisk signifikans snabbare med mindre urvalsstorlekar
- Upptäcka mindre effekter som traditionella metoder kanske missar
- Utföra fler experiment med din befintliga trafik
- Fatta datadrivna beslut med större självförtroende
- Övervinna vanliga utmaningar som hög metrisk varians och otillräcklig trafik
Exempel på CUPED
Inom digital experimentering finns det alltid utrymme för förbättringar av den statistiska effektiviteten, och de bästa företagen förbättrar ständigt sina funktioner för att få snabbare och mer tillförlitliga resultat.
Tänk att vi testar en annonskampanj och om den ökar intäkterna eller inte:
- Test av om en ny annonskampanj ökar kundintäkterna
- 1 000 kunder fördelas mellan kontroll- och behandlingsgrupp
- Intäktsdata före experimentet tillgängliga för alla kunder
Här är hur resultaten jämförs.
Traditionell A/B-testning:
- 8% ökade intäkter observerade
- p-värde: 0,09 (inte statistiskt signifikant)
Med CUPED:
- Samma intäktsökning på 8
- p-värde: 0,03 (statistiskt signifikant)
- Variansen minskad med 41%.
CUPED gör det möjligt för team att med säkerhet upptäcka samma effekt med samma urvalsstorlek genom att ta hänsyn till varje kunds utgiftsmönster före experimentet.
Traditionell A/B-testning jämfört med CUPED
| Traditionell A/B-testning | CUPED-förbättrad A/A-testning | |
| Data före experimentet | Används inte | Används som en kovariat |
| Metrisk varians | Högre | Minskad |
| Provets storlek | Större krävs | Mindre tillräcklig |
| Hastighet till signifikans | Långsammare | Snabbare |
| Upptäckt av effekter | Kan missa små skillnader | Kan avslöja subtila skillnader |
Hur CUPED fungerar
CUPED förbättrar dina testresultat genom att använda redan befintliga data för att minska variansen. Så här fungerar det:
- Samla in historiska data: Samla in tidigare prestandadata för utvalda mätvärden (kräver minst två veckors data före experimentet).
- Bygg en prediktiv modell: Uppskatta hur resultaten skulle se ut om inga förändringar gjordes.
- Justera resultaten av experimentet: Subtrahera den förutsagda baslinjen från de observerade resultaten mellan kontroll och varianter.
- Få mer exakta insikter: Minskad befintlig varians ökar den statistiska känsligheten och gör konfidensintervallen snävare.
Den tekniska mekaniken involverar kovariansberäkningar och linjär regression, men i praktiken justerar CUPED automatiskt för befintliga skillnader mellan användare och fokuserar analysen på förändringar som inträffar efter behandlingen.
Användningsfall för CUPED
CUPED kan gynna många typer av experiment, särskilt mätvärden med hög varians:
- Förbättringar av intäktsmätningar: Mät mer exakt effekten av förändringar på mätvärden med hög varians, som genomsnittligt ordervärde eller intäkt per användare.
- Optimering av engagemang: Upptäck meningsfulla skillnader i mätvärden för användarengagemang, som sessionstid eller sidvisningar, med mindre data.
- Hantering av nyckeltal: Förbättra precisionen i mätvärden som artiklar per order, klick per användare med täljare/nominator-struktur.
- Analys av segmentering med låg trafik: Öka den statistiska kraften när du analyserar användarsegment med begränsade data, vilket gör det möjligt att köra meningsfulla experiment på specifika kundkohorter som annars skulle kräva alltför stora urvalsstorlekar.
CUPED-implementering
Optimizely gör det enkelt att aktivera CUPED för dina experiment.
När du implementerar CUPED:
- Kompatibla mätvärden: Fungerar endast med numeriska mätvärden (intäkter, antal engagemang etc.) snarare än binära mätvärden för konvertering.
- Data före experimentet: Endast beräkningar före experimentet av de primära och sekundära målgruppsinriktningarna används som kovariater
- Stöd för plattformar: Funktioner på större datalager, inklusive Snowflake, BigQuery och Databricks.
- Steg för implementering: Aktiveras vanligtvis genom en enkel växling i konfigurationsgränssnitt för experiment, vilket inte kräver några komplexa statistiska beräkningar från användaren.
- Krav på data: Kräver data före experimentet för de mätvärden som analyseras; har ingen effekt på nyskapade mätvärden utan historiska data.
- Förväntat resultat: Kan avsevärt minska variansen i resultaten från experimentet och potentiellt minska kraven på urvalsstorlek med 30-50 % för mätvärden med en stark korrelation till historiskt beteende.
Så här ser det ut med och utan CUPED.
Utan CUPED
Bildkälla: Optimizely
Med CUPED
Bildkälla: Optimizely
Bästa praxis för CUPED
Följ dessa bästa praxis när du implementerar CUPED:
- Välj rätt mätvärden: CUPED fungerar bäst med numeriska mätvärden med hög varians som visar en korrelation mellan perioderna före och efter experimentet.
- Säkerställ tillräcklig historisk data: Minst två veckors data före experimentet behövs för effektiv minskning av variansen.
- Övervaka datakvaliteten: Säkerställ konsekvent spårning före och under experimentet.
- Känn till begränsningarna: CUPED kanske inte hjälper med nya funktioner, mätvärden med låg korrelation före och efter eller otillräckliga historiska data.
- Kombinera med andra tekniker: För maximal nytta bör du använda CUPED tillsammans med korrekt experimentering och beräkning av urvalsstorlek.
Men inte alla mätvärden drar lika stor nytta av CUPED...
CUPED är en kraftfull teknik, men dess effektivitet varierar beroende på typ av mätning:
- Mest effektiv för: Intäkter per användare, sessionslängd, artiklar per order och andra numeriska mätvärden med hög varians
- Mindre effektiv för: Binära konverteringsmått (stöds för närvarande inte i Optimizely's implementering)
- Kräver övervägande: Mätvärden som upplever säsongsbetonade fluktuationer eller påverkas av externa faktorer
För att sammanfatta...
Genom att minska variansen och öka den statistiska styrkan hjälper CUPED till att frigöra den fulla potentialen i program för experimentering.
Att ta med sig:
- Upptäck resultat snabbare: Filtrera bort brus och upptäck viktiga skillnader mellan testgrupper.
- Minimera partiskhet i experimentet: Balansera testgrupper med hjälp av befintliga data.
- Kör smartare tester: Nå slutsatser snabbare med mindre data.
- Lita på dina resultat: Få tydligare, dataunderstödda insikter.
Förbättra din experimentering med Optimizely's CUPED-funktioner och delta i raden av datadrivna organisationer som fattar smartare beslut på kortare tid.