CUPED: Å redusere variansen i A/B-testing er ikke nytt, men de fleste gjør det feil

TID...

er årsaken til at veldesignede eksperimenter noen ganger ikke oppnår statistisk signifikans.

Mange A/B-tester havner på kirkegården for "ikke-konklusive" tester, rett under signifikansgrensen. På grunn av treg datainnsamling og høy varians i beregningene kan det være frustrerende vanskelig å oppdage reelle effekter i redesignet av nettstedet eller prisstrategien din.

Hva om du kunne stramme inn konfidensintervallene og øke den statistiske styrken i eksperimentene dine ved hjelp av data du allerede har?

Det er her CUPED kommer inn i bildet. Det står for Controlled-experiment Using Pre-Existing Data, en statistisk tilnærming for å redusere variansen.

Bildekilde: Optimizely

Og det beste av alt? Du kan også bruke det! La oss se hvordan. 👇

Effektivitetsgapet ved eksperimentering

Utfordringen med å velge riktig tidspunkt for eksperimentering varierer fra bransje til bransje:

• Netthandelsnettsteder kjører vanligvis tester i flere uker
• SaaS-produkter krever ofte lengre perioder med tester
• Mediesider kan se raskere resultater på grunn av høyere trafikkvolum

Og det er hvis de i det hele tatt konkluderer. Mange blir rett og slett forlatt når resultatene ikke er entydige.

Hvorfor skjer dette? Tre hovedårsaker:

1. Høy varians i beregningsdata: Engasjementsmålingene svinger naturlig nok mye fra bruker til bruker, noe som gjør det vanskelig å få øye på de virkelige effektene.
2. Begrenset trafikk: Ikke alle selskaper er Google. De fleste bedrifter sliter med å få nok brukere gjennom et eksperiment.
3. Mulighetskostnader: Hver uke et eksperiment pågår, er en uke du utsetter beslutninger og potensielle forbedringer. Lengre eksperimenter betyr færre tester du kan kjøre i løpet av en gitt tidsramme, noe som reduserer den samlede læringshastigheten og produktutviklingen.

Høy varians i en måling krever et større utvalg for å oppnå statistisk signifikans, noe som kan ta flere uker med tanke på besøkstrafikken. Når målingene svinger mye mellom brukerne, trenger du mer data for å kunne skille mellom ekte forskjeller og rene tilfeldigheter.

CUPED utgjør en avgjørende forskjell ved å redusere denne variansen ved hjelp av data fra før-eksperimentet. Dette gjør at du kan oppnå statistisk signifikans med mindre utvalgsstørrelser og trekke ut tydeligere signaler fra dataene du allerede har, i stedet for bare å samle inn mer.

Dette forvandler en smertefullt treg læringssyklus til et mer effektivt eksperimenteringsprogram. Det er dette gapet i eksperimenteringseffektiviteten som CUPED bidrar til å bygge bro over.

La oss se nærmere på hvor CUPED kommer fra og hvordan det fungerer.

Hvordan CUPED gjør eksisterende data om til raskere gevinster

Microsoft Research publiserte en artikkel i 2013 som introduserte CUPED: Controlled-experiment Using Pre-Existing Data (kontrollert eksperiment med eksisterende data).

En statistisk metode som gjør A/B-tester mer effektive ved å bruke data du allerede har.

Tidlige brukere hos Microsoft rapporterte om betydelige forbedringer i testene sine. Selskaper som Netflix og Airbnb har siden implementert lignende tilnærminger med imponerende resultater.

Det som gjør CUPED annerledes, er den elegante enkelheten. Den bruker data fra før eksperimentet som en kovariat for å redusere variansen i målingene dine.

Hvis du ønsker å måle hvordan en ny funksjon påvirker brukernes forbruk, ville det ikke vært nyttig å ta hensyn til hvor mye brukerne brukte før eksperimentet?

Det er akkurat slik CUPED filtrerer bort støyen, slik at du kan se signalet tydeligere.

For å virkelig sette pris på CUPEDs verdi, må vi forstå dens nemesis, også kjent som varians.

Varians er grunnen til at to tilsynelatende identiske brukere kan ha vidt forskjellig atferd:

• En bruker 10 dollar på nettstedet ditt
• En annen bruker 150 dollar
• Og du prøver å oppdage en forbedring på 5 % i gjennomsnittlig ordreverdi

Ser du problemet?

Med naturlig høy varians i målinger som inntekter eller engasjement, blir små behandlingseffekter begravd under fjell av statistisk støy. Det er som å prøve å høre en hvisking på en rockekonsert.

CUPED fungerer ved at data fra før eksperimentet inkorporeres som en kovariat i analysen.

Det er denne innstrammingen av konfidensintervallene som gjør CUPED så effektiv. Samme data og samme effektstørrelse, men plutselig kan du se den.

Nå som vi forstår hvordan CUPED fungerer, skal vi se på hvor det gir størst effekt.

Ikke alle målinger drar like stor nytte av CUPED...

Her er det du trenger å vite:

1. Spesielle hensyn: Inntektsmålinger

Inntektsmålinger har ofte ekstremt høy varians. Noen brukere kan bruke 5 dollar, mens andre bruker 500 dollar.

Når CUPED brukes på inntektsmålinger, ser CUPED etter en korrelasjon mellom tidligere forbruk og nåværende forbruk. CUPED vil derfor ikke være effektiv for nye brukere, der vi ikke har data om tidligere forbruk.

En vanlig implementeringsfeil er å bruke kovariater som påvirkes av behandlingen, noe som kan føre til skjeve resultater. En beste praksis er å velge kovariater som måles før eksperimentet starter.

2. Når du bør bruke CUPED

✅ Best for: Numeriske beregninger med høy varians

• Inntekt per besøkende
• Gjennomsnittlig ordreverdi
• Øktens varighet

Disse beregningene får størst forbedring med CUPED fordi de vanligvis har

• Høy naturlig varians mellom brukerne
• Sterk korrelasjon mellom verdiene før og under eksperimentet

🚫 Mindre effektiv for: Binære konverteringsmålinger

• Konverteringsfrekvens (ja/nei)
• Klikkfrekvens (klikk/ikke klikk)

Slik slår du på CUPED-bryteren i Optimizely

Optimizely gjør det enkelt å bruke CUPED:

• Kompatible beregninger: Fungerer med numeriske beregninger (inntekter, antall engasjementer), men ikke binære konverteringsberegninger
• Data fra preeksperimentet: Bruker preeksperimentverdier av målverdiene dine som kovariater
• Støttes i Optimizely Analytics: Funksjoner på Snowflake, BigQuery og Databricks
• Implementering: Enkel veksling i eksperimentinnstillingene, ingen komplekse beregninger er nødvendig
• Krav til data: Trenger historiske data for analyserte beregninger; ingen effekt på nye beregninger uten historikk
• Forventet resultat: Reduserer variansen, noe som potensielt kan redusere kravene til utvalgsstørrelse for beregninger som er korrelert med historisk atferd

Slik ser det ut med og uten CUPED.

Uten CUPED

Bildekilde: Optimizely

Med CUPED er det en forskjell i lengden på konfidensintervallet.

Bildekilde: Optimizely

Tre lærdommer...

Fremtidens eksperimenter handler ikke bare om å kjøre flere tester, men om å kjøre smartere tester. CUPED er ditt første skritt i den retningen.

1. Økt effektivitet: Du har større sjanse for å se signifikante resultater med samme utvalgsstørrelse.
2. Ikke alle beregninger har like store fordeler: Fokuser CUPED-implementeringen på numeriske beregninger med høy varians, der du vil se de største gevinstene.
3. Implementeringskompleksiteten varierer: Det finnes ulike måter å implementere CUPED på, og ulike kovariater som kan velges. Optimizelys implementering bruker historiske måledata, noe som passer de fleste av våre kunders brukstilfeller.

Klar til å kjøre smartere tester?

Begynn med å identifisere én høyvariansmåling i eksperimenteringsprogrammet ditt. Kjør en sammenligning side om side mellom den tradisjonelle analysen og en CUPED-forbedret test.

Du vil sannsynligvis se strammere konfidensintervaller, klarere resultater og potensielt oppnå statistisk signifikans for en test som ellers ikke ville ha vært konklusiv.

Veien til mer effektive eksperimenter begynner med dette enkle trinnet. I fremtiden vil du lure på hvordan du kunne teste uten dette.