En røykvarsler for eksperimentene dine: Vi introduserer Optimizelys automatiske deteksjon av uoverensstemmelser i prøveforholdet

Optimizely Experiments automatiske SRM-deteksjon (Sample Ratio Mismatch) gir trygghet for eksperimenterende. Den reduserer brukerens eksponeringstid for dårlige erfaringer ved at den raskt oppdager eventuelle forringelser av eksperimentet.

Denne forverringen skyldes uventet ubalanse mellom besøkende og en variasjon i et eksperiment. Det viktigste er at denne automatiske SRM-deteksjonen gir produktsjefer, markedsførere, ingeniører og eksperimenteringsteam muligheten til å lansere flere eksperimenter med selvtillit.

Hvordan Optimizely Experiments statistikkmotor og automatisk deteksjon av misforhold i samplingsfrekvensen fungerer sammen

Utvalgsraten fungerer som dørvakten ved døren som har en mekanisk teller, sjekker gjestenes billetter (brukere) og forteller dem hvilket rom de får feste i.

Statistikkmotoren er som festverten som alltid sjekker stemningen (oppførselen) til gjestene etter hvert som folk kommer inn i rommet.

Hvis SRM gjør jobben sin riktig, kan statistikkmotoren med sikkerhet fortelle hvilket festrom som er best, og lede mer trafikk til den vinnende varianten (den beste festen) tidligere.

Hvorfor vil jeg ha Optimizely Experiments SRM-deteksjon?

Det er like viktig å sikre at Optimizely Experiment-brukere vet at eksperimentresultatene deres er pålitelige, og at de har verktøyene de trenger for å forstå hva en ubalanse kan bety for resultatene deres og hvordan de kan forhindre det.

Optimizely Experiment går enda lenger ved å kombinere automatisk deteksjon av ubalanse hos besøkende med en innsiktsfull indikator for eksperimentets tilstand. Denne indikatoren fungerer dobbelt ved å fortelle kundene våre når alt er i orden og det ikke er noen ubalanse til stede.

Når det er behov for innsikt i rett tid for å beskytte forretningsbeslutningene dine, leverer Optimizely også just-in-time-varsler som hjelper kundene våre med å gjenkjenne alvorlighetsgraden av, diagnostisere og gjenopprette etter feil.

Hvorfor bør jeg bry meg om sample ratio mismatch (SRM)?

På samme måte som feber er et symptom på mange sykdommer, er SRM et symptom på en rekke ulike datakvalitetsproblemer. Hvis man ignorerer en SRM uten å kjenne årsaken, kan det føre til at en dårlig funksjon ser ut til å være god og blir sendt ut til brukerne, eller omvendt. Hvis du finner et eksperiment med en ukjent kilde til ubalanse i trafikken, kan du raskt slå det av og redusere eksplosjonsradiusen.

Hva er så sammenhengen mellom "mismatch" og "sample ratio"?

Når vi gjør oss klare til å lansere et eksperiment, tildeler vi en trafikkfordeling av brukere som Optimizely Experiment skal distribuere til hver variant. Vi forventer at den tildelte trafikkfordelingen stemmer rimelig godt overens med den faktiske trafikkfordelingen i et live-eksperiment. Et eksperiment er utsatt for en SRM-ubalanse når det er en statistisk signifikant forskjell mellom den forventede og den faktiske tildelte trafikkfordelingen av besøkende til et eksperiments variasjoner.

1. En uoverensstemmelse betyr ikke en ufullkommen match

Husk på dette: En bonifisert ubalanse krever et statistisk signifikant resultat av forskjellen i antall besøkende. Ikke forvent en perfekt, identisk og nøyaktig match mellom trafikkfordelingen på lanseringsdagen og trafikkfordelingen i produksjon. Det vil alltid være et aldri så lite avvik.

Ikke alle trafikkforskjeller betyr automatisk at et eksperiment er ubrukelig. Fordi Optimizely setter stor pris på kundenes tid og energi, har vi utviklet en ny statistisk test som kontinuerlig overvåker eksperimentresultatene og oppdager skadelige SRM-er så tidlig som mulig. Alt mens vi fortsatt kontrollerer for falske positive resultater (også kjent som når vi konkluderer med at det er en overraskende forskjell mellom en testvariant og baseline når det ikke er noen reell forskjell).

2. Under panseret på Optimizely Experiments SRM-deteksjonsalgoritme

Optimizely Experiments automatiske SRM-deteksjonsfunksjon bruker en sekvensiell Bayesiansk multinomisk test (si det 5 ganger fort!), kalt sekvensiell sample ratio mismatch. Optimizely-statistikerne Michael Lindon og Alen Malek har utviklet denne metoden, og den er et nytt bidrag til fagfeltet sekvensiell statistikk. Optimizely Experiments sample ratio mismatch-deteksjon harmoniserer sekvensiell og bayesiansk metodikk ved å kontinuerlig sjekke trafikktellinger og teste om det er betydelig ubalanse i besøkstallene for en variasjon. Algoritmen er Bayesiansk inspirert for å ta høyde for at et eksperiment kan stoppes og fortsette, samtidig som den gir sekvensielle garantier for type I-feilsannsynligheter.

3. Pass deg for chi-eap-alternativer!

De mest populære fritt tilgjengelige SRM-kalkulatorene bruker kjikvadrattesten. Vi anbefaler på det sterkeste en nøye gjennomgang av mekanikken i kjikvadrattester. Hovedproblemet med kjikvadratmetoden er at problemer først oppdages etter at alle dataene er samlet inn. Dette er uten tvil altfor sent, og det strider mot grunnen til at de fleste kunder ønsker SRM-etterforskning i utgangspunktet. I blogginnlegget vårt "En bedre måte å teste for misforhold i utvalgsforhold (eller hvorfor jeg ikke bruker en kjikvadrattest)" går vi dypere inn i khikvadratmekanikken og hvordan det vi har bygget opp, dekker hullene som alternativene etterlater.

Vanlige årsaker til SRM

1. Omdirigeringer og forsinkelser

En SRM skyldes vanligvis at noen besøkende avslutter og forlater siden før viderekoblingen er ferdig. Ettersom vi bare sender beslutningshendelsene når de kommer til siden og Optimizely Experiment lastes inn, kan vi ikke telle disse besøkende på resultatsiden vår med mindre de kommer tilbake på et tidspunkt og sender en hendelse til Optimizely Experiment.

En SRM kan oppstå ved alt som kan føre til at Optimizely Experiments hendelsesanrop forsinkes eller ikke utløses, for eksempel endringer i variasjonskoden. Det kan også oppstå når redirect-eksperimenter sender besøkende til et annet domene. Denne hendelsen forverres av trege tilkoblingstider.

2. Tvangsbucketing

Hvis en bruker først blir bucketet i eksperimentet, og denne avgjørelsen deretter brukes til å tvangsbuckete vedkommende i et påfølgende eksperiment, vil resultatene av det påfølgende eksperimentet bli ubalanserte.

Her er et eksempel:

Variasjon A gir en helt annen brukeropplevelse enn variasjon B.

Besøkende som er plassert i variant A, får en flott opplevelse, og mange av dem fortsetter å logge inn og havner i det påfølgende eksperimentet der de blir tvangsplassert i variant A.

Men de besøkende som ble plassert i variant B, har ikke en god opplevelse. Bare noen få brukere logger seg på og havner i et påfølgende eksperiment der de blir tvangsbucket inn i variant B.

Nå har du mange flere besøkende i variant A enn i variant B.

3. Nettstedet har sine egne viderekoblinger

Noen nettsteder har egne viderekoblinger (for eksempel 301) som, kombinert med våre viderekoblinger, kan føre til at en besøkende lander på en side uten snippet. Dette fører til at ventende beslutningshendelser blir låst i localStorage, og Optimizely Experiment mottar eller teller dem aldri.

4. API-kall for hold/send-hendelser er plassert utenfor utdraget

Noen brukere inkluderer hold/send-hendelser i prosjekt-JS. Andre inkluderer dem imidlertid i andre skript på siden, for eksempel i leverandørbunter eller analysesporingsskript. Dette representerer enda et skript som må lastes inn på riktig måte for at beslutningene skal utløses på riktig måte. Implementering eller innlastingshastighet kan variere fra variant til variant, spesielt når det gjelder viderekoblinger.

Er duinteressert ?

Hvis du allerede er Optimizely Experiment-kunde og ønsker å lære mer om hvordan automatisk SRM-deteksjon er til fordel for dine A/B-tester, kan du sjekke ut dokumentasjonen i kunnskapsbasen vår:

• Optimizely Experiments automatiske SRM-deteksjon (Sample Ratio Mismatch) oppdager tidlig forringelse av eksperimentet
• Ubalanse oppdaget:Hva du skal gjøre hvis Optimizely Experiments automatiske SRM-deteksjon varsler deg om en ubalanse.

For mer informasjon kan du alltid ta kontakt med kundesuksessansvarlig, men ta deg tid til å lese dokumentasjonen vår først!

Hvis du ikke er kunde, kan du komme i gang med oss her!

Og hvis du vil gå dypere inn i motoren som driver Optimizely-eksperimenteringen, kan du sjekke ut siden vår Raskere beslutninger du kan stole på når det gjelder digitale eksperimenter.