En brandvarnare för dina experiment: Vi introducerar Optimizelys automatiska detektering av avvikande urvalsförhållande

Optimizely Experiments automatiska detektering av avvikande urvalsförhållande (SRM) ger experimenterare sinnesro. Den minskar användarens exponeringstid för dåliga upplevelser genom att snabbt upptäcka eventuell försämring av ett experiment.

Denna försämring orsakas av oväntade obalanser i besökare till en variant i ett experiment. Allra viktigast är att denna automatiska SRM-detektering ger produktchefer, marknadsförare, ingenjörer och experimenteringsteam möjlighet att tryggt lansera fler experiment. 

Det avvikande urvalsförhållandet fungerar som dörrvakten med en mekanisk räknare, som kontrollerar gästernas biljetter (användare) och talar om för dem vilket rum de får festa i.

Stats Engine är som festvärden som hela tiden känner av stämningen (beteendet) hos gästerna allteftersom folk kommer in i rummet.

Om SRM sköter sitt jobb rätt kan Stats Engine med säkerhet avgöra vilket festrum som är bäst och snabbare leda mer trafik till den vinnande varianten (den bättre festen).

Det är lika viktigt att se till att användare av Optimizely Experiment vet att deras experimentresultat är pålitliga och har verktygen för att förstå vad en obalans kan innebära för deras resultat och hur den kan förebyggas.

På ett unikt sätt går Optimizely Experiment ännu längre genom att kombinera kraften i automatisk detektering av obalans bland besökare med en insiktsfull hälsoindikator för experimentet. Denna hälsoindikator för experimentet fyller dubbel funktion genom att låta våra kunder veta när allt står rätt till och ingen obalans föreligger.

När insikt i precis rätt tid behövs för att skydda dina affärsbeslut levererar Optimizely även aviseringar i precis rätt tid som hjälper våra kunder att känna igen allvaret i, diagnostisera och återhämta sig från fel.

Precis som feber är ett symptom på många sjukdomar är en SRM ett symptom på en rad olika datakvalitetsproblem. Att ignorera en SRM utan att känna till grundorsaken kan leda till att en dålig funktion verkar bra och skickas ut till användarna, eller tvärtom. Att hitta ett experiment med en okänd källa till trafikobalans gör att du snabbt kan stänga av det och minska skadeområdet.

När vi gör oss redo att lansera ett experiment tilldelar vi en trafikfördelning av användare som Optimizely Experiment ska distribuera till varje variant. Vi förväntar oss att den tilldelade trafikfördelningen rimligt väl stämmer överens med den faktiska trafikfördelningen i ett live-experiment. Ett experiment utsätts för en SRM-obalans när det finns en statistiskt signifikant skillnad mellan de förväntade och de faktiskt tilldelade trafikfördelningarna av besökare till ett experiments varianter.

Kom ihåg: En reell obalans kräver ett statistiskt signifikant resultat av skillnaden i besökare. Förvänta dig inte en perfekt, identisk, exakt matchning mellan lanseringsdagens trafikfördelning och din trafikfördelning i produktion. Det kommer alltid att finnas en pytteliten avvikelse.

Inte varje trafikavvikelse betyder automatiskt att ett experiment är värdelöst. Eftersom Optimizely värdesätter våra kunders tid och energi högt utvecklade vi ett nytt statistiskt test som kontinuerligt övervakar experimentresultaten och upptäcker skadliga SRM:er så tidigt som möjligt. Allt medan vi fortfarande kontrollerar för att ropa varg om falska positiva resultat (det vill säga när vi drar slutsatsen att det finns en överraskande skillnad mellan en testvariant och baslinjen när det egentligen inte finns någon reell skillnad). 

Optimizely Experiments automatiska SRM-detekteringsfunktion använder ett sekventiellt bayesianskt multinomiellt test (säg det fem gånger snabbt!), kallat sequential sample ratio mismatch. Optimizely-statistikerna Michael Lindon och Alen Malek var pionjärer för denna metod, och den är ett nytt bidrag till området sekventiell statistik. Optimizely Experiments detektering av avvikande urvalsförhållande förenar sekventiella och bayesianska metoder genom att kontinuerligt kontrollera trafiksiffror och testa för eventuell signifikant obalans i en variants antal besökare. Algoritmens konstruktion är bayesianskt inspirerad för att ta hänsyn till ett experiments valfria avbrott och fortsättning, samtidigt som den levererar sekventiella garantier för sannolikheten för typ I-fel.

De mest populära fritt tillgängliga SRM-kalkylatorerna använder chi-tvåtestet. Vi rekommenderar starkt en noggrann genomgång av mekaniken bakom chi-tvåtestning. Huvudproblemet med chi-tvåmetoden är att problem upptäcks först efter att all data har samlats in. Detta är onekligen alldeles för sent och strider mot varför de flesta kunder vill ha SRM-detektering från första början. I vårt blogginlägg ”A better way to test for sample ratio mismatches (or why I don’t use a chi-squared test)” går vi djupare in på chi-tvåmekaniken och hur det vi har byggt täcker de luckor som alternativen lämnar efter sig.

En SRM beror vanligtvis på att vissa besökare stänger och lämnar sidan innan omdirigeringen hinner slutföras. Eftersom vi bara skickar beslutshändelserna när de når sidan och Optimizely Experiment läses in, kan vi inte räkna dessa besökare på vår resultatsida om de inte återvänder vid något tillfälle och skickar en händelse till Optimizely Experiment.

En SRM kan uppstå vid allt som skulle få Optimizely Experiments händelseanrop att fördröjas eller inte utlösas, såsom ändringar i variantkod. Det inträffar även när omdirigeringsexperiment skickar besökare till en annan domän. Denna företeelse förvärras av långsamma anslutningstider.

Om en användare först placeras (buckets) i experimentet och det beslutet sedan används för att tvångsplacera dem i ett efterföljande experiment, blir resultaten av det efterföljande experimentet obalanserade.

Här är ett exempel:

Variant A ger en helt annan användarupplevelse än variant B.

Besökare som placeras i variant A får en fantastisk upplevelse, och många av dem fortsätter att logga in och hamnar i det efterföljande experimentet där de tvångsplaceras i variant A.

Men besökare som placerades i variant B har inte en bra upplevelse. Bara ett fåtal användare loggar in och hamnar i ett efterföljande experiment där de tvångsplaceras i variant B.

Nå, nu har du betydligt fler besökare i variant A än i variant B.

Vissa webbplatser har sina egna omdirigeringar (till exempel 301:or) som, i kombination med våra omdirigeringar, kan leda till att en besökare hamnar på en sida utan kodsnutten. Detta gör att väntande beslutshändelser låses i localStorage och Optimizely Experiment aldrig tar emot eller räknar dem.

Vissa användare inkluderar hold/send-händelser i projektets JS. Andra inkluderar det dock i andra skript på sidan, till exempel i leverantörspaket eller skript för analysspårning. Detta utgör ytterligare ett skript som måste läsas in korrekt för att besluten ska utlösas på rätt sätt. Implementerings- eller inläsningsgraden kan variera mellan varianter, särskilt vid omdirigeringar.

Om du redan är Optimizely Experiment-kund och vill veta mer om hur automatisk SRM-detektering gynnar dina A/B-test, ta en titt på dokumentationen i vår kunskapsbas:

För ytterligare detaljer kan du alltid kontakta din customer success manager, men ta gärna en stund att gå igenom vår dokumentation först!

Om du inte är kund, kom igång med oss här! 

Och om du vill gräva djupare i motorn som driver Optimizely-experimentering kan du ta en titt på vår sida snabbare beslut du kan lita på för digital experimentering.