Slik beregner du utvalgsstørrelsen

Åbygge en kultur for eksperimentering har potensial til å forenkle kundeopplevelsene og øke konverteringen...

Det kan imidlertid også skade deg hvis du ikke oppnår statistisk signifikante resultater.

Til å begynne med trenger du en tilstrekkelig utvalgsstørrelse for å kjøre en test uten feilmargin. Deretter kjører du disse testene i en periode som er lang nok til å få statistisk signifikante resultater.

Når du kjører eksperimenter og a/b-tester, er det bedre å stoppe en test først når variasjonene dine når signifikans i stedet for en tilfeldig utvalgsstørrelse. Hvis noen av variasjonene ikke er signifikante, bør du vurdere om du vil vente på at antall besøkende skal øke, eller om du vil ha et større utvalg.

I denne artikkelen kan du se hvordan du estimerer lengden på eksperimentet på forhånd, måler resultater ved hjelp av markedsundersøkelser og beregner hvor mye trafikk du trenger til konverteringsrateeksperimentene dine.

Viktigheten av å beregne utvalgsstørrelsen

En passende utvalgsstørrelse sikrer

• Statistisk validitet: Tilstrekkelig utvalgsstørrelse bidrar til å unngå falske positive og falske negative resultater, noe som fører til mer pålitelige konklusjoner for en relevant populasjonsstørrelse.
• Optimalisering av ressurser: Riktig utvalgsstørrelse forhindrer at ressurser sløses bort på ufullstendige tester eller at testene kjøres lenger enn nødvendig.
• Innvirkning på virksomheten: Nøyaktige resultater fra tester av riktig størrelse fører til bedre forretningsbeslutninger og bedre avkastning på testinnsatsen.

Større utvalg kan gi mer nøyaktige resultater, men krever mer tid og ressurser. Ta følgende i betraktning når du skal bestemme fremgangsmåte:

• Testens varighet: Lengre tester kan komme i konflikt med forretningssykluser eller sesongmessige endringer.
• Mulighetskostnader: Å kjøre én stor test kan hindre deg i å kjøre flere mindre tester.
• Iterativ læring: Noen ganger kan det å kjøre raskere tester med mindre utvalg gi verdifull innsikt som kan brukes til å forbedre teststrategien.

Nødvendig utvalgsstørrelse og tidsramme for A/B-testing

For å få en klar vinner mellom de ulike variantene du har i en testgruppe, må du teste nok med en minimum utvalgsstørrelse eller antall personer. Når du har resultatene, kan du sjekke om det er en statistisk signifikant forskjell i stedet for en nullhypotese.

Hvis du for eksempel vil teste overskriften på en landingsside, kan det ta noen uker før resultatene vises. Tenk på en lignende tidsramme for bloggmotoren din.

Alt avhenger av bedriften din, utvalgsstørrelsen, hvilket verktøy du bruker til å gjennomføre A/B-tester, med mer. Hvis du har en liten liste, må du A/B-teste det meste av den for å nå et signifikansnivå.

Det er imidlertid ikke alltid enkelt å fastsette utvalgsstørrelsen. Vurder å beregne på nytt når:

• Utgangspunktet for konverteringsfrekvensen din endres betydelig.
• Du ønsker å oppdage mindre eller større effekter enn opprinnelig planlagt.
• Ressursbegrensninger eller forretningsprioriteringer endres, noe som påvirker muligheten til å kjøre tester.

Slik beregner du utvalgsstørrelsen

Hvis du lurer på hvordan du beregner utvalgsstørrelsen, er den beste måten å bruke beregninger som baseline-konverteringsfrekvens (det er kontrollgruppens forventede konverteringsfrekvens) og minimum detekterbar effekt (mde) som hjelp til å beregne utvalgsstørrelser for originalen og variasjonen, slik at du oppfyller de statistiske målene dine.

Verdiene du legger inn i kalkulatoren for utvalgsstørrelse for ab-test, vil være unike for hvert eksperiment og mål. Etter hvert vil flere besøkende komme innom, møte variasjonene dine og konvertere. Nå vil du begynne å se at den statistiske signifikansen øker og få et nøyaktig estimat av testens varighet.

Her er to formler for utvalgsstørrelse som hjelper deg med å oversette utvalgsstørrelsen til estimert antall dager du trenger for å kjøre et eksperiment:

1. Beregning 1: Totalt antall besøkende du trenger = utvalgsstørrelse × antall variasjoner i eksperimentet
2. Beregning 2: Estimert antall dager det tar å gjennomføre eksperimentet = Totalt antall besøkende du trenger ÷ Gjennomsnittlig antall besøkende per dag

Vær også oppmerksom på disse vanlige feilene når du bestemmer utvalgsstørrelser for grupper av personer:

• Ignorerer varierende konverteringsfrekvenser: Ulike sider eller brukersegmenter kan ha ulike grunnleggende konverteringsfrekvenser, noe som påvirker den nødvendige utvalgsstørrelsen.
• Overser praktisk signifikans: Statistisk signifikans er ikke alltid ensbetydende med forretningsverdi. Tenk på den praktiske effekten av oppdagede forskjeller.
• Neglisjering av eksterne faktorer i forskningsprosjektet: Sesongmessige trender, representativt utvalg, antall individer, antall respondenter, markedsføringskampanjer eller andre eksterne hendelser kan påvirke testresultater og nødvendige utvalgsstørrelser.

Avanserte teknikker for estimering av utvalgsstørrelse

Her er seks teknikker for statistiske tester for å komme i gang med målpopulasjonen din:

1. Power-analyse: Sikrer at testen kan oppdage sanne effekter når de eksisterer. Den tar hensyn til signifikansnivået (vanligvis 0,05), styrkenivået (ofte 0,8) og forventet effektstørrelse. Riktig power-analyse bidrar til å unngå inkonklusive tester.
2. Variansestimering: Avgjørende for nøyaktig beregning av utvalgsstørrelse, spesielt i tester av konverteringsfrekvens. Det innebærer å estimere variabiliteten i dataene dine basert på forventede konverteringsfrekvenser.
3. Sekvensiell analyse: Sekvensiell testing gjør det mulig å stoppe tester tidlig når man finner sterke bevis. Metoder som SPRT (Sequential Probability Ratio Test) kan potensielt redusere nødvendige utvalgsstørrelser og spare ressurser.
4. Justering for flere sammenligninger : Når man tester flere variasjoner eller beregninger samtidig, er det viktig å justere signifikansnivåene. Dette forhindrer en økning i falske positiver som kan oppstå med flere tester.
5. Bayesiansk tilnærming: Bayesiansk testing tar i bruk forhåndskunnskap i beregningen av utvalgsstørrelsen. Denne metoden kan gi mer intuitive tolkninger av resultatene og er spesielt nyttig når pålitelig forhåndsinformasjon er tilgjengelig.
6. Variansinflasjonsjustering: Tar hensyn til korrelasjoner i klyngerandomiserte studier eller tester med gjentatte målinger. Dette sikrer tilstrekkelige utvalgsstørrelser når datapunktene ikke er helt uavhengige.

Husk at uansett hvilken tilnærming du velger, er det resultatet du ønsker, ikke langt unna.

Utfallet du ønsker, er ikke langt unna. Optimizelys kalkulator for utvalgsstørrelse gir nøyaktige resultater på få sekunder. Bruk den, så viser den utvalgsstørrelsen din - slik ser den ut:

Det beste av alt?

Det er ikke nødvendig å stole utelukkende på beregning av utvalgsstørrelse for å vise gyldigheten av resultatene dine. Bruk den i planleggingsfasen. For resten har vi Stats Engine.

Hva er Stats Engine?

Hvis du lurer på hva som utgjør en god test, er ikke spekulasjoner svaret. Hvis du går på en magefølelse gjennom falske positiver, kan feilprosenten skyte i været med over 30 %.

Hastighet og skala påvirker de digitale opplevelsene dine hvis de er datadrevne og basert på nøyaktige resultater. Det er her en statistikkmotor kan hjelpe deg. Du kan fjerne gjetningsproblemer ved å bruke en sekvensiell test.

Den måler standardavviket i prosessen din og hjelper deg med å drive frem virkningsfulle endringer i virksomheten, styrt av data, slik at du kan ta raskere beslutninger for å bygge en kultur for eksperimentering. Her er andre fordeler:

Du kan overvåke resultatene i sanntid for å ta datadrevne beslutninger raskt, uten at det går på bekostning av dataintegriteten.

Den statistiske styrken til en sekvensiell test øker naturlig etter hvert som testen kjøres, noe som eliminerer behovet for hypotesetesting og vilkårlige gjetninger om effektstørrelsene dine.

Du kan tilpasse deg den sanne effektstørrelsen automatisk og stoppe tidlig for effektstørrelser som er større enn forventet, noe som i gjennomsnitt gjør det mulig å oppnå signifikans raskere.

Du kan tydelig se den statistiske sannsynligheten for at forbedringen skyldes endringene du har gjort, og ikke en tilfeldighet. Så det er viktig å velge riktig signifikansnivå, ettersom det øker tilliten til a/b-testmetodene dine. Konfidensintervallet for forbedring må bevege seg bort fra null for at et eksperiment skal kunne oppnå signifikans.

Du kan sjekke ut hele whitepaperet her for å se hvordan eksperimentering kjører på en statistikkmotor.

Å løse problemet med utvalgsstørrelsen...

Det er ikke lett å holde øye med eksperimentene dine og om de har tilstrekkelig statistisk analyse til å nå et konklusivt resultat. Dette massive problemet kan løses med Optimizely.

Statistikkmotoren vår oppnår en styrke på én, slik at resultatene av testene dine alltid har data å vise til. Bruk den til å raskt endre de digitale markedsføringsplanene dine og fokusere på konverteringsfrekvensoptimalisering (CRO).

Hvis du vil få en bedre forståelse av AB-testene dine og levere moderne e-handelsopplevelser, bør du ta en titt på denne store boken om eksperimentering fra 2024. Den inneholder mer enn 40 virkelige historier om organisasjoner som har dratt nytte av å bygge en kultur for eksperimentering.