Hur man beräknar urvalsstorlek

Att bygga en experimenteringskultur har potential att förenkla dina kundupplevelser och öka konverteringarna ...

Men det kan också skada dig om du inte kan nå statistiskt signifikanta resultat.

Till att börja med behöver du en tillräcklig urvalsstorlek för att köra ett test utan någon felmarginal. Därefter kör du dessa tester under en period som är tillräckligt lång för att få statistiskt signifikanta resultat.

När du kör experiment och A/B-testningar är det bättre att stoppa ett test först när dina variationer når signifikans istället för en slumpmässig urvalsstorlek. Om några av variationerna inte har uppnått signifikans kan du bestämma om du vill vänta på att antalet besökare ska öka eller på en större urvalsstorlek.

I den här artikeln kan du se hur du uppskattar längden på experimentet i förväg, mäter resultat genom marknadsundersökningar och beräknar hur mycket trafik du behöver för dina experiment med konverteringsgrad.

Vikten av att beräkna urvalsstorlek

En lämplig urvalsstorlek säkerställer:

• Statistisk validitet: Tillräckliga urvalsstorlekar hjälper till att undvika falska positiva och falska negativa resultat, vilket leder till mer tillförlitliga slutsatser för en relevant populationsstorlek.
• Resursoptimering: Korrekt storlek förhindrar att resurser slösas bort på ofullständiga tester eller att tester pågår längre än nödvändigt.
• Påverkan på verksamheten: Korrekta resultat från väl tilltagna tester leder till bättre affärsbeslut och bättre avkastning på testinsatserna.

Större urvalsstorlekar kan ge mer exakta resultat, men kräver mer tid och resurser. Tänk på följande när du bestämmer hur du ska gå tillväga:

• Testets varaktighet: Längre tester kan komma i konflikt med affärscykler eller säsongsmässiga förändringar.
• Möjlighetskostnad: Att köra ett stort test kan hindra dig från att köra flera mindre tester.
• Iterativ inlärning: Ibland kan snabbare tester med mindre urval ge värdefulla insikter för att förfina din teststrategi.

Nödvändig provstorlek och tidsram för A/B-testning

För att få en tydlig vinnare mellan olika variationer som du har i en testgrupp måste du testa tillräckligt många med en minsta urvalsstorlek eller antal personer. När du har resultaten kontrollerar du om det finns en statistiskt signifikant skillnad i stället för en nollhypotes.

Om du till exempel vill testa rubriker på en landningssida kan det ta några veckor att visa resultat. Tänk på en liknande tidsram för din bloggmotor.

Allt beror på ditt företag, urvalsstorlek, vilket verktyg du använder för att genomföra A/B-testning med mera. Om du har en liten lista måste du göra A/B-testning på större delen av den för att nå en signifikansnivå.

Bestämning av urvalsstorlek är dock inte alltid ett "set it and forget it"-mått. Överväg att räkna om när:

• Din baslinje konverteringsgrad ändras avsevärt.
• Du vill upptäcka mindre eller större effekter än vad som ursprungligen planerades.
• Resursbegränsningar eller affärsprioriteringar förändras, vilket påverkar din möjlighet att köra tester.

Så här beräknar du urvalsstorleken

Om du undrar hur du beräknar urvalsstorleken är det bästa sättet att använda mätvärden som baslinjens konverteringsgrad (det är kontrollgruppens förväntade konverteringsgrad) och minsta detekterbara effekt (mde) för att få hjälp med urvalsstorlekarna för originalet och variationen, så att du uppfyller de statistiska målen.

De värden som du matar in för kalkylatorn för provstorlek för ab-test kommer att vara unika för varje experiment och mål. Med tiden kommer fler besökare att anlända, stöta på dina variationer och konvertera. Nu kommer du att börja se att den statistiska signifikansen ökar och få en korrekt uppskattning av testets varaktighet.

Här är två formler för provstorlek som hjälper dig att översätta provstorlek till det uppskattade antalet dagar du behöver för att köra ett experiment:

1. Beräkning 1: Totalt antal besökare du behöver = Provstorlek × Antal variationer i ditt experiment
2. Beräkning 2: Uppskattat antal dagar för att genomföra experimentet = Totalt antal besökare du behöver ÷ Genomsnittligt antal besökare per dag

Var också medveten om dessa vanliga misstag när du bestämmer urvalsstorlekar för grupper av människor:

• Ignorera varierande konverteringsgrader: Olika sidor eller användarsegment kan ha olika baslinje-konverteringsgrader, vilket påverkar de nödvändiga urvalsstorlekarna.
• Förbise praktisk betydelse: Statistisk signifikans är inte alltid detsamma som affärsvärde. Tänk på de praktiska konsekvenserna av upptäckta skillnader.
• Bortse från externa faktorer i ditt forskningsprojekt: Säsongstrender, representativt urval, antal individer, antal respondenter, marknadsföringskampanjer eller andra externa händelser kan påverka testresultat och erforderliga urvalsstorlekar.

Avancerade tekniker för uppskattning av urvalsstorlek

Här är sex statistiska testtekniker som hjälper dig att komma igång för din målgruppsinriktning:

1. Effektanalys: Säkerställer att ditt test kan upptäcka verkliga effekter när de finns. Den beaktar signifikansnivån (vanligtvis 0,05), effektnivån (ofta 0,8) och den förväntade effektstorleken. Korrekt effektanalys hjälper till att undvika ofullständiga tester.
2. Variansuppskattning: Avgörande för korrekt beräkning av urvalsstorlek, särskilt vid test av konverteringsgrad. Det handlar om att uppskatta variabiliteten i dina data baserat på förväntade konverteringsgrader.
3. Sekventiell analys: Sekventiell testning gör det möjligt att stoppa tester i ett tidigt skede när starka bevis hittas. Metoder som SPRT (Sequential Probability Ratio Test) kan potentiellt minska de nödvändiga provstorlekarna och spara resurser.
4. Justering för multipla jämförelser: När flera variationer eller mätvärden testas samtidigt är det viktigt att justera signifikansnivåerna. Detta förhindrar en ökning av falska positiva resultat som kan uppstå vid multipla tester.
5. Bayesiansk metod: Bayesiansk test ning innebär att förkunskaper införlivas i beräkningen av urvalsstorleken. Denna metod kan ge mer intuitiva tolkningar av resultaten och är särskilt användbar när tillförlitlig förhandsinformation finns tillgänglig.
6. Justering för variansinflation: Tar hänsyn till korrelationer i klusterrandomiserade studier eller test med upprepade mätningar. Detta säkerställer adekvata urvalsstorlekar när datapunkterna inte är helt oberoende.

Kom ihåg att oavsett vilket tillvägagångssätt du väljer är det resultat du vill ha inte långt borta.

Det resultat du vill ha är inte långt borta. Optimizelys kalkylator för urvalsstorlek ger exakta resultat på några sekunder. Använd den och den visar din urvalsstorlek. Så här ser det ut:

Den bästa delen?

Det finns ingen nödvändighet att enbart förlita sig på beräkning av urvalsstorlek för att visa giltigheten av dina resultat. Använd den för planeringsfasen. För resten har vi Stats Engine.

Vad är Stats Engine?

Om du undrar vad som gör ett bra test, så är spekulation inte svaret. Om du går på en känsla genom falska positiva resultat kan din felfrekvens skjuta i höjden med över 30 %.

Hastighet och skala påverkar dina digitala upplevelser om de är datadrivna och baserade på resultatens noggrannhet. Det är här en stats engine kan hjälpa dig. Du kan ta bort gissningsproblem genom att använda en sekventiell testning.

Den mäter standardavvikelsen i din process och hjälper dig att driva effektfulla förändringar i din verksamhet, styrd av data, så att du kan fatta snabbare beslut för att bygga en experimenteringskultur. Här är några andra fördelar:

Du kan övervaka resultaten i realtid för att snabbt fatta datadrivna beslut utan att offra dataintegriteten.

Den statistiska styrkan i ett sekventiellt test ökar naturligt när testet fortsätter att köras, vilket eliminerar behovet av hypotesprövning och godtyckliga gissningar om dina effektstorlekar.

Du kan anpassa dig till den verkliga effektstorleken automatiskt och stoppa tidigt för effektstorlekar som är större än förväntat, vilket ger snabbare tider till signifikans i genomsnitt.

Du kan tydligt se den statistiska sannolikheten för att förbättringen beror på de ändringar du gjort och inte på en slump. Att välja rätt signifikansnivå är alltså viktigt eftersom det ökar förtroendet för dina metoder för A/B-testning. Konfidensintervallet för förbättring måste röra sig bort från noll för att ett experiment ska kunna nå en signifikansnivå.

Du kan kolla in hela whitepaper här för att se hur experimentering körs på en Stats Engine.

Fixa ditt problem med urvalsstorleken...

Det är inte lätt att hålla ett öga på dina experiment och om de har tillräcklig statistisk analys för att nå ett avgörande resultat. Detta massiva problem kan åtgärdas med Optimizely.

Vår stats engine uppnår en power of one, så dina testresultat kommer alltid att ha data att visa. Använd den för att snabbt ändra dina digitala marknadsföringsplaner och fokusera på konverteringsoptimering (CRO).

Om du vill få en bättre förståelse för dina A/A-testningar och leverera moderna e-handelsupplevelser, kolla in den här 2024 stora boken om experimentering. Den innehåller 40+ verkliga berättelser om organisationer som har dragit nytta av att bygga upp en experimenteringskultur.