Vad är ett typ 2-fel (typ II-fel)?
Ett typ 2-fel är ett statistiskt begrepp som används för att beskriva den typ av fel som uppstår när ingen tydlig vinnare utses mellan en kontroll och en variation, trots att det faktiskt borde finnas en.
Vilka är skillnaderna mellan typ I- och typ II-fel?
När du utför statistisk hypotesprövning finns det två typer av fel som kan uppstå: typ I-fel och typ II-fel.
Typ I-fel är som "falska positiva" och uppstår när du drar slutsatsen att variationen du experimenterar med är en "vinnare" när den faktiskt inte är det. Vetenskapligt innebär detta att du felaktigt förkastar den sanna nollhypotesen och tror att ett samband finns när det i verkligheten inte gör det. Sannolikheten att du begår typ I-fel kallas typ I-felnivå eller signifikansnivå (p-värde) – detta tal sätts konventionellt och godtyckligt till 0,05 (5 %).
Typ II-fel är som "falska negativa", ett felaktigt avfärdande av att en variation i ett test har gjort en statistiskt signifikant skillnad. Statistiskt sett innebär detta att du felaktigt tror på den falska nollhypotesen och anser att ett samband inte existerar när det faktiskt gör det. Du begår ett typ 2-fel när du inte tror på något som faktiskt är sant.
Varför uppstår typ 2-fel?
Statistisk styrka är sannolikheten att ett test kommer att upptäcka en verklig skillnad i konverteringsgrad mellan två eller flera variationer.
Den viktigaste faktorn som avgör styrkan hos ett givet test är dess urvalsstorlek. Den statistiska styrkan beror också på storleken på skillnaden i konverteringsgrad som du vill testa.
Ju mindre skillnad du vill upptäcka, desto större urvalsstorlek (och längre tidsperiod) krävs.
Marknadsförare kan lätt ge sina tester för låg styrka genom att använda en urvalsstorlek som är för liten.
Det innebär att de har en liten chans att upptäcka sanna positiva resultat, även när en betydande skillnad i konverteringsgrad faktiskt existerar.
Vid A/B-testning finns det en balans att hitta mellan hastigheten på testdata och säkerheten i resultatens noggrannhet. Ett sätt att lösa detta problem är att köra ett test under en längre tidsperiod för att öka urvalsstorleken och förhoppningsvis minska sannolikheten för ett typ 2-fel.
Varför är det viktigt att se upp för typ 2-fel?
En anledning att se upp för typ 2-fel är att de kan hämma din konverteringsoptimering och öka kostnaderna på lång sikt.
Om du misslyckas med att se effekterna av variationer i dina alternativa hypoteser där de faktiskt existerar, kan du slösa tid och gå miste om möjligheter att förbättra din konverteringsgrad.
Exempel på typ 2-fel
Låt oss överväga en hypotetisk situation. Du ansvarar för en e-handelssajt och testar variationer av en landningssida. Vi ska undersöka hur ett typ 2-fel kan påverka ditt företags intäkter negativt.
Din hypotesprövning innebär att ändra "Köp nu"-CTA-knappen från grön till röd, vilket avsevärt ska öka konverteringarna jämfört med din ursprungliga landningssida. Du lanserar ditt A/B-test och väntar på att det slumpmässiga urvalet av data ska strömma in.
Inom 48 timmar upptäcker du att konverteringsgraden för den gröna knappen är identisk med konverteringsgraden för den röda knappen (4,8 %) med en signifikansnivå på 95 %.
Besviken konstaterar du att den gröna knappen är ett misslyckande och behåller landningssidan som den är.
Veckan därpå läser du en artikel om hur gröna knappar ökar konverteringsgraden. Du bestämmer dig för att prova din hypotes igen. Den här gången väntar du två veckor innan du kontrollerar dina resultat.
Eureka! Du upptäcker att den gröna knappen har en konverteringsgrad på 5 % jämfört med den röda knappens 4,8 % och att resultatet är statistiskt signifikant. Det visar sig att du begick ett typ 2-fel eftersom din urvalsstorlek var för liten.
Hur man undviker typ 2-fel
Även om det är omöjligt att helt undvika typ 2-fel, är det möjligt att minska risken för att de uppstår genom att öka din urvalsstorlek. Det innebär att köra ett experiment under längre tid och samla in mer data för att hjälpa dig fatta rätt beslut utifrån dina testresultat. Detta hjälper dig att undvika den felaktiga slutsatsen att ett experiment inte har någon effekt, när det faktiskt har det.
Ett annat sätt att förebygga typ 2-fel är att göra stora och djärva ändringar på dina webbsidor och appar under experiment. Ju större effekt en förändring har, desto mindre urvalsstorlek behöver du och desto mindre är risken att du missar en förändring. En ökning av konverteringsgraden på 25 % är mycket lättare att upptäcka än en ökning på 0,001 %.
