Vad är ett typ 1-fel?
Ett typ 1-fel (eller typ I-fel) är ett statistiskt begrepp som används för att hänvisa till en typ av fel som görs vid testning när en tydlig vinnare deklareras trots att testet egentligen är inte-konklusivt.
Vetenskapligt sett kallas ett typ 1-fel för förkastning av en sann nollhypotes, eftersom en nollhypotes definieras som hypotesen att det inte finns någon signifikant skillnad mellan specificerade populationer och att eventuell observerad skillnad beror på urvals- eller experimentellt fel.
Med andra ord är ett typ 1-fel som ett «falskt positivt» – en felaktig tro att en variation i ett test har gjort en statistiskt signifikant skillnad.
Detta är bara en av feltyperna, eftersom motsatsen till ett typ 1-fel är ett typ 2-fel, som definieras som icke-förkastning av en falsk nollhypotes eller ett falskt negativt.
Varför uppstår typ 1-fel?
Fel kan lätt uppstå när statistik missförstås eller tillämpas felaktigt vid A/B-testning och produktexperimentering.
Inom statistik är begreppet statistiskt fel en integrerad del av att testa varje hypotes.
Ingen hypotesprövning är någonsin helt säker. Eftersom varje test baseras på sannolikheter finns det alltid en liten risk att dra en felaktig slutsats (som ett typ 1-fel (falskt positivt) eller typ 2-fel (falskt negativt)).
Statistisk signifikans har traditionellt beräknats med antaganden om att testet körs inom en fast tidsram och avslutas så snart rätt urvalsstorlek har uppnåtts. Detta kallas för en «fast horisont».
Metodiken med «fast horisont» förutsätter att du bara fattar ett beslut efter att den slutliga urvalsstorleken har uppnåtts.
Naturligtvis fungerar det inte så i A/B-testningsvärlden. Utan en förutbestämd urvalsstorlek (och resultat som inte är statistiskt signifikanta) är det lätt att göra ett typ 1-fel.
Hypotesprövningar har en nivå av statistisk signifikans kopplad till sig, angiven med den grekiska bokstaven alfa, α.
Talet representerat av α är en sannolikhet för tillförlitlighet i testresultatens noggrannhet. I det digitala marknadsföringsuniversumet är standarden nu att statistiskt signifikanta resultat värderar alfa till 0,05 eller 5% signifikansnivå.
En konfidensnivå på 95% innebär att det finns 5% chans att dina testresultat är ett resultat av ett typ 1-fel (falskt positivt).
Varför är det viktigt att vara uppmärksam på typ 1-fel?
Det viktigaste skälet att vara uppmärksam på typ 1-fel är att de kan kosta ditt företag mycket pengar.
Om du gör ett felaktigt antagande och sedan ändrar de kreativa komponenterna på en landningssida baserat på det antagandet riskerar du att skada din kundkonverteringsgrad avsevärt.
Det bästa sättet att undvika typ 1-fel är att höja ditt konfidenströskel och köra experiment längre för att samla in mer data.
Exempel på typ 1-fel
Låt oss överväga en hypotetisk situation. Du ansvarar för en e-handelswebbplats och testar variationer för din landningssida. Vi ska undersöka hur ett typ 1-fel skulle påverka din försäljning.
Din hypotes är att ändra «Köp nu»-CTA-knappen från grön till röd kommer att öka konverteringarna avsevärt jämfört med din originalsida.
Du startar ditt A/B-test och kontrollerar resultaten inom 48 timmar. Du upptäcker att konverteringsgraden för den nya gröna knappen (5,2%) överträffar originalet (4,8%) med en konfidensnivå på 90%.
Exalterad deklarerar du den gröna knappen som vinnare och gör den till standardsidan.
Två veckor senare dyker din chef upp vid ditt skrivbord med frågor om ett stort fall i konverteringar. När du kontrollerar dina data ser du att dina data för de senaste två veckorna indikerar att den ursprungliga CTA-knappfärgen faktiskt var vinnaren.
Vad hände? Även om experimentet returnerade ett statistiskt signifikant resultat med ett 90% konfidensintervall innebär det fortfarande att 10% av gångerna kommer den slutsats som dras av experimentet faktiskt att vara fel eller orsaka falska positiva.
Hur man undviker typ 1-fel
Du kan hjälpa till att undvika typ 1-fel genom att höja den krävda signifikansnivån innan du når ett beslut (till exempelvis 95% eller 99%) och köra experimentet längre för att samla in mer data. Statistik kan dock aldrig berätta för oss med 100% säkerhet om en version av en webbsida är bäst. Statistik kan bara ge sannolikhet, inte visshet.
Innebär detta att A/B-tester är meningslösa? Inte alls. Även om det alltid finns en chans att göra ett typ 1-fel kommer du statistiskt sett ändå att ha rätt de flesta gångerna om du ställer in ett tillräckligt högt konfidensintervall. Som inom ingenjörsvetenskap och andra discipliner är absolut visshet inte möjlig, men genom att ställa in rätt konfidensintervall kan vi minska risken för att göra ett fel till en acceptabel nivå.
