Hva er en type 2-feil (type II-feil)?
En type 2-feil er et statistisk begrep som brukes om en type feil som oppstår når ingen klar vinner blir erklært mellom en kontroll og en variasjon, selv om det faktisk burde vært én.
Hva er forskjellene mellom type I- og type II-feil?
Når du utfører statistisk hypotesetesting, er det to typer feil som kan oppstå: type I-feil og type II-feil.
Type I-feil er som «falske positiver» og oppstår når du konkluderer med at variasjonen du eksperimenterer med er en «vinner», selv om den egentlig ikke er det. Vitenskapelig sett betyr dette at du feilaktig forkaster den sanne nullhypotesen og tror det finnes en sammenheng som egentlig ikke eksisterer. Sannsynligheten for at du begår type I-feil er kjent som type I-feilraten eller signifikansnivået (p-verdi) – dette tallet er konvensjonelt og vilkårlig satt til 0,05 (5 %).
Type II-feil er som «falske negativer», en feilaktig konklusjon om at en variasjon i en test ikke har gitt noen statistisk signifikant forskjell. Statistisk sett betyr dette at du feilaktig tror på den falske nullhypotesen og mener at det ikke finnes en sammenheng, selv om den faktisk eksisterer. Du begår en type 2-feil når du ikke tror på noe som faktisk er sant.
Hvorfor oppstår type 2-feil?
Statistisk styrke er sannsynligheten for at en test vil oppdage en reell forskjell i konverteringsrate mellom to eller flere variasjoner.
Den viktigste faktoren som bestemmer styrken til en gitt test, er utvalgsstørrelsen. Den statistiske styrken avhenger også av størrelsen på forskjellen i konverteringsrate du ønsker å teste.
Jo mindre forskjell du ønsker å oppdage, desto større utvalgsstørrelse (og lengre tidsperiode) trenger du.
Markedsførere kan lett gi testene sine for lav styrke ved å bruke en utvalgsstørrelse som er for liten.
Det betyr at de har liten sjanse for å oppdage ekte positiver, selv når det faktisk finnes en betydelig forskjell i konverteringsrate.
I A/B-testing må man finne en balanse mellom hastigheten på testdata og sikkerheten i resultatenes nøyaktighet. Én måte å løse dette problemet på er å kjøre en test over en lengre periode for å øke utvalgsstørrelsen og forhåpentligvis redusere sannsynligheten for en type 2-feil.
Hvorfor er det viktig å passe seg for type 2-feil?
Én grunn til å passe seg for type 2-feil er at de kan øke kostnadene for konverteringsoptimalisering på lang sikt.
Hvis du ikke ser effektene av variasjoner i de alternative hypotesene der de faktisk finnes, kan du kaste bort tid og gå glipp av muligheter til å forbedre konverteringsraten din.
Eksempel på type 2-feil
La oss se på en hypotetisk situasjon. Du har ansvaret for en e-handelsside og tester variasjoner av en landingsside. Vi skal se på hvordan en type 2-feil kan påvirke bedriftens inntekter negativt.
Hypotesetesten din innebærer å endre «Kjøp nå»-CTA-knappen fra grønn til rød, noe som skal øke konverteringene betydelig sammenlignet med den opprinnelige landingssiden. Du starter A/B-testen og venter på at det tilfeldige utvalget av data skal komme inn.
Innen 48 timer oppdager du at konverteringsraten for den grønne knappen er identisk med konverteringsraten for den røde knappen (4,8 %) med et signifikansnivå på 95 %.
Skuffet erklærer du den grønne knappen som mislykket og beholder landingssiden slik den er.
Uken etter leser du en artikkel om hvordan grønne knapper øker konverteringsratene. Du bestemmer deg for å teste hypotesen din igjen. Denne gangen venter du to uker før du sjekker resultatene.
Eureka! Du oppdager at den grønne knappen har en konverteringsrate på 5 % sammenlignet med 4,8 % for den røde knappen, og den har statistisk signifikans. Det viser seg at du begikk en type 2-feil fordi utvalgsstørrelsen var for liten.
Hvordan unngå type 2-feil
Selv om det er umulig å helt unngå type 2-feil, er det mulig å redusere sjansen for at de oppstår ved å øke utvalgsstørrelsen. Det betyr at du kjører et eksperiment lenger og samler inn mer data for å ta riktig beslutning basert på testresultatene. Dette bidrar til å unngå den feilaktige konklusjonen om at et eksperiment ikke har noen effekt, når det faktisk har det.
En annen måte å forebygge type 2-feil på er å gjøre store og tydelige endringer på nettsidene og appene dine under eksperimenter. Jo større effekten av en endring er, desto mindre utvalgsstørrelse trenger du, og desto mindre er sjansen for at du ikke oppdager en endring. En økning i konverteringsrate på 25 % er mye lettere å oppdage enn en økning på 0,001 %.
