Type 2-feil

Hva er en type 2-feil (type II-feil)?

En type 2-feil er en statistikkterm som brukes for å referere til en type feil som oppstår når det ikke erklæres noen avgjørende vinner mellom en kontroll og en variasjon, selv om det egentlig burde være en slik vinner.

Hva er forskjellen mellom type I- og type II-feil?

Når du utfører statistiske hypotesetester, er det to typer feil som kan oppstå: type I-feil og type II-feil.

Type I-feil er som "falske positive" og oppstår når du konkluderer med at variasjonen du eksperimenterer med, er en "vinner", selv om den faktisk ikke er det. Vitenskapelig sett betyr dette at du feilaktig forkaster den sanne nullhypotesen og tror at det finnes en sammenheng når det faktisk ikke gjør det. Sjansen for at du begår type I-feil, kalles type I-feilraten eller signifikansnivået (p-verdien) - dette tallet settes vanligvis og vilkårlig til 0,05 (5 %).

Type II-feil er som "falske negative", en feilaktig avvisning av at en variasjon i en test ikke har gjort noen statistisk signifikant forskjell. Statistisk sett betyr dette at du feilaktig tror på den falske nullhypotesen og tror at en sammenheng ikke eksisterer når den faktisk gjør det. Du begår en type 2-feil når du ikke tror på noe som faktisk er sant.

Hvorfor oppstår type 2-feil?

Statistisk styrke er sannsynligheten for at en test vil oppdage en reell forskjell i konverteringsfrekvens mellom to eller flere variasjoner.

Den viktigste faktoren som bestemmer styrken til en gitt test, er utvalgsstørrelsen. Den statistiske styrken avhenger også av størrelsen på forskjellen i konverteringsfrekvensen du ønsker å teste.

Jo mindre forskjell du ønsker å oppdage, jo større utvalg (og jo lengre tid) trenger du.

Markedsførere kan lett undervurdere testene sine ved å bruke en for liten utvalgsstørrelse.

Det betyr at sjansen for å oppdage sanne positive resultater er liten, selv om det faktisk finnes en betydelig forskjell i konverteringsfrekvensen.

I A/B-testing er det en balansegang mellom hvor raskt man får inn testdata og hvor sikre resultatene er. En måte å løse dette problemet på er å kjøre en test over en lengre periode for å øke utvalgsstørrelsen og forhåpentligvis redusere sannsynligheten for en type 2-feil.

Hvorfor er det viktig å være oppmerksom på type 2-feil?

En grunn til å være på vakt mot type 2-feil er at de kan hindre optimaliseringskostnadene for kundekonvertering i det lange løp.

Hvis du ikke klarer å se effekten av variasjoner i de alternative hypotesene der de faktisk finnes, kan du kaste bort tiden din og ikke dra nytte av mulighetene til å forbedre konverteringsraten.

Eksempel på type 2-feil

La oss se på en hypotetisk situasjon. Du har ansvaret for et netthandelsnettsted, og du tester variasjoner av en landingsside. Vi skal se nærmere på hvordan en type 2-feil kan ha en negativ innvirkning på bedriftens inntekter.

Hypotesetesten din går ut på at en endring av CTA-knappen "Kjøp nå" fra grønn til rød vil øke konverteringen betydelig sammenlignet med den opprinnelige landingssiden. Du lanserer A/B-testen og venter på at et tilfeldig utvalg av data skal tikke inn.

I løpet av 48 timer oppdager du at konverteringsfrekvensen for den grønne knappen er identisk med konverteringsfrekvensen for den røde knappen (4,8 %) med et signifikansnivå på 95 %.

Skuffet erklærer du den grønne knappen for en fiasko og beholder landingssiden som den er.

Uken etter leser du en artikkel om hvordan grønne knapper øker konverteringsraten. Du bestemmer deg for å prøve hypotesen din på nytt. Denne gangen venter du to uker før du sjekker resultatene.

Eureka! Du oppdager at den grønne knappen har en konverteringsrate på 5 % sammenlignet med 4,8 % for den røde knappen, og at den er statistisk signifikant. Det viser seg at du har begått en type 2-feil fordi utvalgsstørrelsen din var for liten.

Slik unngår du type 2-feil

Selv om det er umulig å unngå type 2-feil helt, er det mulig å redusere sjansen for at de oppstår ved å øke utvalgsstørrelsen. Det betyr at du må gjennomføre et eksperiment over lengre tid og samle inn mer data som kan hjelpe deg med å ta en riktig beslutning basert på testresultatene. På denne måten unngår du å trekke den feilaktige konklusjonen at et eksperiment ikke har noen effekt, selv om det faktisk har det.

En annen måte å forebygge type 2-feil på er å gjøre store og dristige endringer på nettsider og apper under eksperimentene. Jo større effekten av en endring er, desto mindre utvalgsstørrelse trenger du, og desto mindre er sjansen for at du ikke legger merke til en endring. En økning på 25 % i konverteringsfrekvensen er mye lettere å legge merke til enn en økning på 0,001 %.