Hva er en type 1-feil?
En type 1-feil (eller type I-feil) er et statistisk begrep som brukes til å referere til en type feil som gjøres ved testing når en klar vinner erklæres selv om testen faktisk er ikke-konklusiv.
Vitenskapelig sett refereres en type 1-feil til som forkastelse av en sann nullhypotese, ettersom en nullhypotese er definert som hypotesen om at det ikke er noen signifikant forskjell mellom spesifiserte populasjoner, og at enhver observert forskjell skyldes utvalgs- eller eksperimentell feil.
Med andre ord er en type 1-feil som et «falskt positivt resultat» – en feilaktig tro på at en variasjon i en test har gjort en statistisk signifikant forskjell.
Dette er bare én av feiltyene, ettersom det motsatte av en type 1-feil er en type 2-feil, som er definert som ikke-forkastelse av en falsk nullhypotese eller et falskt negativt resultat.
Hvorfor oppstår type 1-feil?
Feil kan lett skje når statistikk misforstås eller brukes feil under A/B-testing og produkteksperimentering.
I statistikk er begrepet statistisk feil en integrert del av å teste enhver hypotese.
Ingen hypotesetesting er noen gang helt sikker. Fordi hver test er basert på sannsynligheter, er det alltid en liten risiko for å trekke en feil konklusjon (som en type 1-feil (falskt positivt) eller type 2-feil (falskt negativt)).
Statistisk signifikans har tradisjonelt blitt beregnet med antakelser om at testen kjører innenfor en fast tidsramme og avsluttes så snart den passende utvalgsstørrelsen er nådd. Dette er det som refereres til som en «fast horisont».
Metodikken med «fast horisont» forutsetter at du bare tar en beslutning etter at den endelige utvalgsstørrelsen er nådd.
Selvfølgelig er ikke dette måten ting fungerer på i A/B-testing-verdenen. Uten en forhåndsbestemt utvalgsstørrelse (og resultater som ikke er statistisk signifikante) er det enkelt å gjøre en type 1-feil.
Hypotesetester har et nivå av statistisk signifikans knyttet til seg, angitt ved den greske bokstaven alfa, α.
Tallet representert ved α er en sannsynlighet for tillit til nøyaktigheten av testresultatene. I det digitale markedsføringsunivers er standarden nå at statistisk signifikante resultater setter alfa til 0,05 eller 5% signifikansnivå.
Et konfidensnivå på 95% betyr at det er 5% sjanse for at testresultatene dine er resultatet av en type 1-feil (falskt positivt).
Hvorfor er det viktig å være på vakt mot type 1-feil?
Hovedgrunnen til å passe på type 1-feil er at de kan ende opp med å koste bedriften din mye penger.
Hvis du gjør en feilaktig antakelse og deretter endrer de kreative komponentene på en landingsside basert på den antakelsen, risikerer du å skade konverteringsraten din betydelig.
Den beste måten å unngå type 1-feil på er å øke konfidensnivået ditt og kjøre eksperimenter lenger for å samle inn mer data.
Eksempel på type 1-feil
La oss vurdere en hypotetisk situasjon. Du har ansvaret for et e-handelssted og du tester variasjoner for landingssiden din. Vi skal undersøke hvordan en type 1-feil vil påvirke salget ditt.
Hypotesen din er at det å endre «Kjøp nå»-CTA-knappen fra grønn til rød vil øke konverteringer betydelig sammenlignet med den opprinnelige siden.
Du starter A/B-testen og sjekker resultatene innen 48 timer. Du oppdager at konverteringsraten for den nye grønne knappen (5,2%) overgår den opprinnelige (4,8%) med et konfidensnivå på 90%.
Spent erklærer du den grønne knappen som vinner og gjør den til standardsiden.
To uker senere dukker sjefen din opp ved pulten din med spørsmål om et stort fall i konverteringer. Når du sjekker dataene dine, ser du at dataene for de siste to ukene indikerer at den opprinnelige CTA-knappfargen faktisk var vinneren.
Hva skjedde? Selv om eksperimentet ga et statistisk signifikant resultat med et 90% konfidensintervall, betyr det fortsatt at 10% av gangene vil konklusjonen som eksperimentet når faktisk være feil eller forårsake falske positive resultater.
Hvordan unngå type 1-feil
Du kan hjelpe til med å unngå type 1-feil ved å øke det nødvendige signifikansnivået før du tar en beslutning (til for eksempel 95% eller 99%) og kjøre eksperimentet lenger for å samle inn mer data. Statistikk kan imidlertid aldri fortelle oss med 100% sikkerhet om én versjon av en nettside er best. Statistikk kan bare gi sannsynlighet, ikke sikkerhet.
Betyr dette at A/B-tester er ubrukelige? Slett ikke. Selv om det alltid er en sjanse for å gjøre en type 1-feil, vil du statistisk sett fortsatt ha rett mesteparten av tiden hvis du setter et høyt nok konfidensintervall. Som i ingeniørfag og andre disipliner er absolutt sikkerhet ikke mulig, men ved å sette riktig konfidensintervall kan vi redusere risikoen for å gjøre en feil til et akseptabelt nivå.
