A/B-testing: Slik begynner du å kjøre perfekte eksperimenter

Når vi lager digitale opplevelser, tror vi ofte at vi vet hva som er best for brukerne våre. Vi redesigner nettsteder, justerer grensesnitt og utformer markedsføringsbudskap med selvtillit.

Men her er en tankevekkende realitetssjekk: Bare 12 % av eksperimentene vinner faktisk.

Denne statistikken er ikke bare overraskende – den er en vekker. Den avslører en grunnleggende misforståelse om hvordan brukere samhandler med digitale produkter og tjenester. Sannheten er at vi bruker fornuft og logikk for å forstå noe som verken er rasjonelt eller logisk: menneskelig atferd.

De fleste brukerinteraksjoner er drevet av underbevisste prosesser, ikke den bevisste, rasjonelle tenkningen vi forestiller oss. Når vi utelukkende stoler på intuisjonen eller erfaringen vår, projiserer vi ofte våre egne skjevheter i stedet for å forstå vår mangfoldige brukerbase.

Det er her A/B-testing og eksperimentering blir uvurderlige. De er ikke bare et verktøy for optimalisering – de er et vindu inn i den sanne naturen til brukeratferd. Ved å sette opp kontrollerte eksperimenter kan vi bevege oss utover antagelser og la data fra den virkelige verden veilede beslutningene våre.

I denne artikkelen ser du hvordan du kan utfordre antagelser, ta datainformerte beslutninger og bygge en eksperimenteringskultur som omfavner usikkerhet og lærer av feil.

Verdien av eksperimentering og lederskapets rolle

Å bygge en eksperimenteringskultur gir enorm verdi til bedrifter. Harvard Business School utførte enstudie der de så på verditestingen som tilbys oppstartsbedrifter, spesielt i e-handelsbransjen. De fant ut at investorer var villige til å investere 10 % mer dollar i selskaper som eksperimenterte enn i de som ikke gjorde det.

Hvorfor eksperimentering er viktig:

1. Risikoredusering: Du kan redusere kostbare feil ved å teste en idé først i stedet for å bygge den opp til en fullverdig opplevelse, et produkt eller en funksjon.
2. Kontinuerlig forbedring: Gjennom kontinuerlig optimalisering kan du forbedre det som allerede fungerer på nettstedet ditt.
3. Kundefokus: Du kan tilpasse deg faktiske kundepreferanser og levere dem personlige opplevelser de faktisk ønsker.
4. Konkurransefortrinn: Du kan overgå konkurrentene i å møte markedskrav.

Og hvis du er bekymret for negativ innblanding fra ledergruppen, bør ikke den best betalte personens mening alltid telle mest. Hvis du er en leder, bør du i stedet:

• Oppmuntre til deltakelse: Gi alle mulighet til å bidra med ideer og gjennomføre eksperimenter.
• Omfavn feiling: Anerkjenn mislykkede eksperimenter som læringsmuligheter.
• Vær et godt eksempel: Utfordre dine egne antagelser gjennom testing.

Utforme effektive eksperimenter

Mange organisasjoner faller i fellen med å overanalysere og undereksperimentere, og gjøre minimale endringer av forsiktighet. Denne tilnærmingen:

• Tar for lang tid å gi meningsfulle resultater
• Gir ofte effekter som er for små til å være betydelige
• Hold ikke tritt med endret forbrukeratferd

Omfavn heller dristig eksperimentering:

• Gjør større endringer: Test betydelige modifikasjoner.
• Kombiner flere elementer: Test omfattende redesign i stedet for isolerte justeringer.
• Prioriter effekt: Fokuser på eksperimenter med potensial for betydelige forbedringer av metriske data.

Faktisk, i vårelærdommer fra 127 000 eksperimenter, fant vi at eksperimenter med større endringer og mer enn 3 variasjoner hadde 10 % større innvirkning.

Forstå modenhetsnivået til programmet ditt

For å forstå hvor organisasjonen din står og hvordan du kan komme videre i eksperimenteringsreisen, bør du vurdere følgende eksperimenteringsmodenhetsmodell:

1. Ad-hoc-testing

Sporadiske tester, ingen formell prosess, begrenset støtte.

• Utfordringer: Inkonsekvente resultater, mangel på ressurser
• Neste trinn: Etabler en regelmessig testplan, sikre lederstøtte

2. Strukturert eksperimentering

Dedikert testteam, definerte prosesser, regelmessige tester

• Utfordringer: Silobasert informasjon, begrenset tverrfaglig samarbeid
• Neste trinn:Implementer en sentralisert kunnskapsbase, oppmuntre til eksperimentering på tvers av team

3. Datadrevet kultur

Testing integrert i alle større beslutninger, tverrfaglig samarbeid

• Utfordringer: Balansere hastighet og grundighet, prioritere eksperimenter
• Neste trinn: Utvikle avanserte prioriteringsrammeverk, investere i raskere testinfrastruktur

4. Prediktiv optimalisering

AI-drevet testing, automatisert personalisering, prediktiv modellering

• Utfordringer:Etiske hensyn, opprettholdelse av menneskelig tilsyn
• Neste trinn: Etablere etiske retningslinjer, kontinuerlig revurdere og forbedre AI-modeller

Vitenskapen bak et godt eksperiment

La oss si at bedriften din bestemmer seg for å legge til nye filtre på produktsidene som en ny funksjon. En ingeniør går ut, bygger koden for å lage et filter og gjør seg klar til å implementere det øverst på siden. Det finnes bare én versjon av det filteret. Hvis det mislykkes, vet vi ikke om besøkende ikke ønsker filtre eller om brukervennligheten til det filteret bare er dårlig.

Derfor flott hvis du vil ha et filter, men har forskjellige versjoner av det. Du kan prøve det øverst på siden, på venstre side og andre steder. Du kan ha det fast eller flytende, og til og med endre rekkefølgen på filtrene.

Fordelen med dette eksperimentet er at når du har kjørt denne testen, la oss si at alle varianter av filteret ditt taper. Nå vet du definitivt at filtre ikke er nødvendige for kundene dine. Det er på tide å fokusere på noe annet. Eller hvis en versjon av filtrene du prøvde vinner, implementerer du bare det raskt. Bare å kjøre ett filter uten alternativer kan føre til feiltolkning av resultatene.

For å få mest mulig verdi ut av multivariat testing, bør du nærme deg det på en strukturert og systematisk måte. Det innebærer:

1. Definere en hypotese:Før du begynner å eksperimentere, ha en klar idé om hva du tester, målgruppen din og hva du håper å oppnå. Definer en hypotese i malen din – en påstand som beskriver hva du forventer skal skje som et resultat av eksperimentet ditt.
2. Utforming av eksperimentet:Når du har en hypotese, må du utforme et eksperiment som tester den. Det innebærer å identifisere variablene du skal teste,beregne utvalgsstørrelsen og bestemme hvordan resultatene skal måles.
3. Kjøring av eksperimentet:Når eksperimentet er utformet, er det på tide å kjøre det. Dette innebærer å implementere endringene du tester og samle inn kvantitative data.
4. Analyse av resultatene:Når eksperimentet er fullført, er det på tide å analysere A/B-testresultatene. Dette innebærer å se på dataene du har samlet inn og avgjøre om testhypotesen din ble støttet eller ikke.
5. Iterering og læring:Bruk det du har lært fra eksperimentet til å iterere og forbedre tilnærmingen din. Det betyr å bruke dataene til å ta informerte beslutninger om hva du skal gjøre videre, og fortsette å eksperimentere og lære underveis.

Ideer til A/B-testing

Her er noen eksempler på ideer du kan teste.

• E-handel: Test oppsett, bildestørrelser og plassering av "legg i handlekurv"-knapper. Eksperimenter med enkeltsidede kontra flertrinns kasser. For eksempel økte Quip ordrekonverteringsfrekvensen med 4,7 % ved å teste på produktvisningssidene.
• Finans: Avgrens risikovurderingsmodeller og test segmenteringsstrategier for produktanbefalinger. For eksempel RAKBANK forbedret nettstedsengasjementet med 37 %.
• Media: Testanbefalingsalgoritmer. Eksperimenter med betalingsmurutløsere og meldinger. For eksempel Channel 4 lanserte over 150 tester med høy effekt på et år.

Og hvis du vil ha flere ideer, har vi en liste med 101 ideer som hjelper deg med å optimalisere dine digitale opplevelser fra ende til ende.

Slik starter du eksperimenteringsreisen din

Data er avgjørende for å måle effekten av eksperimentene dine og ta datadrevne beslutninger. Det er viktig å ha en klar forståelse av beregningene du bruker for å evaluere suksess og å måle alt du kan for å få mest mulig ut av eksperimentene dine.

La oss først se hva vi bør unngå. Når folk flest starter med eksperimentering, antar de at det handler om å gjøre en enkel justering.

For eksempel, hvis vi endrer farge fra rød til blå, vil dette psykologisk trigge antallet besøkende til å kjøpe mer og økekonverteringsfrekvensen. Det fine med en knappefargetest er at hvis den vinner, tjener du penger, og hvis den taper, taper du kanskje 15 minutter av tiden din. Det er veldig enkelt å kjøre.

Men for å ha en meningsfull effekt på brukeratferd, må du gjøre noe veldig grunnleggende som vil påvirke opplevelsen deres og gi et betydelig resultat.

For de fleste bedrifter er eksperimentering ofte i utkanten av beslutningsprosessen, så det er noen som bare er der for å velge lakkstrøket på en bil som allerede er ferdig designet og montert. Eller det er noe drevet av toppledelsen. Visepresidenter og toppledere tar alle avgjørelsene, og det er et team på bakken som bare er tvunget til å handle ut fra det de ber om, men så har de friheten til å eksperimentere.

God eksperimentering er en kombinasjon av alle disse. Et sted hvor folk har rett til å gjøre justeringer. De har rett til å være involvert i designet av selve kjøretøyet, og de er en partner for toppledere i den beslutningsprosessen. Toppledere kommer med gode ideer, og de får lov til å utvide dem. De er ikke bare der for å utføre og måle andres ideer.

Følg disse trinnene for å komme i gang:

• Start i det små: Ikke prøv å endre alt på en gang. Start heller med små eksperimenter som kan hjelpe deg med å lære og bygge momentum i sanntid.
• Fokuser på kunden:Eksperimentfunksjonaliteten bør fokusere på å levere verdi til kunden. Sørg for at du tester ideer som vil ha en reell innvirkning på opplevelsen deres.
• Mål alt: For å få nok data og verdi fra eksperimentene dine, er det viktig å måle alt du kan. Dette betyr å spore ikke bare resultatene, men også prosessen og grunnlinjemålingene du bruker for å evaluere suksess.
• Skap en eksperimenteringskultur: Til slutt er det viktig å ha et A/B-testverktøy som løfter tilstanden til eksperimentering og innovasjon. Dette betyr å gi folk friheten til å prøve nye ting, belønne risikotaking og feire suksesser (og fiaskoer) underveis.

Oppsummering...

Et testprogram er et kritisk verktøy for å drive digital transformasjon og Konverteringsfrekvensoptimalisering (CRO). Ved å bygge en eksperimenteringskultur kan organisasjoner lære hva som fungerer og hva som ikke fungerer, og bruke den kunnskapen til å drive endring og levere en brukeropplevelse av ypperste klasse til kundene sine.

For en trinnvis veiledning til digital eksperimentering, sjekk ut Big book of experimentation. Den inneholder over 40 bransjespesifikke brukstilfeller av bedrifter som kjørte perfekte eksperimenter.