A/B-testing: Slik begynner du å kjøre perfekte eksperimenter

Når vi skaper digitale opplevelser, tror vi ofte at vi vet hva som er best for brukerne våre. Vi redesigner nettsteder, justerer grensesnitt og utformer markedsføringsbudskap med selvtillit.

Men her er en tankevekkende realitetssjekk: Bare 12 % av eksperimentene vinner faktisk.

Denne statistikken er ikke bare overraskende - den er en vekker. Den avslører en grunnleggende misforståelse om hvordan brukere interagerer med digitale produkter og tjenester. Sannheten er at vi bruker fornuft og logikk for å forstå noe som verken er rasjonelt eller logisk: menneskelig atferd.

De fleste brukerinteraksjoner er drevet av underbevisste prosesser, ikke den bevisste, rasjonelle tenkningen vi forestiller oss. Når vi utelukkende stoler på intuisjon eller erfaring, projiserer vi ofte våre egne fordommer i stedet for å forstå den mangfoldige brukerbasen vår.

Det er her A/B-testing og eksperimentering blir uvurderlig. De er ikke bare et verktøy for optimalisering - de er et vindu inn til brukeratferdens sanne natur. Ved å sette opp kontrollerte eksperimenter kan vi gå bort fra antakelser og la data fra den virkelige verden styre beslutningene våre.

I denne artikkelen kan du lese om hvordan du kan utfordre antakelser, ta datainformerte beslutninger og bygge en eksperimenteringskultur som omfavner usikkerhet og lærer av feil.

Verdien av eksperimentering og ledelsens rolle

Åbygge enkultur foreksperimentering gir selskaper en enorm verdi. Harvard Business School gjennomførte en studie der de så på verdien testing hadde for oppstartsbedrifter, spesielt i netthandelsbransjen. De fant ut at investorer var villige til å investere 10 % mer i selskaper som eksperimenterte, enn i selskaper som ikke gjorde det.

Hvorfor eksperimentering er viktig:

1. Risikoreduksjon: Du kan redusere kostbare feil ved å teste en idé først i stedet for å bygge den ut til en fullverdig opplevelse, et produkt eller en funksjon.
2. Kontinuerlig forbedring: Gjennom kontinuerlig optimalisering kan du forbedre det som allerede fungerer på nettstedet ditt.
3. Kundeorientering: Du kan tilpasse deg kundenes faktiske preferanser og gi dem personaliserte opplevelser som de faktisk ønsker.
4. Konkurransefortrinn: Du kan være raskere enn konkurrentene når det gjelder å møte markedets krav.

Og hvis du er bekymret for negativ innblanding fra ledergruppen, bør ikke alltid den best betalte personens mening telle mest. I stedet bør du som leder gjøre det:

• Oppmuntre til deltakelse: Gi alle mulighet til å bidra med ideer og gjennomføre eksperimenter.
• Omfavne feil: Anerkjenn mislykkede eksperimenter som læringsmuligheter.
• Gåforan med etgodt eksempel: Utfordre dine egne antakelser gjennom testing.

Utforming av virkningsfulle eksperimenter

Mange organisasjoner går i fellen ved å overanalysere og undereksperimentere, og gjør minimale endringer av forsiktighetshensyn. Denne tilnærmingen:

• Det tar for lang tid å oppnå meningsfulle resultater
• Gir ofte for små effekter til å være signifikante
• Holder ikke tritt med endringer i forbrukeratferd

I stedet bør du satse på dristig eksperimentering:

• Gjør større endringer: Test betydelige endringer.
• Kombiner flere elementer: Test omfattende redesign i stedet for isolerte justeringer.
• Prioriter effekten: Fokuser på eksperimenter som har potensial til å gi betydelige forbedringer av måleparametere.

Faktisk fant vi ut av erfaringene våre fra 127 000 eksperimenter at eksperimenter med større endringer og mer enn tre variasjoner hadde 10 % større effekt.

Forstå modenhetsnivået til programmet ditt

For å forstå hvor organisasjonen din befinner seg og hvordan du kan komme videre i eksperimenteringsprosessen, kan du ta utgangspunkt i følgende modenhetsmodell for eksperimentering:

1. Ad-hoc-testing

Sporadiske tester, ingen formell prosess, begrenset oppslutning.

• Utfordringer: Inkonsekvente resultater, mangel på ressurser
• Neste steg: Etablere en tidsplan for regelmessige tester, sikre sponsing fra ledelsen

2. Strukturert eksperimentering

Dedikert testteam, definerte prosesser, regelmessige tester

• Utfordringer: Informasjon i siloer, begrenset tverrfunksjonelt samarbeid
• Neste steg: Implementere en sentralisert kunnskapsbase, oppmuntre til eksperimentering på tvers av team

3. Datadrevet kultur

Test integrert i alle viktige beslutninger, tverrfunksjonelt samarbeid

• Utfordringer: Balansere hastighet og stringens, prioritere eksperimenter
• Neste steg: Utvikle avanserte prioriteringsrammeverk, investere i infrastruktur for raskere testing

4. Prediktiv optimalisering

AI-drevet test, automatisert personalisering, prediktiv modellering

• Utfordringer: Etiske hensyn, opprettholde menneskelig tilsyn
• Neste steg: Etablere etiske retningslinjer, kontinuerlig revurdere og forbedre AI-modeller

Vitenskapen bak et godt eksperiment

La oss si at bedriften din bestemmer seg for å legge til nye filtre på produktsidene som en ny funksjon. En ingeniør går ut og bygger koden for å lage et filter, og gjør seg klar til å implementere det øverst på siden. Det finnes bare én versjon av det filteret. Hvis det mislykkes, vet vi ikke om de besøkende ikke vil ha filtre, eller om brukervennligheten til det filteret bare er dårlig.

Derfor er det flott hvis du vil ha et filter, men ha forskjellige versjoner av det. Du kan prøve det øverst på siden, på venstre side og på andre steder. Du kan ha det fast eller flytende, og til og med endre rekkefølgen på filtrene.

Fordelen med dette eksperimentet er at når du har kjørt denne testen, la oss si at alle varianter av filteret ditt taper. Nå vet du med sikkerhet at filtrene ikke er nødvendige for kundene dine. Det er på tide å fokusere på noe annet. Eller hvis en filtervariant du har prøvd, vinner, må du bare implementere den raskt. Å bare kjøre ett filter uten alternativer kan føre til feiltolkning av resultatene.

For å få mest mulig ut av multivariate tester bør du gå strukturert og systematisk til verks. Det innebærer følgende:

1. Definere en hypotese: Før du begynner å eksperimentere, må du ha en klar idé om hva du tester, målgruppen din og hva du håper å oppnå. Definer en hypotese i malen din - en uttalelse som beskriver hva du forventer skal skje som et resultat av eksperimentet.
2. Utforme eksperimentet: Når du har en hypotese, må du utforme et eksperiment som skal teste den. Det innebærer å identifisere variablene du skal teste, beregne utvalgsstørrelse og bestemme hvordan du skal måle resultatene.
3. Gjennomføring av eksperimentet: Når eksperimentet er utformet, er det på tide å gjennomføre det. Dette innebærer å implementere endringene du tester, og samle inn kvantitative data.
4. Analysere resultatene: Når eksperimentet er fullført, er det på tide å analysere resultatene av A/B-testen. Dette innebærer å se på dataene du har samlet inn, og avgjøre om testhypotesen din ble støttet eller ikke.
5. Iterasjon og læring: Bruk det du har lært av eksperimentet til å iterere og forbedre tilnærmingen din. Det betyr at du bruker dataene til å ta informerte beslutninger om hva du skal gjøre videre, og at du fortsetter å eksperimentere og lære underveis.

Ideer til A/B-testing

Her er noen eksempler på ideer du kan teste.

• E-handel: Test oppsett, bildestørrelser og plassering av "Legg i handlekurv"-knappen. Eksperimenter med én-side vs. flerstegskasser. Quip økte for eksempel konverteringsfrekvensen med 4,7 % ved å teste på produktvisningssidene.
• Økonomi: Forbedre risikovurderingsmodeller og test segmenteringsstrategier for produktanbefalinger. RAKBANK forbedret for eksempel engasjementet på nettstedet med 37 %.
• Media: Test anbefalingsalgoritmer. Eksperimenter med utløsende faktorer for betalingsmur og meldinger. Channel 4 lanserte for eksempel mer enn 150 tester med stor gjennomslagskraft i løpet av ett år.

Og hvis du vil ha flere ideer, har vi en liste med 101 ideer som kan hjelpe deg med å optimalisere de digitale opplevelsene dine fra start til slutt.

Slik starter du eksperimenteringsreisen din

Data er avgjørende for å måle effekten av eksperimentene dine og ta datadrevne beslutninger. Det er viktig å ha en klar forståelse av hvilke beregninger du bruker for å evaluere suksess, og å måle alt du kan for å få mest mulig verdi ut av eksperimentene dine.

La oss først se hva du bør unngå. Når de fleste begynner med eksperimenter, antar de at det handler om å gjøre en enkel justering.

Hvis vi for eksempel endrer fargen fra rød til blå, vil dette psykologisk sett trigge flere besøkende til å kjøpe mer og øke konverteringsfrekvensen. Det fine med en test av knappens farge er at hvis den vinner, tjener du penger, og hvis den taper, taper du kanskje 15 minutter av tiden din. Det er veldig enkelt å gjennomføre.

Men for å få en meningsfull effekt på brukeratferden må du gjøre noe helt grunnleggende som påvirker brukeropplevelsen og gir et betydelig resultat.

I de fleste virksomheter er eksperimentering ofte i periferien av beslutningsprosessen, slik at det er noen som bare er der for å velge lakk på en bil som allerede er ferdig designet og montert. Eller så er det noe som drives av toppledelsen. Det er viseadministrerende direktører og ledere på toppnivå som tar alle avgjørelsene, og det er et team på bakken som bare er tvunget til å utføre det de ber om, men som samtidig har frihet til å eksperimentere.

Gode eksperimenter er en kombinasjon av alle disse. Et sted der folk har rett til å gjøre justeringer. De har rett til å være involvert i utformingen av selve kjøretøyet, og de er en partner for topplederne i beslutningsprosessen. Topplederne kommer med gode ideer, og de får lov til å supplere dem. De er ikke bare der for å gjennomføre og måle andres ideer.

Følg disse trinnene for å komme i gang:

• Begynn i det små: Ikke prøv å endre alt på én gang. Begynn i stedet med små eksperimenter som kan hjelpe deg med å lære og bygge momentum i sanntid.
• Fokuser på kunden: Eksperimenteringsfunksjonaliteten bør være fokusert på å levere verdi til kunden. Sørg for at du tester ideer som vil ha en reell innvirkning på opplevelsen deres.
• Mål alt: For å få nok data og verdi fra eksperimentene dine, er det viktig å måle alt du kan. Det betyr ikke bare å spore resultatene, men også prosessen og de grunnleggende måleparameterne du bruker for å evaluere suksessen.
• Skap en kultur for eksperimentering: Til slutt er det viktig å ha et verktøy for A/B-testing som fremmer eksperimentering og innovasjon. Dette innebærer å gi folk frihet til å prøve nye ting, belønne risikotaking og feire suksesser (og fiaskoer) underveis.

For å oppsummere...

Et program for testing er et kritisk verktøy for å drive digital transformasjon og konverteringsfrekvensoptimalisering (CRO). Ved å bygge en kultur for eksperimentering kan organisasjoner lære hva som fungerer og hva som ikke fungerer, og bruke denne kunnskapen til å drive frem endringer og levere en førsteklasses brukeropplevelse til kundene sine.

Hvis du vil ha en trinnvis guide til digital eksperimentering, kan du ta en titt på Big book of experimentation. Den inneholder over 40 bransjespesifikke eksempler på virksomheter som har gjennomført perfekte eksperimenter.