A/B-testning: Så här börjar du köra perfekta experiment

När vi skapar digitala upplevelser tror vi ofta att vi vet vad som är bäst för våra användare. Vi designar om webbplatser, finjusterar gränssnitt och utformar marknadsföringsbudskap med självförtroende.

Men här kommer en nedslående verklighetskoll: Endast 12 % av experimenten är faktiskt framgångsrika.

Den här statistiken är inte bara överraskande - den är en väckarklocka. Den avslöjar ett grundläggande missförstånd om hur användare interagerar med digitala produkter och tjänster. Sanningen är att vi använder förnuft och logik för att förstå något som varken är rationellt eller logiskt: mänskligt beteende.

De flesta användarinteraktioner drivs av undermedvetna processer, inte av det medvetna, rationella tänkande som vi föreställer oss. När vi enbart förlitar oss på vår intuition eller upplevelse projicerar vi ofta våra egna fördomar snarare än att förstå vår mångsidiga användarbas.

Det är här A/B-testning och experimentering blir ovärderliga. De är inte bara ett verktyg för optimering - de är ett fönster in till användarnas sanna beteende. Genom att sätta upp kontrollerade experiment kan vi gå bortom antaganden och låta verkliga data vägleda våra beslut.

I den här artikeln kan du läsa om hur du utmanar antaganden, fattar datainformerade beslut och bygger upp en experimenteringskultur där osäkerhet accepteras och där man lär sig av misslyckanden.

Värdet av experimentering och ledarskapets roll

Attbygga uppen experimenteringskultur skapar ett enormt värde för företag. Harvard Business School gjorde en studie där de tittade på det värde som testning gav nystartade företag, särskilt inom e-handeln. De fann att investerare var villiga att investera 10 % mer i företag som genomförde experiment än i företag som inte gjorde det.

Varför experimentering är viktigt:

1. Riskreducering: Du kan minska kostsamma misstag genom att testa en idé först istället för att bygga ut den till en fullfjädrad upplevelse, produkt eller funktion.
2. Kontinuerlig förbättring: Genom kontinuerlig optimering kan du förbättra det som redan fungerar på din webbplats.
3. Kundfokuserad: Du kan anpassa dig till kundernas faktiska preferenser och ge dem personaliserade upplevelser som de faktiskt vill ha.
4. Konkurrensfördelar: Du kan överträffa konkurrenterna när det gäller att möta marknadens krav.

Och om du är orolig för negativ påverkan från ledningsgruppen, så är det inte alltid den högst betalda personens åsikt som ska väga tyngst. Om du är en ledare bör du i stället göra det:

• Uppmuntra till deltagande: Ge alla möjlighet att bidra med idéer och genomföra experiment.
• Omfamna misslyckanden: Erkänna misslyckade experiment som möjligheter till lärande.
• Föregå med gottexempel: Utmana dina egna antaganden genom testning.

Utforma effektiva experiment

Många organisationer går i fällan att analysera för mycket och experimentera för lite, och gör minimala förändringar av försiktighetsskäl. Detta tillvägagångssätt:

• Tar för lång tid för att ge meningsfulla resultat
• ger ofta effekter som är för små för att vara signifikanta
• Håller inte jämna steg med förändrade kundbeteenden

Anamma istället djärv experimentering:

• Gör större förändringar: Testa betydande ändringar.
• Kombinera flera element: Testa omfattande redesigns snarare än isolerade tweaks.
• Prioritera påverkan: Fokusera på experiment som har potential att leda till betydande förbättringar av mätvärden.

I våra lärdomar från 127 000 experiment fann vi faktiskt att experiment med större förändringar och mer än 3 variationer gav 10% mer effekt.

Förstå mognadsnivån i ditt program

För att förstå var din organisation står och hur du ska gå vidare i din experimentering kan du överväga följande Experimentation Maturity Model:

1. Ad-hoc-testning

Sporadiska tester, ingen formell process, begränsad uppslutning.

• Utmaningar: Inkonsekventa resultat, brist på resurser
• Nästa steg: Upprätta ett regelbundet schema för testning, säkra sponsring från ledningen

2. Strukturerad experimentering

Dedikerade testteam, definierade processer, regelbundna tester

• Utmaningar: Åtskild information, begränsat tvärfunktionellt samarbete
• Nästa steg: Implementera en centraliserad kunskapsbas, uppmuntra experimentering mellan olika team

3. Datadriven kultur

Testning implementerat i alla större beslut, tvärfunktionellt samarbete

• Utmaningar: Balansera hastighet och noggrannhet, prioritera experiment
• Nästa steg: Utveckla avancerade prioriteringsramverk, investera i snabbare infrastruktur för testning

4. Prediktiv optimering

AI-driven testning, automatiserad personalisering, prediktiv modellering

• Utmaningar: Etiska överväganden, bibehållen mänsklig tillsyn
• Nästa steg: Upprätta etiska riktlinjer, kontinuerligt omvärdera och förfina AI-modeller

Vetenskapen bakom ett bra experiment

Låt oss säga att ditt företag bestämmer sig för att lägga till nya filter på produktsidorna som en ny funktion. En ingenjör går ut, bygger koden för att skapa ett filter och gör sig redo att implementera det högst upp på sidan. Det finns bara en enda version av det filtret. Om det misslyckas vet vi inte om besökarna inte vill ha filter eller om användbarheten för det filtret bara är dålig.

Därför är det bra om du vill ha ett filter, men ha olika versioner av det. Du kan prova det högst upp på sidan, på vänster sida och på andra ställen. Du kan ha det fast eller flytande och till och med ändra ordningen på filtren också.

Fördelen med det här experimentet är att när du har kört det här testet, låt oss säga att alla varianter av ditt filter förlorar. Nu vet du definitivt att filter inte är nödvändiga för dina kunder. Det är dags att fokusera på något annat. Eller om en version av filter som du testat vinner, implementerar du bara det snabbt. Att bara köra ett filter utan några alternativ kan leda till feltolkning av resultaten.

För att få ut mesta möjliga värde av multivariat testning bör du närma dig den på ett strukturerat och systematiskt sätt. Det innebär följande:

1. Definiera en hypotes: Innan du börjar experimentera måste du ha en klar uppfattning om vad du testar, din målgruppsinriktning och vad du hoppas kunna uppnå. Definiera en hypotes i din mall - ett uttalande som beskriver vad du förväntar dig ska hända som ett resultat av ditt experiment.
2. Utforma experimentet: När du har en hypotes måste du utforma ett experiment som ska testa den. Det innebär att du identifierar de variabler du ska testa, beräknar urvalsstorleken och bestämmer hur du ska mäta resultaten.
3. Genomföraexperimentet: När experimentet är utformat är det dags att köra det. Detta innebär att du implementerar de förändringar du testar och samlar in kvantitativa data.
4. Analysera resultaten: När experimentet är klart är det dags att analysera resultaten av A/B-testningen. Detta innebär att du tittar på de data du har samlat in och avgör om din testhypotes stöddes eller inte.
5. Iterera och lära: Använd det du har lärt dig av experimentet för att iterera och förbättra din strategi. Det innebär att du använder data för att fatta välgrundade beslut om vad du ska göra härnäst och att du fortsätter att experimentera och lära dig under tiden.

Idéer för A/B-testning

Här är några exempel på idéer som du kan testa.

• E-handel: Testa layouter, bildstorlekar och placeringar av knappen "Lägg i varukorgen". Experimentera med checkout på en sida jämfört med checkout i flera steg. Quip ökade till exempel konverteringsgraden med 4,7 % genom att testa på produktvisningssidorna.
• Ekonomi: Förfina riskbedömningsmodeller och testa strategier för segmentering av produktrekommendationer. RAKBANK förbättrade t.ex. engagemanget på webbplatsen med 37%.
• Media: Testa rekommendationsalgoritmer. Experimentera med betalväggsutlösare och meddelanden. Till exempel lanserade Channel 4 150+ tester med stor genomslagskraft på ett år.

Och om du vill ha fler idéer har vi en lista med 101 idéer som hjälper dig att optimera dina digitala upplevelser från början till slut.

Så här börjar du din resa med experimentering

Data är avgörande för att mäta effekten av dina experiment och fatta datadrivna beslut. Det är viktigt att ha en tydlig förståelse för de mätvärden du använder för att utvärdera framgång och att mäta allt du kan för att få ut mesta möjliga värde av dina experiment.

Låt oss först se vad vi ska undvika. När de flesta börjar med experimentering antar de att det handlar om att göra en enkel justering.

Om vi till exempel ändrar färgen från röd till blå kommer detta psykologiskt att trigga antalet besökare att köpa mer och öka konverteringsgraden. Det fina med ett knappfärgstest är att om det vinner tjänar du pengar, och om det förlorar förlorar du kanske 15 minuter av din tid. Det är väldigt enkelt att köra.

Men för att få en meningsfull effekt på användarnas beteende måste du göra något mycket grundläggande som kommer att påverka deras upplevelse och ge ett betydande resultat.

För de flesta företag ligger experimentering ofta i periferin av beslutsfattandet, så det är någon som bara är där för att välja färg på en bil som redan är helt designad och monterad. Eller så är det något som drivs av det högsta ledarskapet. VP:er och chefer på C-nivå tar alla beslut, och det finns ett team på plats som bara tvingas agera utifrån vad de ber om, men sedan har de friheten att experimentera.

Bra experimentering är ett äktenskap mellan alla dessa. En plats där människor har rätt att göra justeringar. De har rätt att vara delaktiga i utformningen av själva fordonet och de är en partner till de högre cheferna i beslutsfattarprocessen. Högre chefer kommer med bra idéer, och de får komplettera dem. De är inte bara där för att verkställa och mäta andras idéer.

Följ dessa steg för att komma igång:

• Börja i liten skala: Försök inte att förändra allt på en gång. Börja istället med små experiment som kan hjälpa dig att lära dig och bygga upp momentum i realtid.
• Fokusera på kunden: Experimenteringens funktionalitet bör vara fokuserad på att leverera värde till kunden. Se till att du testar idéer som kommer att ha en verklig inverkan på deras upplevelse.
• Mät allt: För att få tillräckligt med data och värde från dina experiment är det viktigt att mäta allt du kan. Det innebär att du inte bara ska spåra resultaten, utan även processen och de baslinjemått som du använder för att utvärdera framgången.
• Skapa en experimenteringskultur: Slutligen är det viktigt att ha ett verktyg för A/B-testning som lyfter experimentering och innovation. Det innebär att ge människor friheten att prova nya saker, belöna risktagande och fira framgångar (och misslyckanden) längs vägen.

För att sammanfatta...

Ett testningsprogram är ett kritiskt verktyg för att driva digital transformation och konverteringsoptimering (CRO). Genom att bygga en experimenteringskultur kan organisationer lära sig vad som fungerar och vad som inte fungerar, och använda den kunskapen för att driva förändring och leverera en förstklassig användarupplevelse till sina kunder.

För en steg-för-steg-guide till digital experimentering, kolla in Big book of experimentation. Den innehåller 40+ branschspecifika användningsfall från företag som genomfört perfekta experiment.