När vi skapar digitala upplevelser tror vi ofta att vi vet vad som är bäst för våra användare. Vi designar om webbplatser, justerar gränssnitt och utformar marknadsföringsbudskap med självförtroende.
Men här är en allvarlig verklighetskontroll: Endast 12 % av experimenten vinner faktiskt.
Denna statistik är inte bara förvånande – den är en väckarklocka. Den avslöjar ett grundläggande missförstånd om hur användare interagerar med digitala produkter och tjänster. Sanningen är att vi använder förnuft och logik för att förstå något som varken är rationellt eller logiskt: mänskligt beteende.
De flesta användarinteraktioner drivs av undermedvetna processer, inte det medvetna, rationella tänkande vi föreställer oss. När vi enbart förlitar oss på vår intuition eller erfarenhet projicerar vi ofta våra egna fördomar snarare än att förstå vår mångsidiga användarbas.
Det är här A/B-testning och experiment blir ovärderliga. De är inte bara ett verktyg för optimering – de är ett fönster in i den sanna naturen hos användarbeteende. Genom att skapa kontrollerade experiment kan vi gå bortom antaganden och låta verkliga data vägleda våra beslut.
I den här artikeln får du se hur du utmanar antaganden, fattar datainformerade beslut och bygger en experimentkultur som omfamnar osäkerhet och lär sig av misslyckanden.
Värdet av experiment och ledarskapets roll
Att bygga en experimentkultur ger enormt värde för företag. Harvard Business School gjorde enstudie där de tittade på de värdetester som erbjuds startups, särskilt inom e-handelsbranschen. De fann att investerare var villiga att investera 10 % mer pengar i företag som experimenterade än i de som inte gjorde det.
Varför experiment är viktigt:
- Riskreducering: Du kan minska kostsamma misstag genom att testa en idé först istället för att bygga upp den till en fullfjädrad upplevelse, produkt eller funktion.
- Kontinuerlig förbättring: Genom kontinuerlig optimering kan du förbättra det som redan fungerar på din webbplats.
- Kundcentrering: Du kan anpassa dig till faktiska kunders preferenser och leverera personliga upplevelser som de faktiskt vill ha.
- Konkurrensfördel: Du kan överträffa konkurrenterna när det gäller att möta marknadens krav.
Och om du är orolig för negativ intervention från ledningsgruppen, då borde den högst betalda personens åsikt inte alltid räknas mest. Om du är en ledare bör du istället:
- Uppmuntra deltagande: Ge alla möjlighet att bidra med idéer och genomföra experiment.
- Omfamna misslyckanden: Se misslyckade experiment som lärandemöjligheter.
- Föregå med gott exempel: Utmana dina egna antaganden genom testning.
Utforma effektfulla experiment
Många organisationer faller i fällan att överanalysera och underexperimentera, och gör minimala förändringar av försiktighet. Denna metod:
- Tar för lång tid att ge meningsfulla resultat
- Ger ofta effekter som är för små för att vara signifikanta
- Håller inte jämna steg med förändrat konsumentbeteende
Omfamna istället djärva experiment:
- Gör större förändringar: Testa betydande modifieringar.
- Kombinera flera element: Testa omfattande omdesigner snarare än isolerade justeringar.
- Prioritera effekt: Fokusera på experiment med potential för betydande mätförbättringar.
Faktum är att vi i våralärdomar från 127 000 experiment fann att experiment med större förändringar och mer än 3 variationer hade 10 % större effekt.
Förstå mognadsnivån för ditt program
För att förstå var din organisation står och hur du kan gå vidare i din experimentresa, överväg följande experimentmognadsmodell:
1. Ad-hoc-testning
Sporadiska tester, ingen formell process, begränsat engagemang.
- Utmaningar: Inkonsekventa resultat, brist på resurser
- Nästa steg: Upprätta ett regelbundet testschema, säkra ledningens sponsring
2. Strukturerad experimentering
Dedikerat testteam, definierade processer, regelbundna tester
- Utmaningar: Isolerad information, begränsat tvärfunktionellt samarbete
- Nästa steg:Implementera en centraliserad kunskapsbas, uppmuntra experimentering mellan team
3. Datadriven kultur
Testning integrerad i alla större beslut, tvärfunktionellt samarbete
- Utmaningar: Balansera hastighet och noggrannhet, prioritera experiment
- Nästa steg: Utveckla avancerade prioriteringsramverk, investera i snabbare testinfrastruktur
4. Prediktiv optimering
AI-driven testning, automatiserad personalisering, prediktiv modellering
- Utmaningar:Etiska överväganden, upprätthållande av mänsklig tillsyn
- Nästa steg: Upprätta etiska riktlinjer, kontinuerligt omvärdera och förfina AI-modeller
Vetenskapen bakom ett bra experiment
Låt oss säga att ditt företag bestämmer sig för att lägga till nya filter på produktsidorna som en ny funktion. En ingenjör går ut, bygger koden för att skapa ett filter och gör sig redo att implementera det högst upp på sidan. Det finns bara en enda version av det filtret. Om det misslyckas vet vi inte om besökarna inte vill ha filter eller om användbarheten hos det filtret bara är dålig.
Därför är det bra om du vill ha ett filter, men har olika versioner av det. Du kan prova det högst upp på sidan, till vänster och på andra ställen. Du kan ha det fast eller flytande, och till och med ändra ordningen på filtren.
Fördelen med detta experiment är att när du har kört det här testet, låt oss säga att alla varianter av ditt filter förlorar. Nu vet du definitivt att filter inte är nödvändiga för dina kunder. Det är dags att fokusera på något annat. Eller om en version av filter du provat vinner, implementerar du bara det snabbt. Att bara köra ett filter utan några alternativ kan leda till feltolkning av resultaten.
För att få ut mesta möjliga av multivariat testning, närma dig det på ett strukturerat och systematiskt sätt. Det innebär:
- Definiera en hypotes:Innan du börjar experimentera, ha en tydlig uppfattning om vad du testar, din målgrupp och vad du hoppas uppnå. Definiera en hypotes i din mall - ett påstående som beskriver vad du förväntar dig ska hända som ett resultat av ditt experiment.
- Utforma experimentet:När du har en hypotes måste du utforma ett experiment som testar den. Det innebär att identifiera de variabler du ska testa,beräkna urvalsstorleken och bestämma hur resultaten ska mätas.
- Köra experimentet:När experimentet är utformat är det dags att köra det. Detta innebär att implementera de ändringar du testar och samla in kvantitativa data.
- Analysera resultaten:När experimentet är klart är det dags att analysera A/B-testresultaten. Detta innebär att titta på den data du har samlat in och avgöra om din testhypotes stöddes eller inte.
- Iterering och lärande:Använd det du har lärt dig från experimentet för att iterera och förbättra din metod. Det innebär att använda data för att fatta välgrundade beslut om vad du ska göra härnäst och fortsätta experimentera och lära dig allt eftersom.
A/B-testidéer
Här är några exempel på idéer du kan testa.
- E-handel: Testa layouter, bildstorlekar och placeringar av "Lägg till i varukorgen"-knappar. Experimentera med utcheckningar på en sida kontra utcheckningar i flera steg. Till exempel Quip ökade orderkonverteringsfrekvensen med 4,7 % genom att testa på produktvisningssidorna.
- Ekonomi: Förfina riskbedömningsmodeller och testa segmenteringsstrategier för produktrekommendationer. Till exempel RAKBANK förbättrade webbplatsens engagemang med 37 %.
- Media: Testrekommendationsalgoritmer. Experimentera med betalväggsutlösare och meddelanden. Till exempel Channel 4 lanserade över 150 tester med hög effekt på ett år.
Och om du vill ha fler idéer har vi en lista med 101 idéer som hjälper dig att optimera dina digitala upplevelser från början till slut.
Hur du startar din experimentresa
Data är avgörande för att mäta effekten av dina experiment och fatta datadrivna beslut. Det är viktigt att ha en tydlig förståelse för de mätvärden du använder för att utvärdera framgång och att mäta allt du kan för att få ut mesta möjliga av dina experiment.
Först, låt oss se vad vi ska undvika. När de flesta börjar experimentera antar de att det handlar om att göra en enkel justering.
Om vi till exempel ändrar färg från röd till blå, kommer detta psykologiskt att utlösa antalet besökare att köpa mer och öka konverteringsfrekvensen. Det fina med ett knappfärgstest är att om det vinner tjänar du pengar, och om det förlorar förlorar du kanske 15 minuter av din tid. Det är väldigt enkelt att köra.
Men för att ha en meningsfull effekt på användarbeteendet måste du göra något väldigt grundläggande som kommer att påverka deras upplevelse och ge ett betydande resultat.
För de flesta företag är experiment ofta väldigt mycket i utkanten av beslutsfattandet, så det är någon som bara är där för att plocka upp färgskiktet på en bil som redan är helt designad och monterad. Eller så är det något som drivs av den högre ledningen. VP:er och chefer på C-nivå fattar alla beslut, och det finns ett team på marken som bara tvingas att agera utifrån vad de ber om, men sedan har de friheten att experimentera.
Bra experiment är en kombination av alla dessa. En plats där människor har rätt att göra justeringar. De har rätt att vara involverade i designen av själva fordonet, och de är en partner till högre chefer i den beslutsprocessen. Ledare kommer med fantastiska idéer, och de får utöka dem. De är inte bara där för att genomföra och mäta andras idéer.
Följ dessa steg för att komma igång:
- Börja smått: Försök inte ändra allt på en gång. Börja istället med små experiment som kan hjälpa dig att lära dig och bygga momentum i realtid.
- Fokusera på kunden:Experimentfunktionalitet bör fokusera på att leverera värde till kunden. Se till att du testar idéer som kommer att ha en verklig inverkan på deras upplevelse.
- Mät allt: För att få tillräckligt med data och värde från dina experiment är det viktigt att mäta allt du kan. Det innebär att spåra inte bara resultaten, utan också processen och de baslinjemått du använder för att utvärdera framgång.
- Skapa en experimentkultur: Slutligen är det viktigt att ha ett A/B-testverktyg som höjer läget för experiment och innovation. Det här innebär att ge människor friheten att prova nya saker, belöna risktagande och fira framgångar (och misslyckanden) längs vägen.
Sammanfattning...
Ett testprogram är ett viktigt verktyg för att driva digital transformation och Konverteringsfrekvensoptimering (CRO). Genom att bygga en experimentkultur kan organisationer lära sig vad som fungerar och vad som inte fungerar, och använda den kunskapen för att driva förändring och leverera en förstklassig användarupplevelse till sina kunder.
För en steg-för-steg-guide till digitala experiment, kolla in Big book of experimentation. Den innehåller över 40 branschspecifika användningsfall av företag som genomfört perfekta experiment.