Det finns en anledning till att vissa experimentprogram skalas upp medan andra stagnerar.
Förra månaden satte jag mig ner med en digital vicepresident på en Fortune 500-återförsäljare med en välbekant utmaning. Deras vinstfrekvens? Över branschgenomsnittet. Deras testhastighet? Tillväxt kvartal för kvartal. Ändå ställde VD:n i sin kvartalsöversikt en fråga som fick dem att stanna upp helt:
Vi kör fler tester än någonsin, men varför påverkar inte detta vårt resultat?
De flesta experimentprogram kämpar eftersom de:
- Firar ytliga vinster (Titta, knappfärgsbytet fungerade)
- Jager testhastighet utan effekt (Vi körde 50 % fler tester detta kvartal)
- Samlar in fåfänga-statistik (Vår vinstfrekvens är över branschgenomsnittet)
Att ställa in rätt mätvärden är en ständig utmaning som vi hjälper kunder att övervinna, särskilt när de försöker skala upp sina experimentprogram.
I den här bloggen kan du läsa:
- Vilka mätvärden förutsäger faktiskt programtillväxt
- Hur ledande program bevisar massiv ROI (utan att spela med system)
- Ett praktiskt ramverk för att utveckla dina mätvärden allt eftersom ditt program skalar upp
- De dolda mätvärdena med hög effekt som de flesta program missar
Bra mätvärden räknar inte bara saker, de berättar historier som driver tillväxt.
Vanliga misstag att undvika med mätvärden
Tre vanliga mönster som hindrar bra program från att skala upp:
1. Besattheten av vinstfrekvenser
Program hyllar ofta vinstfrekvenser, men när man gräver djupare är dessa "vinster" mestadels mindre justeringar med minimal affärspåverkan. Data säger oss att bara 12 % av experimenten vinner.
Källa: Optimizely Evolution of Experimentation Report
Visst, vinstfrekvensen är viktig - särskilt när du försöker få stöd i början av ditt program. Men för att ta ditt program till nästa mognadsnivå måste du gå förbi det och börja rama in värdet av experiment i termer av uppsving och översätta vinstfrekvenser till förväntad effekt per test.
Skulle du till exempel hellre ha tester som vinner 10 % av tiden men levererar en miljon dollar i ökning? Eller tester som vinner 50 % av tiden men bara levererar 100 dollar i extra intäkter? (Du behöver egentligen inte svara på den frågan.)
Varje experiment levererar värde - förlorande tester förhindrar skadliga förändringar, medan ofullständiga resultat sparar resurser från områden med låg påverkan.
2. Hastighetsillusionen
Testkvantitet ensam förutsäger inte programmets framgång. De flesta framgångsrika program kör inte bara fler tester, de kör bättre. De:
- Testar ett större antal variationer samtidigt
- Ändrar inte bara hastighet utan även större förändringar och påverkan
- Gör större kodändringar med större effekt på användarupplevelsen
3. Problemet med ytliga mätvärden
De flesta program spårar dussintals mätvärden men kämpar med att svara på frågor om affärspåverkan.
De mäter allt utom det som är viktigt:
- Spårar klick men inte påverkar kundresan
- Räknar sidvisningar men inte köpintention
- Mäter ytligt engagemang men inte djupt användarbeteende
Typ av mätvärden
Över 90 % av experimenten riktar in sig på 5 vanliga mätvärden:
- CTA-klick
- Intäkter
- Kassa
- Registrering
- Lägg till i varukorgen
Men 3 av dessa topp 5 mätvärden har relativt låg förväntad effekt.
Bild: Mätvärden efter effektandel
Det är tydligt att mätvärden med hög effekt förbises. Trots att de bara testas 1 % av gångerna visar sökoptimering den högsta förväntade effekten på 2,3 %.
- Kunder som söker konverterar 2–3 gånger mer än webbläsare
- Sökmönster avslöjar omedelbara intäktsmöjligheter
- Sökningar utan resultat belyser produktgap
Resmätvärden
Ett annat sätt att skala upp ditt experimentprogram är att mäta hela kundresor snarare än att fokusera på enskilda sidmätvärden.
Tänk på din egen produktresa. En kund fattar sällan ett beslut baserat på en enda sida eller funktion. De går igenom en serie interaktioner, där varje interaktion bygger vidare på den förra. Ändå optimerar de flesta program fortfarande dessa kontaktpunkter isolerat.
Ett stort SaaS-företag vi arbetar med har nyligen gått från att enbart optimera konverteringsfrekvensen på sin prissida till att mäta hela sin överväganderesa. Deras "vinnande" prissida-test skapade faktiskt friktion längre ner i tratten. Genom att byta till resebaserad mätning ökade de sin konverteringsfrekvens.
Viktiga resemått att beakta:
- Interaktionsmönster över sidor som visar hur användare faktiskt navigerar i din produkt
- Överge punkter i komplexa flöden, särskilt flerstegsprocesser som utcheckning eller onboarding
- Förändringar i återkommande besöksbeteende som signalerar långsiktig påverkan på engagemanget
- Attribuering till flera kontaktpunkter för att förstå vilka kombinationer som driver konvertering
Sammansatta mätvärden
Du kan också kombinera mätvärden på oväntade sätt. Istället för att titta på övergivande varukorgsfrekvens isolerat kan du kombinera den med data om kundens livstidsvärde. Potentiella kunder jämför ofta alternativ innan de gör större åtaganden.
Här är exempel på sammansatta mätvärden för att driva större effekt:
- Kundförvärvskostnad i kombination med livstidsvärde avslöjar den verkliga avkastningen på experimentet.
- Funktionsimplementering i kombination med kundlojalitetsmått visar vilka produktändringar som består.
- Priskänslighet som analyseras tillsammans med köpfrekvens identifierar dina mest värdefulla optimeringsmöjligheter.
Kom ihåg att primära mätvärden varierar beroende på bransch på grund av skillnader i mål, prioriteringar och spårningsmöjligheter.
Källa: Optimizely Evolution of Experimentation Report
Fler tester = mer värde. Även data säger att det inte är sant.
Är det verkligen så enkelt som att fler tester = mer värde?
När du får igång ditt program, säg de första 12-18 månaderna, ja - kör så många tester som möjligt. Det hjälper dig att bygga en databas med framgångsrika berättelser i syfte att vinna mer resurser och etablera en experimentkultur.
Att gå till nästa nivå handlar dock inte nödvändigtvis om att öka hastigheten. Det handlar om att fokusera på komplexitet och gå bortom kosmetiska förändringar. Små justeringar tenderar att resultera i små förbättringar. Vår forskning visade oss att experimenten med den högsta ökningen har två saker gemensamt:
- De gör större kodändringar med större effekt på användarupplevelsen.
- De testar ett större antal varianter samtidigt.
Mer komplexa experiment som gör stora förändringar i användarupplevelsen, t.ex. prissättning, rabatter, utcheckningsflöde, datainsamling etc., är mer benägna att generera högre ökningar.
Analysens roll
För att spåra kundresemått och skapa sammansatta mätvärden behöver du att dina data fungerar tillsammans. Men de flesta experimentprogram står inför ett grundläggande hinder eftersom deras data finns i silos. Webbanalys på ett ställe, kunddata på ett annat och experimentresultat någon helt annanstans.
Det är här databasbaserad analys förändrar spelet.
- Testa mot alla mätvärden i ditt lager, från intäkter till livstidsvärde, utan komplexa datapipelines.
- Svara på sofistikerade affärsfrågor på några minuter, inte dagar. Generera kohortinsikter i farten.
- Kör experiment över webben, e-post och CRM med Stats Engine, allt analyserat på ett ställe.
- Förvara känslig data i ditt lager samtidigt som du kör sofistikerade experiment.
- Avsluta metriska debatter med alla som arbetar från samma lagerdata.
Se varför lagerbaserad analys är nutiden och framtiden för datadriven experimentering.
Dessutom bör dina analysmöjligheter gå utöver att bara konsolidera data. Listan inkluderar:
- Heatmapping:Gå bortom grundläggande klickspårning för att förstå hur användarinteraktioner leder till intäkter över hela kundresan.
- Anpassade händelser:Bryt dig loss från fördefinierade händelser och spåra allt användarbeteende som är viktigt för ditt företag, inklusive komplexa interaktionssekvenser och konverteringsvägar i flera steg.
- Attribuering till flera kontaktpunkter:Förstå hur experiment påverkar hela kundresan, spåra vägar över flera enheter och mät effekten av fördröjd konvertering.
- Statistisk signifikans: Kör sofistikerade analyser utan att offra hastighet, utnyttja automatiserad testning och sekventiell analys för att fatta snabbare och mer exakta beslut.
Dessa funktioner kommer att förvandla din analysmotor från ett passivt rapporteringssystem till en aktiv insiktsgenerator.
Hur man väljer mätvärden i olika programfaser
Varje framgångsrikt experimentprogram går igenom olika faser. Så här utvecklar du din mätvärdesstrategi i varje fas och vet när du är redo att gå upp i nivå.
1. Tidigt skede: Bygga grunden
I det här skedet är ditt primära mål att bevisa att experiment fungerar. Du kan börja med två eller tre kärnmätvärden och en enkel instrumentpanel.
Fokusområden:
- Grundläggande konverteringsstatistik som är direkt kopplad till intäkter
- Testhastighet för att visa programmets momentum
- Enkla vinst-/förlustförhållanden för intressentkommunikation
Framgångsindikatorer:
- Konsekvent statistisk signifikans i resultaten
- Tydlig dokumentation av testlärdomar
- Grundläggande ROI-beräkningar för stora vinster
- Växande intressenters intresse för resultat
Exempel: Konverteringsfrekvens, testhastighet, enkla vinst-/förlustförhållanden
2. Tillväxtfas: Ökad effekt
Det är här ditt program börjar driva meningsfull affärsförändring. De mätvärden som tog dig hit kommer inte att ta dig till nästa nivå.
Viktiga övergångar:
- Gå från att räkna tester till att mäta affärspåverkan
- Börja spåra intäkter per experiment
- Introducera kundresebaserade mätvärden
- Bygg djupare insikter om användarbeteende
Varningstecken på att du har kört fast:
- För många små, ytliga tester
- Svårigheter att koppla resultat till intäkter
- Begränsad insyn i användarresor
- Intressenter ifrågasätter programvärdet
Exempel: Intäktsökning, påverkan på kundresan, konverteringsfrekvens från flera kontaktpunkter
3. Avancerat skede: Strategisk drivkraft
I detta skede blir experimenterande en kärnverksamhetsdrivkraft. Dina mätvärden måste återspegla denna strategiska roll.
Avancerade mätvärden inkluderar:
- Sammansatta mätvärden som avslöjar dolda möjligheter
- Inlärningshastighet mellan team
- Mätningar av resurseffektivitet
- Strategiska riskundvikningsgrader
Exempel: Inlärningshastighet, resurseffektivitet, strategisk riskundvikningsgrad
Implementeringsguide
Fem att göra för att utvärdera dina mätvärden:
- Kartlägg din mätvärdenshierarki: Skilj mellan indatamätvärden (användaråtgärder) och utdatamätvärden (affärsresultat). En detaljhandelskund upptäckte att deras "lyckade" tester optimerade klick men skadade köp. Mer om hur du maximerar dina KPI:er.
- Fråga varje mätvärde: Fråga "Varför finns detta mätvärde?" för varje mätvärde. En B2B-kund minskade sina mätvärden från 47 till 10 kärnmått och såg intressentengagemang fördubblas.
- Granska dina datakällor: Kontrollera var varje mätvärdes data kommer ifrån och hur det samlas in. Vanliga fallgropar inkluderar isolerade data och inkonsekvent spårning.
- Granska statistisk hälsa: Verifiera urvalsstorlekar och signifikansgrader. Väntar du för länge på resultat eller fattar du beslut för snabbt?
- Kontrollera affärsanpassning: Koppla varje mätvärde till ett specifikt affärsmål. Ta bort mätvärden som inte direkt påverkar beslut.
Så här gick Carl Ras från att spåra grundläggande konverteringsmätvärden till att mäta kompletta kundresor, vilket avslöjade oväntade samband mellan produktupptäckt och köpbeteende. Resultatet blev en ökning på 35 % i onlineförsäljning och 10 % högre genomsnittligt ordervärde.
Checklista för implementering av mätvärden:
1. Bygg din mätvärdesgrund
- Välj 2–3 primära utdatamätvärden
- Definiera stödjande indatamätvärden
- Sätt tydliga övervakningströsklar
2. Möjliggör framgång över flera team
- Skapa delade dashboards
- Etablera granskningsprocesser
- Spåra teamspecifika effekter
Tre slutsatser i korthet
Sammanfattningsvis, här är tre slutsatser:
- Att grunda en hypotes i data och mäta rätt mätvärden
påverkar hur team utför idégenerering och design. Gå vidare till den resebaserade mätningen som fångar den kompletta kundupplevelsen.
- Fokusera på sammansatta mätvärden som kombinerar olika datapunkter för att avslöja djupare insikter, som att para ihop kundförvärvskostnad med livstidsvärde.
- Matcha mätvärden med ditt programs mognad. Börja med kärnkonverteringar, expandera sedan till resemått och slutligen gå vidare till strategiska mätningar som driver affärsbeslut.