Få fler vinster: Mätetal för experimentering för programframgång

Som vi nämnde i vårt första inlägg i den här serien har många företag insett att optimering av deras digitala produkter och upplevelser inte längre är en förhandlingsbar aspekt av deras digitala strategi. Optimizelys Strategy and Value-team får ofta frågor om hur man operationaliserar ett testprogram och hur man väljer en verkställande sponsor, men för dem som är nya inom experimentering kan den viktigaste okända frågan vara hur man motiverar och illustrerar ROI för en experimenteringsplattform och ett optimeringsprogram. Det finns många metoder för att kvantifiera ROI för ditt program, men det finns två grundläggande uppsättningar av mätvärden som du kan fokusera på för att bygga ditt case: ditt företags viktigaste mätvärden och mätvärdena för ditt program.

Ditt företags viktigaste mål

När du bygger upp ett optimeringsprogram på ditt företag är det viktigt att anpassa programmets testning till företagets viktigaste mål. Genom att fokusera din experimentering på att influencers nyckeltal säkerställer du att ditt program har ett direkt och hänförligt inflytande på de viktigaste KPI: erna för ditt företag - detta kommer absolut att hjälpa dig med efterföljande ROI-konversationer. I illustrationen nedan hittar du ett målträd, som är ett visuellt diagram över hur ett övergripande företagsmål (Intäkter) sipprar ner till Experiment-mål som du kan influencers genom din testning. Om du inte är bekant med målträd kan du hitta en bra förklaring i Optimizely's Knowledge Base, samt branschspecifika målträdsmallar som hjälper dig att komma igång.

Målträd har flera syften: de hjälper dig att kartlägga de mest värdefulla mätvärdena för ditt företag och uppmuntrar dig att fokusera dina optimeringsinsatser på områden där vinsterna kommer att generera mer synlighet och dragkraft. Målträden är också en bra konversationsstartare för att få igång diskussioner och intern anpassning. Det här är inte en övning som bara görs en gång - det är verkligen viktigt att sätta upp och se över dessa mål tillsammans med din verkställande sponsor och nyckelpersoner i ledningen, särskilt när riktningar och initiativ ändras. Ett snabbt exempel: under de senaste två åren har massor av OTT- och SVOD-streamingvarumärken lanserats, som inledningsvis fokuserade på kundförvärvsmått som registreringar för gratis provperiod, konverteringsgrad för gratis provperiod och totalt antal abonnenter. Men när COVID-restriktionerna lättar och användarna omvärderar sina underhållningsutgifter kan samma varumärken flytta fokus till att behålla kunder, som totala tittade minuter, streamingstart och månatliga aktiva inloggningar - dessa kan bli de viktigaste affärsmåtten för deras chefer, intressenter och aktieägare.

När du väl har anpassat dig till dina företagsmål och de viktigaste mätvärdena du vill påverka, vill du fokusera på att köra avgörande, vinnande experiment. Detta leder oss till nästa uppsättning mätvärden som du vill mäta och regelbundet rapportera om: mätvärdena för ditt program för experimentering.

Mätvärden för ditt program för experimentering

Många av oss har Apple Watches eller Fitbits för att hålla koll på och tänka på vårt dagliga beteende - steg som tas, kalorier som förbränns, timmar som sovs osv. På många sätt är ditt experimenteringsprograms mätvärden ditt programs Fitbit - de visar ditt programs hälsa, tillväxt och var du kan förbättra dig. Först går vi igenom de primära mätvärdena som direkt påverkar att få fler vinster, och sedan dyker vi djupare in i kompletterande mätvärden som kan hjälpa dig att skapa en helhetsbild av ditt programs hälsa.

Tre viktiga mätvärden

Velocity - antalet tester du kör per månad, kvartal, år

Velocity är förmodligen det mest vanliga måttet för "hälsokontroll", eftersom det enkelt kan visa tillväxten i ditt program och ofta kan hjälpa dig att förespråka ytterligare resurser. Som ett riktmärke ökade Optimizely-kundernas hastighet med cirka 7% i genomsnitt från 2019 till 2020 (inklusive användning av någon del av vår produktsvit),så du vill sikta på minst +10-20% årlig tillväxt i antalet tester. För sammanhanget siktar många av våra kunder på att fördubbla antalet tester (+100%) år över år, men denna tillväxtnivå beror på ditt programs resurser och mognad. Ett påpekande: vissa program inkluderar tester och testidéer under utveckling som en del av deras hastighet, så du måste bestämma i din rapportering om du inkluderar dem också eller bara tester som lanserats. Om du kämpar för att få fart, använder många Optimizely One-kunder vårt On-Demand Services-erbjudande för att skala upp sitt månatliga antal test.

Slutsatsfrekvens: Procentandelen av experimenten som har gett ett statistiskt signifikant resultat på det primära måttet, oavsett om det är en vinst eller en förlust.

Du kan öka hastigheten hur mycket du vill, men om du inte får några avgörande resultat visar inte testerna något som du kan agera på. Du kan lära dig lika mycket av förlusterna som av vinsterna, och ibland kan förlusterna faktiskt spara dig stora pengar genom att förhindra lanseringen av en funktion som skulle ha förstört dina mätvärden. I genomsnitt har Optimizely-kunder en slutsatsfrekvens på cirka 35-40%, vilket innebär att 4 av 10 tester är avgörande. Om du ligger under 33% kanske du vill se över hur du ställer in dina tester eller ta större risker i dina variationer, eftersom ett test inte kan vara en vinst om det inte är avgörande!

Win Rate - % av upplevelserna som har gett ett statistiskt signifikant resultat och lyft på det primära måttet.

Detta mått är viktigt eftersom även om du lär dig av alla avgörande tester, är vinsterna på intäkterna de som lätt kan hänföras till en framtida ROI-konversation. Som ett riktmärke har Optimizely-kunder i genomsnitt en vinstprocent på cirka 20% för alla experiment, men en vinstprocent på endast 10% för experiment som är knutna till intäkter. Så det förklarar också varför du behöver köra fler tester och få dem att vara avgörande - det är en cyklisk sak!

Fler mätvärden som spelar roll

Även om det här är de tre mätvärden som du hör experimenteringspersonal nämna oftast, finns det ytterligare mätvärden som kan vara till stor hjälp för att identifiera möjligheter eller diagnostisera potentiella problem inom ditt program.

• Utvecklingstid - hur lång tid tar det för tester att byggas och lanseras?
  Om du kämpar för att öka din hastighet kan en titt på utvecklingstiden hjälpa dig att identifiera var du blir försenad i testcykeln och var du kanske behöver mer resurser.
• Tid till produktion - genomsnittligt antal dagar det tar att lansera en vinnande variant
  Det är bra att fåvinnande varianter, men de är bara riktiga vinnare när de är live på webbplatsen i produktion. Om du kämpar för att få dessa vinster på din roadmap eller regelbundet måste köra vinnande variationer till 100 % genom din testplattform, kanske du behöver inkludera dina produkt- eller IT-team i dina månadsmöten och låta dem veta vilka tester du kommer att köra. Kanske kan din Exec Sponsor smörja hjulen lite? Ett annat alternativ: undersök ett sätt att göra detta snabbare och utan IT-resurser, som att göra ändringarna själv i ditt CMS.
• Variationer - hur många variationer kör vi i genomsnitt per test?
  Förr i tiden kallade många av oss denna metod för "A/B-testning", och det var ofta just det: A vs B. Nu har vi forskning och bevis för att tester med fler variationer (särskilt 4 eller fler) vinner i mycket högre grad, liksom tester med fler kodrader. Så offra inte komplexiteten bara för att få ut testerna - det är verkligen en konst och en vetenskap att försöka öka hastigheten samtidigt som man kör komplexa, genomtänkta och djärva experiment.

Nu när du vet vilka spelare du behöver på planen och vilka mätvärden du behöver influencers, kommer vi att använda vårt nästa blogginlägg för att gå igenom några viktiga delar för att operationalisera ditt program. Om du vill fördjupa dig ytterligare i något av ämnena hittar du länkar nedan!

Är du intresserad av mer innehåll om målträd och mätetal?

Optimizely's Knowledge Base har bra artiklar om målträd, samt om primära och sekundära mätetal. Alek Toumert gör en bra genomgång av output- och input-mätetal, och Jon Noronha förklarar hur han valde mätetal när han arbetade på Microsoft. Och om du kämpar med att definiera ditt North Star Metric, kolla in det här blogginlägget eller den här artikeln för mer vägledning i det ämnet.

Är du intresserad av fler artiklar om programmätetal?

Det finns mycket bra innehåll på Knowledge Base om att vidta åtgärder baserat på resultat från Experiment,statistisk signifikans och konfidensintervall. Alek talar om intäkter som ett primärt mått, och Jon Noronha har ett annat fantastiskt blogginlägg om att skala upp hastighet och kvalitet. Du kanske ser att Program Maturity nämns i dessa artiklar - ta reda på ditt programs mognadsnivå genom att göra vårt quiz om mognadsmodellen.