Få flere seire: Eksperimenteringsmålinger for programsuksess

Som vi nevnte i det første innlegget i denne serien, har mange bedrifter innsett at optimalisering av digitale produkter og opplevelser ikke lenger er en del av den digitale strategien som det kan forhandles om. Optimizelys strategi- og verditeam får ofte spørsmål om hvordan man operasjonaliserer et testprogram og hvordan man velger en sponsor, men for de som er nye innen eksperimentering, er kanskje den viktigste uvissheten hvordan man skal rettferdiggjøre og illustrere avkastningen på en eksperimenteringsplattform og et optimaliseringsprogram. Det finnes mange metoder for å kvantifisere avkastningen på investeringene, men det er to grunnleggende sett med beregninger du kan fokusere på for å bygge opp argumentasjonen din: bedriftens nøkkeltall og programmets beregninger.

Bedriftens viktigste mål

Når du bygger opp et optimaliseringsprogram i bedriften din, er det viktig å tilpasse programmets tester til bedriftens viktigste mål. Ved å fokusere eksperimenteringsprogrammet på å påvirke nøkkeltall, sikrer du at programmet har en direkte og tilskrivbar innflytelse på de viktigste KPI-ene for bedriften din - noe som vil være til stor hjelp i senere samtaler om avkastning på investeringen. I illustrasjonen nedenfor finner du et måltre, som er et visuelt diagram over hvordan et overordnet mål for selskapet (inntekter) sildrer ned til eksperimentmål som du kan påvirke gjennom testene dine. Hvis du ikke er kjent med måltrær, kan du finne en god forklaring i Optimizelys kunnskapsbase, i tillegg til bransjespesifikke måltrærmaler som kan hjelpe deg i gang.

Måltrær har flere formål: De hjelper deg med å kartlegge de mest verdifulle måltallene for virksomheten din og oppfordrer deg til å fokusere optimaliseringsinnsatsen på områder der gevinster vil gi mer synlighet og gjennomslagskraft. Måltrær er også en god samtalestarter for å få i gang diskusjoner og intern tilpasning. Dette er ikke en engangsøvelse - det er veldig viktig å fastsette og revidere disse målene sammen med sponsoren og nøkkelpersoner i ledelsen, spesielt når retninger og initiativer endres. Et raskt eksempel: I løpet av de siste to årene har massevis av OTT- og SVOD-strømmetjenester blitt lansert, og de har først fokusert på mål for kundeanskaffelse, som registrering av gratis prøveperiode, konverteringsfrekvens for gratis prøveperiode og totalt antall abonnenter. Men etter hvert som covid-19-restriksjonene lettes og brukerne revurderer underholdningsforbruket sitt, kan de samme merkevarene skifte fokus til målinger av kundeengasjement og oppbevaring, som totalt antall minutter sett, antall strømmestarter og månedlige aktive pålogginger - disse kan bli de viktigste forretningsmålene for ledere, interessenter og aksjonærer.

Når du har avstemt bedriftens mål og de viktigste måltallene du ønsker å påvirke, bør du fokusere på å gjennomføre overbevisende og vinnende eksperimenter. Dette leder oss over til neste sett med beregninger som du bør måle og rapportere jevnlig: Beregningene for eksperimenteringsprogrammet ditt.

Beregningene for eksperimenteringsprogrammet ditt

Mange av oss har Apple Watches eller Fitbits for å holde styr på den daglige atferden vår - skritt, kaloriforbruk, antall timer vi har sovet osv. På mange måter er eksperimenteringsprogrammets beregninger programmets Fitbit - de viser programmets helse, vekst og hvor du kan forbedre deg. Først går vi gjennom de primære måleparameterne som har direkte innvirkning på å oppnå flere seire, og deretter dykker vi dypere ned i tilleggsmålinger som kan hjelpe deg med å bygge opp et helhetlig bilde av programmets helse.

Tre viktige beregninger

Hastighet - antall tester du kjører per måned, kvartal eller år

Hastighet er sannsynligvis den mest vanlige "helsesjekk"-beregningen, ettersom den enkelt kan vise veksten i programmet ditt og ofte kan hjelpe deg med å argumentere for ekstra ressurser. Fra 2019 til 2020 økte Optimizely-kundenes hastighet med ca. 7 % i gjennomsnitt (inkludert bruk av alle våre produkter),så du bør sikte mot en vekst i antall tester på minst 10-20 % fraår tilår. Mange av våre kunder har som mål å doble antall tester (+ 100 %) fra år til år, men dette vekstnivået avhenger av programmets ressurser og modenhet. Noen programmer inkluderer tester og testideer under utvikling som en del av hastigheten, så det er lurt å ta stilling til om du også vil inkludere disse i rapporteringen, eller bare tester som er lansert. Hvis du sliter med å øke hastigheten, bruker mange Optimizely-kunder vårt On-Demand Services-tilbud for å skalere opp det månedlige antallet tester.

Konklusjonsrate: Prosentandelen av eksperimenter som har gitt et statistisk signifikant resultat på den primære måleparameteren, enten det er en gevinst eller et tap.

Du kan øke hastigheten så mye du vil, men hvis du ikke får konkluderende resultater, viser ikke disse testene deg noe du kan gjøre noe med. Du kan lære like mye av tapene som av gevinstene, og noen ganger kan tapene faktisk spare deg for store summer ved at du unngår å lansere en funksjon som ville ha ødelagt beregningene dine. I gjennomsnitt har Optimizely-kunder en konklusjonsrate på rundt 35-40 %, noe som betyr at 4 av 10 tester er konklusive. Hvis du ligger under 33 %, bør du kanskje se nærmere på hvordan du setter opp testene dine, eller ta større sjanser med variasjonene dine, ettersom en test ikke kan være en gevinst hvis den ikke er konklusiv!

Vinnerprosent - prosentandelen av eksperimenter som har gitt et statistisk signifikant resultat og løft på den primære måleparameteren.

Denne beregningen er viktig, for selv om du lærer av alle overbevisende tester, er det de gode resultatene på inntektssiden som lett kan tilskrives en fremtidig ROI-samtale. Som en referanse har Optimizely-kunder i gjennomsnitt en gevinstprosent på rundt 20 % for alle eksperimenter, men en gevinstprosent på bare 10 % for eksperimenter som er knyttet til inntekter. Det forklarer også hvorfor du må kjøre flere tester og få dem til å være avgjørende - det er en syklisk greie!

Flere beregninger som betyr noe

Selv om dette er de tre måleparameterne som eksperimenteringsutøvere oftest nevner, finnes det flere andre måleparametere som kan være svært nyttige når det gjelder å identifisere muligheter eller diagnostisere potensielle problemer i programmet ditt.

• Utviklingstid - hvor lang tid tar det å bygge og lansere tester?
  Hvis du sliter med å øke hastigheten, kan en undersøkelse av utviklingstiden hjelpe deg med å identifisere hvor du blir forsinket i testsyklusen, og hvor du kanskje trenger mer ressurser.
• Tid til produksjon - gjennomsnittlig antall dager det tar å lansere en vinnende variant
  Det er flott å oppnå gevinster, men de er bare ekte gevinster når de er live på nettstedet ditt i produksjon. Hvis du sliter med å få disse gevinstene på veikartet eller regelmessig må kjøre vinnervarianter 100 % gjennom testplattformen, bør du kanskje inkludere produkt- eller IT-teamene i de månedlige møtene dine og fortelle dem hvilke tester du skal kjøre. Kanskje kan din Exec Sponsor smøre hjulene litt? Et annet alternativ er å finne en måte å gjøre dette raskere og uten IT-ressurser, for eksempel ved å gjøre endringene selv i CMS-systemet.
• Variasjoner - hvor mange variasjoner kjører vi i gjennomsnitt per test?
  Før i tiden kalte mange av oss denne praksisen for "A/B-testing", og det var ofte nettopp det: A vs B. Nå har vi forskning og bevis på at tester med flere variasjoner (spesielt 4 eller flere) vinner i mye større grad, i tillegg til tester med flere kodelinjer. Så ikke ofre kompleksitet bare for å få tester ut av døren - det er virkelig en kunst og en vitenskap å prøve å øke hastigheten samtidig som man kjører komplekse, gjennomtenkte og dristige eksperimenter.

Nå som du vet hvilke spillere du trenger på banen, og hvilke måltall du trenger å påvirke, vil vi i neste blogginnlegg ta for oss noen av de viktigste elementene for å operasjonalisere programmet ditt. Hvis du ønsker å fordype deg ytterligere i noen av temaene, finner du lenker nedenfor!

Er du interessert i mer innhold om måltrær og måleparametere?

Optimizelys kunnskapsbase har gode artikler om måltrær, samt om primære og sekundære måleparametere. Alek Toumert har en flott gjennomgang av output- og input-målinger, og Jon Noronha forklarer hvordan han valgte måleparametere da han jobbet hos Microsoft. Og hvis du sliter med å definere din North Star Metric, kan du ta en titt på dette blogginnlegget eller denne artikkelen for å få mer veiledning om emnet.

Er du interessert i flere artikler om programmålinger?

Det finnes mye bra innhold på Knowledge Base om å iverksette tiltak basert på eksperimentresultater, statistisk signifikans og konfidensintervaller. Alek snakker om inntekter som en primær måleenhet, og Jon Noronha har et annet fantastisk blogginnlegg om skalering av hastighet og kvalitet. Du vil kanskje se at programmodenhet er nevnt i disse artiklene - finn ut hvilket modenhetsnivå programmet ditt befinner seg på ved å ta testen vår om modenhetsmodellen.