Bruk av forholdstallsmålinger for forbedret innsikt i eksperimenter

Når du kjører eksperimenter, er det å velge riktig metrikk sannsynligvis en av de viktigste prediktorene for hvor vellykket eksperimentet ditt vil være. Metrikker er kompasset som veileder teamene for innsikt som kan brukes til å ta bedre forretningsbeslutninger gjennom eksperimenteringsprogrammet ditt. Presisjonen til denne veiledningen avhenger av relevansen og nøyaktigheten til de valgte metrikkene.

Forholdsmetrikker utvider målemulighetene dine ved å la deg kombinere aggregeringer av to forskjellige hendelser innenfor én enkelt metrikk. Denne fleksibiliteten betyr at du kan konstruere målinger i eksperimenteringsplattformen din som er direkte i tråd med KPI-ene bedriften din allerede sporer i andre systemer.

Mens enkle målinger er basert på én enkelt hendelse, gir forholdstallsmål deg muligheten til å lage mer komplekse målinger som bedre gjenspeiler de faktiske forretningsmålingene dine, og hjelper deg med å ta beslutninger basert på de samme KPI-ene som driver den overordnede forretningsstrategien din.

Merk: Forholdstallsmål er tilgjengelige i Web Experimentation (WX), Feature Experimentation (FX) og Optimizely Analytics-produkter.

Bildekilde: Optimizely

Hvordan skiller forholdstallsmålinger seg fra enkle målinger?

Enkle målinger er enklere å analysere og tolke, så start alltid med en meningsfull enkel måling. Vår anbefaling er å bruke enkle målinger når de fanger opp det du måler på en tilstrekkelig måte, da de gir tydeligere og mer pålitelige datapunkter.

Forholdstallsmålinger gir imidlertid verdifull fleksibilitet når du trenger å justere eksperimenteringen din med etablerte forretnings-KPI-er. Mange organisasjoner bruker allerede forholdstallsbaserte målinger i sin daglige drift, inkludert målinger som «inntekt per økt», «kjøp per konto» eller «gjennomsnittlig ordreverdi». Forholdstallsmålinger lar deg ta med de samme målingene inn i eksperimenteringsprogrammet ditt.

Når du bruker forholdstallsmålinger, følg disse retningslinjene for nøyaktig tolkning:

1. Inkluder alltid komponentmålingene:Legg til telleren og nevneren som separate enkle målinger i samme eksperiment. Dette gir viktig kontekst for å tolke endringer i forholdet.
2. Se opp for misvisende signaler: Et forholdstall kan forbedres på grunn av en reduksjon i nevneren mens telleren forblir uendret. For eksempel kan "inntekt per besøk" øke bare fordi besøkene gikk ned, ikke fordi inntektene økte.
3. Analyser i kontekst: Bruk analysedashbordet ditt for å se det større bildet. Se på hvordan både telleren og nevneren oppfører seg for å forstå hva som driver endringene i forholdstallsmålingen din.

Her er et innblikk i Optimizely-resultater med en forholdstallsmåling.

Når kan du bruke forholdstallsmålinger for A/B-testing og eksperimentering?

Forholdstallsmålinger er spesielt effektive når du vil tilpasse målingen din med en annen nevner enn det som vanligvis brukes i enkle målinger.

For eksempel, i stedet for å spore inntekter per bruker (en enkel måleenhet), kan det være lurt å tilordne inntektene dine til klikk på legg-i-handlekurven. Denne forholdsmålingen «inntekt per klikk på legg-i-handlekurven» lar deg måle effektiviteten til handlekurvtilleggene dine i å generere inntekter.

Du kan også spore gjennomsnittlig seertid per konto. I stedet for per bruker, noe som hjelper abonnementsbaserte strømmetjenester med å forstå engasjement på husholdningsnivå.

Andre eksempler:

• Optimalisering av e-handelsprodukter: I stedet for å spore enkel inntekt per bruker, mål Inntekt per klikk på legg-i-handlekurven (Inntekt / Klikk på legg-i-handlekurven). Denne forholdsmålingen hjelper deg med å forstå om forbedringene av produktsiden din driver kjøp med høyere verdi når brukere engasjerer seg, selv om klikkratene forblir stabile.
• B2B SaaS-plattform: For bedriftsprogramvare med flere brukere per selskap, spor Funksjonsadopsjon per konto(Total funksjonsbruk / Antall kontoer) i stedet for per bruker. Dette hjelper deg med å forstå organisatoriske adopsjonsmønstre i stedet for individuell bruk.
• Strategi for innhold for strømmetjenester: I stedet for å måle seertid per bruker, spor Total seertid per husholdningskonto (Totalt antall minutter sett / Antall kontoer). Denne forholdstallsmålingen gir innsikt i innholdsengasjement på abonnementsnivå, noe som direkte påvirker retensjon.

Alt i alt lar forholdstallsmålinger deg konstruere målinger som er bedre i samsvar med hvordan bedriften din evaluerer ytelse, og bygger bro mellom eksperimentdata og dine etablerte KPI-er.

Opprette traktlignende målinger

Når forbindelse og rekkefølge av hendelser er viktig...

Fordi Optimizely beregner forholdstallsmålinger på enhetsnivå, er det også mulig å bruke dem når du analyserer forbindelsen mellom to sekvensielle hendelser.

Du kan for eksempel opprette en forholdstallsmåling som måler prosentandelen av brukere som sender inn et skjema (tellerhendelse) etter å ha klikket på et reklamebanner (nevnerhendelse). Dette skaper noe som ligner på en "traktmåling" ved å ha hendelser av antallstypen i både telleren og nevneren.

Denne tilnærmingen hjelper deg med å vurdere konverteringseffektivitet ved spesifikke berøringspunkter – som hvor effektivt reklameelementene dine driver ønskede handlinger. Du får innsikt i det betingede forholdet mellom disse tilkoblede hendelsene, noe en enkel måling (for eksempel totalt antall skjemainnsendinger) ikke ville avsløre.

Det er imidlertid viktig å huske at denne applikasjonen, selv om den er nyttig i spesifikke scenarier, er sekundær i forhold til hovedformålet med forholdstallmålinger: å lage fleksible målinger som samsvarer med dine etablerte forretnings-KPI-er.

Oppsummering...

Forholdstallmålinger gir verdifull fleksibilitet i eksperimenteringsprogrammet ditt ved å la deg konstruere målinger som er direkte samsvarende med KPI-ene bedriften din allerede bruker. Denne tilpasningen bygger bro mellom eksperimentdata og beregningene interessentene dine bryr seg mest om.

Husk disse viktige prinsippene når du arbeider med forholdstallsberegninger:

• Velg beregninger som samsvarer med dine etablerte forretningsmål og KPI-er
• Undersøk alltid komponentberegningene (teller og nevner) for fullstendig kontekst
• Bruk de statistiske mulighetene til plattformer som Optimizely for å sikre pålitelige resultater

De mest vellykkede eksperimentprogrammene velger strategisk mellom enkle og forholdstallsberegninger. Enkle beregninger tilbyr klare, pålitelige data om individuelle hendelser, mens forholdstallsberegninger gir fleksibiliteten til å justere seg etter organisasjonens etablerte KPI-er.

Ved å velge riktig beregningstype opprettes en målemetode som kobler eksperimentresultatene dine direkte til beregninger som driver forretningsbeslutninger.