Använda nyckeltal för bättre insikter om experimentering

När du genomför experiment är valet av lämpligt mätvärde förmodligen en av de viktigaste faktorerna för hur framgångsrikt ditt experiment kommer att bli. Måtten är den kompass som vägleder teamen till insikter som kan användas för att fatta bättre affärsbeslut genom experimentering. Precisionen i denna vägledning beror på relevansen och noggrannheten i de valda mätvärdena.

Ratio-mått utökar dina funktioner genom att du kan kombinera aggregerade värden för två olika händelser i ett enda mått. Denna flexibilitet innebär att du kan konstruera mätvärden i din plattform för experimentering som är direkt anpassade till de nyckeltal som ditt affärssystem redan följer upp i andra system.

Medan enkla mätvärden baseras på en enda händelse ger kvotmätvärden dig möjlighet att skapa mer komplexa mätvärden som bättre återspeglar dina faktiska affärsmätvärden, vilket hjälper dig att fatta beslut baserat på samma KPI:er som driver din övergripande affärsstrategi.

Obs: Förhållandemått är tillgängliga i produkterna Optimizely Web Experimentation (WX), Feature Experimentation (FX) och Optimizely Analytics.

Bildkälla: Optimizely

Hur skiljer sig kvotmått från enkla mått?

Enkla mätvärden är enklare att analysera och tolka, så börja alltid med ett meningsfullt enkelt mätvärde. Vår rekommendation är att använda enkla mått när de på ett adekvat sätt fångar det du mäter, eftersom de ger tydligare och mer tillförlitliga datapunkter.

Förhållandemått erbjuder dock värdefull flexibilitet när du behöver anpassa din experimentering till etablerade KPI:er för verksamheten. Många organisationer använder redan kvotbaserade mätvärden i sin dagliga verksamhet, inklusive mätvärden som"intäkter per session", "inköp per konto" eller"genomsnittligt ordervärde". Med kvotmått kan du använda samma mått i din experimentering.

Följ dessa riktlinjer när du använder kvotmått för att få en korrekt tolkning:

1. Inkludera alltid komponentmåtten: Lägg till täljaren och nämnaren som separata enkla mätvärden i samma experiment. Detta ger ett viktigt sammanhang för att tolka förändringar i kvoten.
2. Se upp för vilseledande signaler: En kvot kan förbättras på grund av en minskning i nämnaren medan täljaren förblir oförändrad. Till exempel kan "intäkt per besök" öka helt enkelt för att besöken minskar, inte för att intäkterna ökar.
3. Analysera i sitt sammanhang: Använd din analytics dashboard för att se helheten. Titta på hur både täljaren och nämnaren beter sig för att förstå vad som driver förändringarna i ditt nyckeltal.

Här är en titt på resultaten från Optimizely One med ett kvotmått.

Bildkälla: Optimizely

När kan du använda kvotmått för A/B-testning och experimentering?

Förhållandemätningar är särskilt kraftfulla när du vill anpassa ditt mätvärde med en annan nämnare än vad som vanligtvis används i enkla mätvärden.

Istället för att spåra intäkter per användare (ett enkelt mått) kanske du till exempel vill tilldela dina intäkter till klick som läggs till i varukorgen. Med det här nyckeltalet "intäkter per klick i varukorgen" kan du mäta hur effektiva dina varukorgstillägg är när det gäller att generera intäkter.

Du kan också spåra genomsnittlig bevakningstid per konto. Istället för per användare, vilket hjälper prenumerationsbaserade streamingtjänster att förstå engagemanget på hushållsnivå.

Andra exempel:

• Produktoptimering inom e-handel: I stället för att spåra intäkter per användare kan du mäta intäkter per klick i varukorgen (intäkter / klick i varukorgen). Detta nyckeltal hjälper dig att förstå om dina förbättringar av produktsidor leder till köp av högre värde när användare engagerar sig, även om klickfrekvensen förblir stabil.
• B2B SaaS plattform: För företagsprogramvara med flera användare per företag, spåra Feature Adoption per konto(Total Feature Uses / Number of Accounts) snarare än per användare. Detta hjälper dig att förstå organisatoriska adoptionsmönster snarare än individuell användning.
• Strategi för innehåll i streamingtjänster: Istället för att mäta tittartid per användare, spåra total tittartid per hushållskonto (totalt antal tittade minuter / antal konton). Detta nyckeltal ger insikter om innehållsengagemang på prenumerationsnivå, vilket direkt påverkar kvarhållandet.

Sammantaget kan du med hjälp av nyckeltal konstruera mätningar som bättre överensstämmer med hur ditt företag utvärderar prestanda och överbrygga klyftan mellan data från experimentering och dina etablerade nyckeltal.

Skapa mätvärden som liknar trattar

När samband och händelseförlopp är viktiga...

Eftersom Optimizely beräknar nyckeltal på enhetsnivå är det också möjligt att använda dem när man analyserar sambandet mellan två sekventiella händelser.

Du kan till exempel skapa ett kvotmått som mäter andelen användare som skickar in ett formulär (täljare) efter att ha klickat på en reklambanner (nämnare). Detta skapar något som liknar ett "tratt-mått" genom att ha händelser av räkningstyp i både täljaren och nämnaren.

Det här tillvägagångssättet hjälper dig att bedöma effektiviteten i konverteringen vid specifika kontaktpunkter - som hur effektivt dina kampanjelement driver önskade åtgärder. Du får insikter i det villkorliga förhållandet mellan dessa anslutna händelser, något som ett enkelt mått (som t.ex. totala formulärinlämningar) inte skulle avslöja.

Det är dock viktigt att komma ihåg att denna tillämpning, även om den är användbar i specifika scenarier, är sekundär i förhållande till huvudsyftet med nyckeltal: att skapa flexibla mätningar som överensstämmer med dina etablerade KPI:er.

För att sammanfatta...

Förhållandemått ger värdefull flexibilitet i ditt program för experimentering genom att du kan konstruera mätningar som är direkt anpassade till de KPI:er som ditt företag redan använder. Denna anpassning överbryggar klyftan mellan data från experimentering och de mått som dina intressenter bryr sig mest om.

Kom ihåg dessa viktiga principer när du arbetar med nyckeltal:

• Välj mått som ligger i linje med dina etablerade företagsmål och KPI:er
• Undersök alltid komponentmåtten (täljare och nämnare) för att få en fullständig kontext
• Använd de statistiska funktionerna i plattformar som Optimizely för att säkerställa tillförlitliga resultat

De mest framgångsrika programmen för experimentering väljer strategiskt mellan enkla mätvärden och nyckeltal. Enkla mått ger tydliga och tillförlitliga data om enskilda händelser, medan kvotmått ger flexibilitet att anpassa sig till organisationens etablerade KPI:er.

Genom att välja rätt typ av mätvärden skapas en mätmetod som kopplar resultaten från ditt experiment direkt till mätvärden som driver affärsbeslut.