3 sätt att öka retentionen med experiment

När vår förvärvsprocess väl hade gått bra bestämde vi oss för att fokusera våra experiment på hur vi skulle behålla dessa nya registreringar för att maximera fördelarna med denna tillströmning av nya användare.

BiggerPockets är en online-resurs för fastighetsinvesterare, med utbildningsinnehåll och verktyg utformade för att hjälpa människor som söker ekonomisk frihet genom fastighetsinvesteringar. Jag driver våra konverteringsoptimeringsinsatser, med fokus på de nyckeltal och konverteringstrattar som är viktigast för verksamheten.

När vi började fokusera på kundlojalitet lärde vi oss snabbt att testa hur man behåller användare är något helt annat än att testa registrerings- och konverteringstrattar. Så, för att ge dig ett försprång om du vill ta itu med kundlojalitet, här är de största hindren vi stötte på i testet och hur vi övervann dem.

Till att börja med, vad gör det svårt att påverka och mäta kundlojalitet via experiment?

En av de knepigaste sakerna med retentionstester är fördröjningen mellan att experimentet avslutas och att all data du behöver för att fatta ett beslut tas emot. I de flesta A/B-tester inträffar starthändelsen och den slutliga konverteringshändelsen inom samma session. I retentionstester kommer de konverteringshändelser du vill mäta sannolikt att inträffa veckor eller till och med månader efter den initiala starthändelsen. Det kommer att finnas många ytterligare kontaktpunkter mellan experimentets utlösning och konverteringshändelsen relaterad till retention. Detta gör det mycket svårt att testa snabbt och ha ett tydligt kontrollexperiment.

Med tanke på hur kundretentionen är i tratten hos de flesta företag är det bra att gå från att vara kundretention som ditt viktigaste mätvärde (vilket kommer att ha många andra indata utanför experimentet) till att identifiera vilka beteenden som kan påverkas genom experiment som leder till högre retention. Detta gör att du kan köra mindre tester för att påverka användarhändelserna som korrelerar med att användaren reteneras i tratten. Om du behöver hjälp med att fundera över hur du ska närma dig detta är ett målträd ett bra ställe att börja.

BiggerPockets Forum

Till exempel, på BiggerPockets är en av våra viktigaste produktfunktioner våra fastighetsforum. Baserat på retentionsanalyser vi har gjort i Amplitude (vårt produktanalysverktyg) vet vi att personer som postar på forumen är mycket mer benägna att bli aktiva användare på vår webbplats. Istället för att testa "ökar det 4-veckors retentionen att uppmana användare att posta på våra forum?", skulle vi enkelt kunna förenkla detta genom att testa det bästa sättet att få användare att posta i forumen under den första veckan efter registrering.

Så vi kan anta att om vi får fler användare att posta i forumen är det mer sannolikt att de kommer tillbaka. Våra retentionsdata visar bara att forumpostning är korrelerad med högre retention, inte att det nödvändigtvis orsakar högre retention. För att verifiera detta kan vi köra experimentet och sedan göra retentionsanalys i Amplitude på testkohorten om ungefär en månad för att bekräfta att de som exponerades för experimentvariationerna retenerades i högre grad än kontrollgruppen.

Så här ser en retentionsanalys ut i amplitud. Den kohort av användare som postade i forumen under sin första vecka (grön linje) har högre retention.

Vanligtvis mäter vi i A/B-testning konvertering från en starthändelse till en avslutande "konverteringshändelse". Till exempel kan du i ett test av en kassa sida mäta konvertering från att kassasidan laddas (starthändelse) till att en beställning skickas (konverteringshändelse). Med retention finns det inte en tydligt definierad konverteringshändelse på samma sida.

Om du till exempel vill testa retentionen av användare som just registrerat sig på din webbplats bryr du dig inte nödvändigtvis om de kom tillbaka nästa dag, två dagar senare, tre dagar senare och så vidare. Det du förmodligen bryr dig om är om de kom tillbaka upprepade gånger och stadigt över tid. Du kan aggregera detta till ett enda mätvärde, till exempel "användaren kom tillbaka 3+ gånger under den första månaden". Att ta reda på hur ofta en användare behöver komma tillbaka till din webbplats för att behållas kan dock vara knepigt. För att få en djupare förståelse för hur man väljer ett retentionsmått som är meningsfullt för din produkt rekommenderar jag att du läser den här bloggartikeln

Kom ihåg den här formeln: Retention = (aktivering * engagemang *återuppståndelse) där:

Jag rekommenderar starkt att man begränsar tester till ett enda steg i retentionen (aktivering, engagemang eller återupplivning). Ju mindre tidsskillnaden är mellan att användaren utför starthändelsen och konverteringshändelsen, desto snabbare får du lärdomar från ditt test och desto mindre kommer dessa konverteringar att grumlas av externa faktorer. För den här typen av tester är det bra att komma ihåg att retention är resultatet, inte målet. Målet är att användarna ska få en värdefull upplevelse med din produkt.

Du kan se detta när du testar ditt onboarding-flöde för användare. Snarare än att testa om en förändring i onboardingen leder till att en användare bibehålls, testa om en förändring i onboardingen hjälper en användare att lista ut hur man kommer igång med att använda din produkt under de första 7 dagarna. När användarna har börjat använda produkten kan du testa sätt att driva återbesök. Vilket leder mig till min nästa punkt….

“Naturlig frekvens” avser hur ofta din kund naturligt stöter på det problem som din produkt löser. Till exempel är ett av BiggerPockets kunders problem att de har en specifik fråga om hyresvärdar som de vill ställa till andra hyresvärdar som har stött på samma situation. Vi förväntar oss att de flesta hyresvärdar kommer att stöta på detta problem ungefär en gång i månaden, vilket gör deras naturliga frekvens för foruminlägg ungefär en gång i månaden.

Att försöka optimera till en onaturlig frekvens resulterar i allmänhet i att du snurrar runt i cirklar medan du spammar dina användare med aviseringar för att locka dem att återvända till din webbplats. Det hjälper inte dina användare att hitta värde i din produkt och skadar din relation med dem på lång sikt.

Om BiggerPockets till exempel skulle optimera för dagliga aktiva forumpostare skulle vi testa fel frekvens. De flesta av våra kunder äger 0-5 hyresfastigheter, och dessa fastighetsinvesterare borde inte ha dagliga frågor som dyker upp. Om de ställer frågor på våra forum dagligen verkar det troligt att de faktiskt *inte* får sina problem lösta. Istället skulle jag kunna tänka mig att de måste ställa sin fråga igen ganska ofta för att få ett svar.

Att identifiera din produkts naturliga frekvens hjälper dig att avgöra hur ofta kunder bör komma tillbaka till din webbplats (för mer information om att bestämma din produkts naturliga frekvens, kolla in den här artikeln). Ur ett testperspektiv hjälper testning med rätt naturlig frekvens dig att identifiera en enda KPI som du kan behandla som konverteringshändelsen (t.ex. kom användaren tillbaka minst en gång under de första 7 dagarna), vilket gör det enklare för dig att mäta den statistiska signifikansen av dina tester.

Vi har upptäckt att det är mer komplext att förstå användarbeteende för att behålla kunder. Även om alla dina kunder kan använda kassasidan på ett liknande sätt, kan innehållet eller funktionen som motiverar dem att återvända till din webbplats fungera bra för en kundtyp och vara en katastrof för en annan. Det betyder att din testanalys måste vara detaljerad och nyanserad.

Allt eftersom retentionstestning blir mer komplex kan det vara frestande att göra hypotesen till en ruta som fylls i retroaktivt efter att ett test har startats. Jag kan inte nog betona hur viktigt det är att ALLTID tydligt formulera sin hypotes före ett experiment.

Faran med att inte vara tydlig med sin hypotes innan experimentet startas är att du når slutet av testet och inser att du inte har något att lära dig annat än att "upplevelse X var sämre för kund Y än upplevelse Z", utan att egentligen förstå varför du trodde att användarna skulle reagera annorlunda (eller vilka användare du trodde skulle agera annorlunda).

Detta är särskilt viktigt om du arbetar med ett team, när folk inte alltid säger ifrån om de inte förstår vad som testas.

För att bygga starka hypoteser rekommenderar jag att du följer Optimizelys "Om ____, då ____, eftersom ____." hypotesramverk.

Vi ses igen om några veckor när jag delar med mig av bästa praxis för experiment med global navigering!

Om du är intresserad av att fortsätta samtalet kan du hitta mig på linkedin eller kontakta mig direkt på alex@biggerpockets.com. Och om du är redo att börja experimentera, kontakta oss idag.