3 sätt att öka kundlojaliteten med hjälp av experimentering

När vi hade fått vårt förvärv att fungera bra bestämde vi oss för att fokusera vår experimentering på hur vi skulle behålla dessa nya registreringar för att maximera fördelarna med detta inflöde av nya användare.

BiggerPockets är en online-resurs för fastighetsinvesterare, med utbildningsinnehåll och verktyg som är utformade för att hjälpa människor som söker ekonomisk frihet genom fastighetsinvesteringar. Jag driver vår konverteringsoptimering och fokuserar på de KPI:er och konverteringstrattar som är viktigast för verksamheten.

När vi började fokusera på att behålla användare lärde vi oss snabbt att testning av hur man behåller användare är en helt annan sak än att testa registrerings- och konverteringstrattar. Så för att ge dig ett försprång om du vill ta itu med retention, här är de största testhindren vi stötte på och hur vi övervann dem.

Till att börja med, vad är det som gör det svårt att påverka och mäta retention via experimentering?

Problem: Fördröjning mellan att avsluta experimentet och se effekten på retention

En av de svåraste sakerna med retention-tester är fördröjningen mellan att avsluta experimentet och få all data du behöver för att fatta ett beslut. I de flesta A/B-testningar sker starthändelsen och den slutliga konverteringen inom samma session. I retention-tester kommer de konverteringar som du vill mäta sannolikt att inträffa veckor eller till och med månader efter den första starthändelsen. Det kommer att finnas många ytterligare kontaktpunkter mellan det utlösande experimentet och konverteringen relaterad till retention. Detta gör det mycket svårt att testa snabbt och ha ett tydligt kontrollexperiment.

Lösning: Identifiera användarbeteenden som korrelerar med retention nedströms och flytta dessa mätvärden

Med tanke på hur nedströms retention är på de flesta företag är det bra att gå från retention som ditt viktigaste mått (som kommer att ha många andra ingångar utanför experimentet) till att identifiera vilka beteenden, som kan flyttas genom experimentering, som leder till högre retention. Detta gör att du kan köra mindre tester för att påverka de användarhändelser som korrelerar med att användaren behålls längre ner i tratten. Om du behöver hjälp med att fundera på hur du ska närma dig detta är ett målträd ett bra ställe att börja på.

BiggerPockets forum

Till exempel, på BiggerPockets, är en av våra huvudfunktioner i produkten våra fastighetsforum. Baserat på den analys vi har gjort i Amplitude (vårt verktyg för produktanalys) vet vi att personer som skriver inlägg i forumen är mycket mer benägna att bli aktiva användare på vår webbplats. Istället för att testa "ökar 4 veckors retention genom att uppmana användare att posta i våra forum?", skulle vi enkelt kunna förenkla detta genom att testa det bästa sättet att få användare att posta i forumen under deras första vecka efter att de registrerat sig.

Vi kan alltså anta att om vi får fler användare att skriva inlägg i forumen är det mer sannolikt att de kommer tillbaka. Våra data om kvarhållande visar bara att foruminlägg är korrelerade med högre kvarhållande, inte att det nödvändigtvis orsakar högre kvarhållande. För att verifiera detta kan vi köra experimentet och sedan göra en retentionsanalys i Amplitude på testkohorten om en månad eller så för att bekräfta att de som utsattes för variationerna i experimentet behölls i högre grad än kontrollgruppen.

Så här ser en retentionsanalys ut i Amplitude. Den grupp användare som postade inlägg i forumet under sin första vecka (grön linje) har högre retention.

Problem: Många ingångar påverkar retentionen

Vid A/B-testning mäter vi vanligtvis konvertering från en starthändelse till en avslutande "konverteringshändelse". I en test av en sida för checkout kan du till exempel mäta konvertering från att sidan för checkout laddas (starthändelse) till att en order skickas (konverteringshändelse). Med retention finns det inte en tydligt definierad händelse för konvertering på samma sida.

Om du till exempel vill testa om användare som precis har registrerat sig på din webbplats stannar kvar, bryr du dig inte nödvändigtvis om de kommer tillbaka nästa dag, två dagar senare, tre dagar senare och så vidare. Vad du troligen bryr dig om är om de kom tillbaka upprepade gånger och stadigt över tid eller inte. Du kanske aggregerar detta till ett enda mått som "användaren kom tillbaka 3+ gånger under den första månaden". Men det kan vara svårt att räkna ut hur ofta en användare behöver komma tillbaka till din webbplats för att bli kvar. För att få en djupare förståelse för hur man väljer ett retentionsmått som är meningsfullt för din produkt rekommenderar jag att du läser den här bloggartikeln

Lösning: Fokusera varje test på ett enda steg av retention

Kom ihåg den här formeln: Retention = (aktivering * engagemang * återuppståndelse ) där:

• Aktivering - Användaren kommer igång med din produkt
• Engagemang - Användaren engagerar sig upprepade gånger med kärnfunktionerna i din produkt
• Återupplivning - Användare kommer tillbaka till din produkt efter att inte ha använt den under en tid

Jag rekommenderar starkt att du begränsar testerna till ett enda steg av retention (aktivering, engagemang eller återupplivning). Ju mindre tidsgapet är mellan att användaren utför starthändelsen och konverteringshändelsen, desto snabbare kommer du att få lärdomar av ditt test och desto mindre kommer dessa konverteringar att grumlas av externa faktorer. För den här typen av tester är det bra att komma ihåg att retention är resultatet, inte målet. Målet är att användarna ska få en värdefull upplevelse med din produkt.

Du kan se detta när du testar ditt användarflöde, i stället för att testa om en förändring av användarflödet leder till en kvarhållen användare, testa om en förändring av användarflödet hjälper en användare att räkna ut hur man kommer igång med att använda din produkt under de första 7 dagarna. När användarna har börjat använda produkten kan du testa olika sätt att få dem att återvända. Vilket leder mig till nästa punkt....

Lösning: Optimera till din produkts naturliga frekvens

"Naturlig frekvens" avser hur ofta din kund naturligt stöter på det problem som din produkt löser. Till exempel är ett av BiggerPockets kunders problem att de har en specifik hyresvärdsfråga som de vill ställa till andra hyresvärdar som har stött på deras situation. Vi förväntar oss att de flesta hyresvärdar kommer att stöta på detta problem ungefär en gång i månaden, vilket gör deras naturliga frekvens för foruminlägg ungefär varje månad.

Att försöka optimera till en onaturlig frekvens resulterar i allmänhet i att du snurrar dig själv i cirklar medan du spammar dina användare med meddelanden för att locka dem att återvända till din webbplats. Det hjälper inte dina användare att hitta värde i din produkt och skadar din relation med dem på lång sikt.

Om BiggerPockets till exempel skulle optimera för dagligen aktiva forumpostare skulle vi testa fel frekvens. De flesta av våra kunder äger 0-5 hyresfastigheter, och dessa fastighetsinvesterare bör inte ha dagliga frågor som dyker upp. Om de ställer frågor på våra forum dagligen verkar det troligt att de faktiskt inte får sina problem lösta. Istället skulle jag kunna tänka mig att de måste skicka om sin fråga ganska ofta för att få ett svar.

Genom att identifiera din produkts naturliga frekvens kan du avgöra hur ofta kunderna ska komma tillbaka till din webbplats (mer information om hur du fastställer din produkts naturliga frekvens finns i den här artikeln). Ur ett testperspektiv hjälper testning av rätt naturlig frekvens dig att identifiera en enda KPI som du kan behandla som händelsen för konvertering (t.ex. om användaren kom tillbaka minst en gång under de första 7 dagarna), vilket gör det enklare för dig att mäta den statistiska signifikansen av dina tester.

Problem: Användarnas beteende skiljer sig mycket åt

Vi har funnit att det är mer komplext att förstå användarnas beteende när det gäller retention. Alla dina kunder kanske använder checkout-sidan på liknande sätt, men det innehåll eller den funktion som motiverar dem att återvända till din webbplats kan fungera bra för en kundtyp och vara en katastrof för en annan. Detta innebär att analysen av testet måste vara detaljerad och nyanserad.

Lösning: Ha en tydlig hypotes, oavsett vad som händer

När retentionstester blir mer komplexa kan det vara frestande att göra hypotesen till en ruta som fylls i retroaktivt efter att ett test har lanserats. Jag kan inte nog betona hur viktigt det är att ALLTID tydligt ange din hypotes före ett experiment.

Risken med att inte vara tydlig med sin hypotes innan man startar experimentet är att man når slutet av testet och inser att man inte har något annat att lära sig än att "upplevelse X var värre för kund Y än upplevelse Z", utan att riktigt förstå varför man trodde att användarupplevelsen skulle reagera annorlunda (eller vilka användare man trodde skulle agera annorlunda).

Detta är särskilt viktigt om du arbetar med ett team, eftersom det inte alltid är så lätt att säga till om man inte förstår vad som testas.

För att bygga starka hypoteser rekommenderar jag att du följer Optimizelys ramverk för hypoteser "If ____, then ____, because ____.".

Vi ses igen om några veckor när jag kommer att dela med mig av bästa praxis för experimentering av globala navigationer!

Om du är intresserad av att fortsätta konversationen, hitta mig på linkedin eller kontakta mig direkt på alex@biggerpockets.com.And om du är redo att komma igång med experimentering, kontakta oss idag.