3 måter å øke lojaliteten på med eksperimentering

Da vi hadde fått oppkjøpet til å fungere godt, bestemte vi oss for å fokusere på hvordan vi kunne beholde de nye brukerne for å maksimere fordelene med denne tilstrømningen av nye brukere.

BiggerPockets er en nettressurs for eiendomsinvestorer, med pedagogisk innhold og verktøy som er utformet for å hjelpe folk som søker økonomisk frihet gjennom eiendomsinvesteringer. Jeg driver arbeidet med konverteringsfrekvensoptimalisering, med fokus på de KPI-ene og konverteringstraktene som er viktigst for virksomheten.

Da vi begynte å fokusere på å holde på brukerne, lærte vi raskt at det er noe helt annet å teste hvordan man holder på brukerne enn å teste registrerings- og konverteringstrakter. For å gi deg et forsprang hvis du ønsker å jobbe med brukerretensjon, har vi her samlet de største hindringene vi møtte på i testingen, og hvordan vi løste dem.

Hva er det som gjør det vanskelig å påvirke og måle lojalitet ved hjelp av eksperimenter?

Problem: Forsinkelse mellom avslutningen av eksperimentet og effekten på lojalitet

Noe av det vanskeligste med tester for å måle effekten på lojalitet er tiden det tar fra eksperimentet avsluttes til du mottar alle dataene du trenger for å ta en beslutning. I de fleste A/B-tester skjer starthendelsen og den endelige konverteringshendelsen i samme økt. I tester for oppbevaring vil konverteringshendelsene du ønsker å måle, sannsynligvis inntreffe uker eller måneder etter den opprinnelige starthendelsen. Det vil være mange flere berøringspunkter mellom eksperimentet som utløses og konverteringshendelsen knyttet til oppbevaring. Dette gjør det svært vanskelig å teste raskt og ha et tydelig kontrolleksperiment.

Løsning: Identifiser brukeratferd som korrelerer med oppbevaring nedstrøms, og flytt disse målingene

Med tanke på hvor stor andel av kundene som blir værende i trakten, er det nyttig å gå fra å bruke oppbevaring som nøkkeltall (som vil ha mange andre inndata utenfor eksperimentet) til å identifisere hvilken atferd som kan flyttes ved hjelp av eksperimenter, og som fører til høyere oppbevaring. Dette gjør at du kan kjøre mindre tester for å påvirke de brukerhendelsene som korrelerer med at brukeren blir beholdt nedover i trakten. Hvis du trenger hjelp med å tenke på hvordan du skal tilnærme deg dette, er et måltre et flott sted å starte.

BiggerPockets-forum

Hos BiggerPockets er for eksempel eiendomsforumene våre en av våre viktigste produktfunksjoner. Basert på retensjonsanalyser vi har gjort i Amplitude (produktanalyseverktøyet vårt), vet vi at det er mye mer sannsynlig at folk som skriver innlegg på forumet, blir aktive brukere på nettstedet vårt. I stedet for å teste "øker det fire ukers brukerretensjon å oppfordre brukerne til å poste innlegg i forumene våre?", kan vi enkelt forenkle dette ved å teste den beste måten å få brukerne til å poste innlegg i forumene i løpet av den første uken etter at de har registrert seg.

Vi kan altså anta at hvis vi får flere brukere til å poste innlegg i forumet, er det mer sannsynlig at de kommer tilbake. Dataene våre viser bare at foruminnlegg er korrelert med høyere oppbevaring, ikke at det nødvendigvis fører til høyere oppbevaring. For å verifisere dette kan vi kjøre eksperimentet og deretter gjøre en retensjonsanalyse i Amplitude på testkohorten om en måned eller så for å bekrefte at de som ble eksponert for eksperimentvariasjonene, ble beholdt i større grad enn kontrollgruppen.

Slik ser en retensjonsanalyse ut i Amplitude. Gruppen av brukere som postet innlegg i forumet i løpet av den første uken (grønn linje), har høyere oppbevaring.

Problem: Mange inndata påvirker oppbevaring

I A/B-tester måler vi vanligvis konvertering fra en starthendelse til en avsluttende "konverteringshendelse". I en test av en kasseside kan du for eksempel måle konverteringen fra du laster inn kassesiden (starthendelse) til du sender inn en bestilling (konverteringshendelse). Når det gjelder oppbevaring, finnes det ikke en klart definert konverteringshendelse på samme side.

Hvis du for eksempel vil teste om brukere som nettopp har registrert seg på nettstedet ditt, blir du ikke nødvendigvis interessert i om de kommer tilbake neste dag, to dager senere, tre dager senere og så videre. Det du sannsynligvis bryr deg om, er hvorvidt de kom tilbake gjentatte ganger og jevnt over tid. Du kan slå dette sammen til ett enkelt mål, for eksempel "brukeren kom tilbake mer enn tre ganger i løpet av den første måneden". Det kan imidlertid være vanskelig å finne ut hvor ofte en bruker må komme tilbake til nettstedet ditt for å bli værende der. For å få en dypere forståelse av hvordan du velger en retensjonsmåling som er meningsfull for produktet ditt, anbefaler jeg at du sjekker ut denne bloggartikkelen

Løsning: Fokuser hver test på ett enkelt stadium av oppbevaring

Husk denne formelen: Oppbevaring = (aktivering * engasjement * gjenopplivning) hvor:

• Aktivering - Brukeren kommer i gang med produktet ditt
• Engasjement - Brukeren engasjerer seg gjentatte ganger med kjernefunksjonene i produktet ditt
• Resurrection - Brukeren kommer tilbake til produktet ditt etter å ha vært borte fra det i en periode

Jeg anbefaler på det sterkeste å begrense testene til ett enkelt stadium av oppbevaring (aktivering, engasjement eller gjenopplivning). Jo mindre tidsgapet er mellom at brukeren utfører starthendelsen og konverteringshendelsen, desto raskere vil du få lærdom av testen, og desto mindre vil disse konverteringene bli påvirket av eksterne faktorer. For denne typen tester er det viktig å huske at oppbevaring er resultatet, ikke målet. Målet er at brukerne skal få en verdifull opplevelse med produktet ditt.

Du kan se dette når du tester brukerens introduksjonsflyt. I stedet for å teste om en endring i introduksjonen fører til at brukeren blir værende, kan du teste om en endring i introduksjonen hjelper brukeren med å finne ut hvordan han eller hun skal komme i gang med å bruke produktet i løpet av de første syv dagene. Når brukerne har begynt å bruke produktet, kan du teste hvordan du kan få dem til å komme tilbake. Det leder meg til mitt neste punkt....

Løsning: Optimaliser til produktets naturlige frekvens

"Naturlig frekvens" refererer til hvor ofte kunden din naturlig støter på problemet som produktet ditt løser. For eksempel er et av BiggerPockets-kundenes problemer at de har et spesifikt utleierspørsmål som de ønsker å stille til andre utleiere som har opplevd deres situasjon. Vi forventer at de fleste utleiere vil støte på dette problemet omtrent én gang i måneden, noe som gjør at den naturlige frekvensen for foruminnlegg er omtrent månedlig.

Hvis du prøver å optimalisere til en unaturlig frekvens, resulterer det som regel i at du spinner deg selv i sirkler mens du spammer brukerne dine med varsler for å lokke dem til å komme tilbake til nettstedet ditt. Det hjelper ikke brukerne dine med å finne verdi i produktet ditt og skader forholdet ditt til dem på lang sikt.

Hvis BiggerPockets for eksempel skulle optimalisere for daglig aktive foruminnlegg, ville vi testet feil frekvens. De fleste av kundene våre eier 0-5 utleieboliger, og disse eiendomsinvestorene bør ikke ha daglige spørsmål som dukker opp. Hvis de legger ut spørsmål på forumene våre daglig, virker det sannsynlig at de faktisk ikke får løst problemet sitt. I stedet kan jeg tenke meg at de må poste spørsmålet sitt ganske ofte for å få svar.

Ved å identifisere produktets naturlige frekvens kan du finne ut hvor ofte kundene bør komme tilbake til nettstedet ditt (du finner mer informasjon om hvordan du finner produktets naturlige frekvens i denne artikkelen). Fra et testperspektiv kan du ved å teste etter riktig naturlig frekvens identifisere en enkelt KPI som du kan behandle som konverteringshendelsen (f.eks. om brukeren kom tilbake minst én gang i løpet av de første 7 dagene), noe som gjør det enklere for deg å måle den statistiske signifikansen av testene dine.

Problem: Brukeratferd er svært forskjellig

Vi har funnet ut at det er mer komplekst å forstå brukeratferd når det gjelder oppbevaring. Selv om alle kundene dine kanskje bruker kassen på samme måte, kan innholdet eller funksjonen som motiverer dem til å komme tilbake til nettstedet ditt, fungere godt for én type kunde og være en katastrofe for en annen. Dette betyr at testene må analyseres detaljert og nyansert.

Løsningen: Ha en klar hypotese, uansett hva som skjer

Etter hvert som retensjonstester blir mer komplekse, kan det være fristende å gjøre hypotesen til en boks som fylles ut i etterkant av at testen er lansert. Jeg kan ikke få understreket nok hvor viktig det er å ALLTID formulere en tydelig hypotese før et eksperiment.

Faren ved å ikke være tydelig på hypotesen før du setter i gang eksperimentet, er at du når testen er ferdig og innser at du ikke har noe annet å lære enn at "opplevelse X var verre for kunde Y enn opplevelse Z", uten at du egentlig forstår hvorfor du trodde brukerne ville reagere annerledes (eller hvilke brukere du trodde ville oppføre seg annerledes).

Dette er spesielt viktig hvis du jobber med et team, da folk ikke alltid sier ifra hvis de ikke forstår hva som testes.

For å bygge sterke hypoteser anbefaler jeg å følge Optimizelys "If ____, then ____, because ____." -hypoteserammeverk .

Vi ses igjen om noen uker når jeg skal dele beste praksis for eksperimentering med globale navigasjoner!

Hvis du er interessert i å fortsette samtalen, kan du finne meg på linkedin eller kontakte meg direkte på alex@biggerpockets.com.And hvis du er klar til å komme i gang med eksperimentering, ta kontakt med oss i dag.