Lærdom fra Spotify - skalering av eksperimentering for vekst

I denne videoen diskuterer Ashit verdien av UX-analyser i eksperimenteringsprogrammer og viktigheten av å bruke innsamlede data - også fra eksperimenter som ikke har ført til resultater.

Han forteller også om hvordan eksperimenteringsteamet hans har vokst og utviklet seg, og hvordan andre selskaper kan lære av eksperimenteringskulturen de har etablert, ettersom teamet faktisk er en del av forretningsfunksjonen i Spotify.

Transkripsjon

Mitt navn er Ashit Kumar. Jeg jobber i Spotify, og stillingstittelen min er User Growth Lead. Vi er på Opticon i Stockholm, og jeg snakker om verdien av brukeropplevelsesanalyser i et eksperimenteringsprogram med høy hastighet.

Gjør bruk av alle innsamlede data

Når det gjelder eksperimentering, tror jeg at mange av eksperimentene man gjennomfører, generelt sett ikke gir noen resultater. I bransjen har jeg sett at bare ett av fire eksperimenter gir et klart resultat. Men hva skjer med resten av eksperimentene? Du vil ikke at alle dataene og all kunnskapen skal gå tapt.

Og det er det jeg prøver å si til publikum i dag, nemlig at de bør sørge for at alle dataene de samler inn fra eksperimentene sine, blir brukt på én måte. Og brukeropplevelsesanalyse og bruk av verktøy som Contentsquare, Hotjar, Clicktale kan hjelpe dem i denne forbindelse.

Teamet og hvordan det har påvirket virksomheten

Teamet vårt ble grunnlagt i 2016, så det er vårt syvende år nå, så det har gått lang tid. Men jeg tror vi har vokst med stormskritt siden teamet ble dannet. Da teamet ble dannet, var det bare basert i Stockholm, og det hadde én person i starten, og nå har vi 13 personer fordelt på fem forskjellige steder. Singapore, Stockholm, Barcelona, London og New York.

Teamet vårt gjennomfører mer enn 100 unike eksperimenter hvert år. Så jeg vil si at når det gjelder innvirkning, har vi i stor grad hjulpet FoU-teamene våre med å prioritere de riktige funksjonene, de rette funksjonene å jobbe med. På den måten har vi virkelig hjulpet brukeropplevelsen med stormskritt. Jeg vil ikke oppgi et beløp i dollar, for i alle typer eksperimenter er det mer enn ett team som samarbeider for å få ting til å skje. Så jeg vil si at det alltid har vært en felles innsats, og jeg tror vi har gjort vår del i Spotifys vekst.

Hvor demokratisert eksperimentering er i Spotify

Eksperimentering skjer på alle nivåer i Spotify. Så det er ikke bare vi, det dedikerte CRO-teamet, som driver eksperimenter. Alle teamene driver på en måte sitt eget eksperimenteringsprogram. Hvis det for eksempel er et team som designer en landingsside, forventes det at de tester ut forskjellige versjoner av landingssidene før de lanserer en. Så jeg vil si at når det gjelder eksperimentering, er vi ganske demokratiserte. Det finnes sjelden noen sentrale funksjoner, så teamet vårt er på en måte en avviker i så måte, fordi vi er et av de svært få teamene som er dedikert til kun å kjøre eksperimenter. Men generelt vil jeg si at minst 75-80 % av teamene i Spotify driver med eksperimentering på en eller annen måte.

Hva andre selskaper kan lære av Spotify

Når det gjelder hva andre selskaper kan lære av oss, føler jeg at de kan lære av vår eksperimenteringskultur, for det er der vi virkelig har lykkes. Jeg har sjelden sett beslutninger bli tatt på bakgrunn av en slags HiPPO-tenkning: "Å, jeg vil gjøre dette." Jeg tror de fleste selskaper bør lære av å ta beslutninger på grunnlag av data. Jeg tror det er det første. Og fra det andre perspektivet, selv om du ikke er i stand til å kjøre vitenskapelig gyldige eksperimenter, er det fortsatt en viss verdi i å i det minste kunne validere en idé. Du ønsker bare ikke å ta beslutninger basert på én eller noen få personers tanker. Du vil bare at brukerne skal kunne fortelle deg hva de vil ha. Så det handler mer om å være kundesentrert, og det handler mer om å bruke data til å ta beslutninger.

Hva er det neste

Jeg tror det neste steget, som jeg sa tidligere, er å demokratisere eksperimenteringsprosessen. Teamet vårt er satt opp på en litt annen måte enn andre team. Vi er faktisk en del av forretningsfunksjonen i Spotify, men vi driver eksperimenter. Så teknisk sett er vi ikke et FoU-team. Og det som skjer, er at mange av interessentene våre faktisk er forretningsinteressenter. De forstår ikke alle aspekter ved CRO, eller konverteringsfrekvensoptimalisering. Så det vi fokuserer på nå, er å begynne å jobbe med noen av disse interessentene som en del av teamet deres. Bare ved å jobbe med oss kan de lære litt om eksperimentering og utvikle en tankegang om å bruke data til å ta beslutninger.

Og jeg føler at det kommer til å være hovedfokuset vårt også neste år, å gjøre flere av disse innbyggingskvartalene. Så vi integrerer oss med ett team i et kvartal, og så kobler vi oss ut og ser hva slags prosesser vi faktisk kan endre ved å jobbe med disse teamene.