Lärdomar från Spotify - Skala upp experimentering för tillväxt

I den här videon diskuterar Ashit värdet av UX-analyser inom experimenteringsprogram och vikten av att använda insamlade data - även från experiment som inte leder till resultat.

Han berättar också om hur hans experimenteringsteam har vuxit och utvecklats och hur andra företag kan lära sig av den experimenteringskultur som de har etablerat, eftersom teamet faktiskt är en del av affärsfunktionen på Spotify.

Transkription

Mitt namn är Ashit Kumar. Jag arbetar på Spotify och min jobbtitel är User Growth Lead. Vi befinner oss på Opticon i Stockholm och jag pratar om värdet av digital upplevelseanalys i ett program för experimentering med hög hastighet.

Använd all insamlad data

Jag tror att när det gäller experimentering är många av de upplevelser man gör i allmänhet ofullständiga. Så generellt i branschen har jag sett att bara ett av fyra experiment har som ett tydligt resultat. Men vad händer med resten av experimenten? Man vill ju inte att all data och all kunskap ska gå förlorad.

Och det är det jag försöker säga till publiken idag, i huvudsak att de bör se till att all data som de samlar in från sina experiment används på ett sätt. Och digital upplevelseanalys och användning av verktyg som Contentsquare, Hotjar, Clicktale, de kan hjälpa dem i detta avseende.

Teamet och hur det har påverkat verksamheten

Vårt team grundades redan 2016, så det är vårt sjunde år nu, så det har gått lång tid. Men jag tycker att vi har vuxit med stormsteg sedan vårt team bildades. När teamet bildades var det bara baserat i Stockholm och hade en person i början, men nu har vi 13 personer och vi är utspridda på fem olika platser. Så Singapore, Stockholm, Barcelona, London och New York.

Vårt team genomför mer än 100 unika experiment varje år. Så jag skulle säga att när det gäller påverkan så har vi hjälpt våra R&D-team att prioritera rätt funktioner, rätt funktioner att arbeta med. På så sätt har vi verkligen hjälpt användarupplevelsen att ta stora kliv framåt. Jag skulle inte vilja ange ett belopp i dollar eftersom det vid all slags experimentering finns mer än ett team som samarbetar för att få saker att hända. Så jag skulle säga att det alltid har varit en gemensam ansträngning och jag tror att vi har gjort vår del i Spotifys tillväxt.

Hur demokratiserad är experimentering på Spotify

Experimentering sker på alla nivåer på Spotify, eller hur? Så det är inte bara vi, det dedikerade CRO-teamet som driver experiment. Varje team driver sitt eget program för experimentering. Så till exempel, om det finns ett team som utformar en landningssida, förväntas det av dem att testa olika versioner av landningssidor innan de rullar ut en. Så jag skulle säga att när det gäller experimentering är vi ganska demokratiserade. Det finns sällan centrala funktioner, så vårt team är lite av en avvikare i det avseendet eftersom vi är ett av de få team som är dedikerade till att bara köra experiment. Men totalt sett skulle jag säga att minst 75-80 % av alla team på Spotify sysslar med experimentering på ett eller annat sätt.

Vad andra företag kan lära sig av Spotify

När det gäller vad andra företag kan lära sig av oss känner jag att de kan lära sig av experimenteringskulturen eftersom jag känner att det är där vi har varit riktigt framgångsrika. Jag har sällan sett att beslut fattas på grund av att man som HiPPO tänker högt och liksom: "Åh, jag vill göra det här.". Jag tror att de flesta företag borde lära sig av att fatta beslut utifrån data. Jag tror att det är det första. Och från det andra perspektivet, även om du inte kan köra vetenskapligt giltiga experiment, finns det fortfarande ett visst värde i att åtminstone kunna validera en idé. Man vill bara inte fatta beslut som baseras på en eller ett fåtal personers tankar. Man vill bara att användarna ska kunna berätta vad de vill ha. Så det handlar mer om att vara kundfokuserad och det handlar mer om att tillämpa data på beslut.

Vad är nästa steg?

Jag tror att nästa steg, som jag sa tidigare, är att i princip demokratisera experimenteringsprocessen. Vårt team är uppbyggt på ett lite annorlunda sätt jämfört med andra team. Vi är faktiskt en del av affärsfunktionen på Spotify, men vi genomför experiment. Så tekniskt sett är vi inte ett FoU-team. Och det som händer är att många av våra intressenter faktiskt är affärsintressenter. De förstår inte alla aspekter av CRO, eller konverteringsoptimering. Så det vi fokuserar på just nu är att börja arbeta med några av dessa intressenter som en del av deras team. Så att de bara genom att arbeta med oss kan lära sig bitar av experimentering och utveckla ett tänkande att använda data för att fatta beslut.

Och jag känner att det kommer att vara vårt primära fokus att gå mot nästa år också, att göra fler av dessa inbäddade kvartal. Vi samarbetar med ett team under ett kvartal, sedan kopplar vi bort det och ser vilka processer vi kan förändra genom att arbeta med de här teamen.