Spotify delar med sig av sina lärdomar - Skala upp experimenteringen för tillväxt

I den här videon förklarar Ashit värdet av UX-analys inom experimentprogram och vikten av att använda insamlad data - även från ofullständiga experiment.

Han berättar också hur hans experimenteringsteam har vuxit och utvecklats och hur andra företag kan lära sig av den experimenteringskultur som de har etablerat eftersom teamet faktiskt är en del av affärsfunktionerna på Spotify.

Transkript

Jag heter Ashit Kumar. Jag arbetar på Spotify som User Growth Lead. Vi är på Opticon i Stockholm och jag pratar om värdet av att analysera användarupplevelser i experimenteringsprogram med hög hastighet.

Använd all insamlad data

Jag menar att när det gäller experimentering så blir i allmänhet många av experimenten man utför ofullständiga. Generellt i branschen har jag bara sett att ett av fyra experiment får ett tydligt resultat. Men vad händer med resten av experimenten? Man vill ju inte att alla dessa data, att all denna kunskap går förlorad.

Och det är det jag försöker förmedla till publiken i dag, att de bör se till att alla data de samlar in från sina experiment används på något sätt. Och att analysera användarupplevelser och användning av verktyg som Contentsquare, Hotjar och Clicktale, kan hjälpa dem med detta.

Hur teamet har påverkat verksamheten

Vårt team grundades 2016, så det är vårt sjunde år nu, vi har hållit på ganska länge. Jag tycker dock att vi har vuxit enormt sedan vårt team bildades. När det bildades, var teamet bara baserat i Stockholm och det hade en person till en början. Och nu har vi 13 personer och vi är fördelade på fem olika platser - Singapore, Stockholm, Barcelona, London och New York.

Vårt team genomför mer än 100 unika experimentidéer varje år. Vårt team har i hög grad hjälpt våra FoU-team att prioritera och utveckla de rätta funktionerna. På så sätt har vi verkligen bidragit till användarupplevelsen. Jag skulle inte vilja ange ett specifikt belopp eftersom i alla sorters experiment, så är det fler än ett team som samarbetar för att få saker att hända. Så jag skulle säga att det alltid har varit en gemensam insats och jag tror att vi har bidragit med vår del i Spotifys tillväxt.

Hur demokratisk experimenteringen är på Spotify

Experimentering sker på alla nivåer på Spotify. Så det är inte bara vi i CRO-teamet som genomför experiment. Varje team kör så att säga sina egna experimenteringsprogram. Så till exempel om ett team utformar en landningssida, förväntas det av dem att de testar olika versioner av landningssidan innan den rullas ut. Så när det gäller experimentering skulle jag säga att vi är ganska demokratiserade. Det finns sällan några centrala funktioner, så vårt team är lite av ett undantag i det avseendet eftersom vi är ett av de mycket få teamen som är dedikerade till att bara jobba med och köra experiment. Men på det hela taget skulle jag säga minst 75-80 procent av teamen på Spotify använder experimentering på ett eller annat sätt.

Vad andra företag kan lära sig av Spotify

När det gäller vad andra företag kan lära sig av oss, tänker jag att de kan lära sig av vår kultur för experimentering. För jag känner att det är där vi har varit riktigt framgångsrika. Jag har sällan sett beslut som fattas bara baserat på en HiPPO-åsikt av typen: "Åh, jag vill göra det här." Jag tror att de flesta företag behöver lära sig att fatta beslut utifrån data. Jag tror att det är det primära. Och som jag nämnde tidigare, även om du inte kan köra vetenskapligt giltiga experiment, finns det fortfarande ett värde i att åtminstone kunna validera en idé. Det viktigaste är att inte fatta beslut baserat på en eller ett fåtal personers åsikter. Du vill vara säker på att era användare ska kunna berätta vad de vill ha. Så det handlar mer om att vara kundcentrerad och det handlar mer om att använda data vid beslutsfattande.

Nästa steg

Jag tror att nästa steg, som jag sa tidigare, är att demokratisera experimenteringsprocessen. Vårt team är uppbyggt på ett annorlunda sätt jämfört med andra arbetslag. Vi är faktiskt en del av affärsfunktionen på Spotify, men vi genomför experiment, så vi är tekniskt sett inte ett FoU-team. Och många av våra intressenter ingår i olika affärsfunktioner. Så de förstår sällan alla aspekter av CRO, eller optimering av konverteringsfrekvens. Så det vi fokuserar på just nu nu är att börja samarbeta med några av dessa intressenter som en del av deras team. Genom att helt enkelt arbeta tillsammans med oss, kan de börja lära sig om experimentering och utveckla ett sätt att använda data för att fatta beslut.

Och det känns som att det kommer att vara vårt primära fokus även nästa år, att kvartalsvis samarbeta nära olika affärsfunktioner. Så vi går in i nära samarbete med ett team under ett kvartal och sen stiger vi ur och då ser vi faktiskt vilken typ av processer vi kan ändra genom att arbeta tillsammans med dessa team.