Experimentering fungerar: Den överraskande kraften i Business Experiments

Stefan Thomke, som är en auktoritet inom innovationsledning, är William Barclay Harding Professor of Business Administration vid Harvard Business School. Han har arbetat med globala företag inom produkt-, process- och teknikutveckling, design av kundupplevelser, verksamhetsförbättringar, organisationsförändringar och innovationsstrategier. Professor Thomke har varit banbrytande inom området experimentering sedan innan Optimizely grundades, med sin första bok i ämnet, "Experimentation Matters: Unlocking the Potential of New Technologies for Innovation" som kom ut 2003.

Hans nya bok "Experimentering fungerar: The Surprising Power of Business Experiments" publicerades nyligen och förutom att samarbeta med honom fick vi chansen att sitta ner med honom och diskutera några av hans resultat.

Optimizely: Varför skrev du "Experimentering fungerar"?

Stefan Thomke: När jag publicerade min första bok "Experimentering Matters: Unlocking the Potential of New Technologies of Innovation" 2003, gjorde jag en förutsägelse: digitala experimenteringsverktyg hade inte bara potential att revolutionera ett företags FoU, utan de kunde också förändra hela branscher genom att flytta experimentering - och därmed innovation - till användare och kunder.

Fem år senare öppnade Apple sin App Store, som gjorde det möjligt för vem som helst, var som helst, att utforma och distribuera nya appar. I början av 2017 hade cirka 2,2 miljoner appar blivit tillgängliga för iOS-användare. Och som alla som följer simulerings- och prototypverktyg på nära håll vet, har användningen av dem blivit genomgripande inom tillverkningsindustrin, även om företagen fortfarande brottas med de integrations- och hanteringsproblem som jag skrev om 2003. När jag gladeligen såg dessa förutsägelser slå in tyckte jag att det var dags att gå vidare och studera ett annat ämne. Och jag hade fel!

Jag ska berätta varför: År 2003 hade Google precis fyllt fem år, Amazon var nio år gammalt och Booking.com var fortfarande en oberoende startup i Amsterdam. Även om jag hade studerat de statistiska principer och ledningsprinciper som är centrala för experimentering, hade jag inte närmare undersökt deras roll i kundupplevelsen och utformningen av affärsmodeller. Jag hade ingen aning om hur användningen av dem skulle leda till framväxten av dagens onlineföretag. När jag äntligen fick upp ögonen för det insåg jag direkt att storskalig, kontrollerad experimentering skulle revolutionera hur alla företag driver sina verksamheter och hur chefer fattar beslut.

Stefan Thomke, professor vid Harvard Business School

Optimizely: I förordet nämner du att många läsare tror att storskalig experimentering bara påverkar företag med digitala rötter och du berättar att det finns tre skäl till att du tror att den här boken kommer att få dem att ändra sig. Skulle du vilja dela med dig av dessa tre skäl?

Thomke: För de läsare som tror att storskalig experimentering av företag endast påverkar företag med digitala rötter hoppas jag att min nya bok kommer att få dem att ändra sig - av tre skäl.

För det första interagerar företag utan digitala rötter i allt högre grad med kunder online. Att dra nytta av det enorma antalet digitala beröringspunkter, designval och affärsbeslut är helt enkelt överväldigande utan tillgång till storskalig testning.

För det andra är de idéer och principer som tas upp i boken tillämpliga på alla affärsmiljöer, oavsett om du är offline eller online, B2C eller B2B, inom tillverkning, detaljhandel, affärs- och finansiella tjänster, logistik, resor, media, underhållning, sjukvård och så vidare.

För det tredje bör företag utan mjukvarurötter följa riskkapitalisten Marc Andreessens maxim: "Software is eating the world". Jag har sett många hårdvaruutvecklingsprojekt där mjukvaran slukade mer än hälften av alla resurser. Tänk på att bästa praxis för mjukvaruutveckling har förändrats dramatiskt under det senaste decenniet. På Microsofts Bing körs cirka 80 procent av de föreslagna ändringarna först som kontrollerade experiment.

Optimizely: Optimizely delade data med dig och Sourobh Ghosh - vilka var de preliminära resultaten?

Thomke: För att förstå hur organisationer testar affärshypoteser gav Optimizely oss tillgång till alla experiment, som anonymiserad data, som deras kunder körde från november 2016 till september 2018. Med hjälp av dessa data skapade vi en stor databas som noggrant kontrollerades för robusthet och dataintegritet. Experimenten filtrerades utifrån flera kvalitetskriterier, såsom tillräcklig kundtrafik (mer än tusen besökare per vecka), verkliga experiment (inga A/A-testningar eller buggfixar) och så vidare.

Här är vad vår preliminära analys visade:

• Det genomsnittliga antalet variationer, utöver en kontroll, var 1,5 (medianen var 2) och cirka 70 procent av upplevelserna var enkla A/B-testningar. Det är inte klart om organisationerna medvetet höll testerna enkla eller om de bara började på det sättet.
• Medianlängden för ett experiment är 3 veckor men genomsnittet var 4,4. Här är varför. Många experiment bara "dröjde" i månader och det är svårt att motivera varför vissa tester ska pågå längre än femton eller tjugo veckor. Troligtvis är det en indikation på dåliga organisatoriska rutiner och brist på processstandarder.
• De branschsegment som experimenterade mest i vår studie var detaljhandeln, högteknologiska företag, finansiella tjänster och media. Vi fann att högteknologiska företag är de mest "effektiva" testarna (större lyft per experiment).
• Totalt sett uppnådde 19,6 procent av alla experiment statistisk signifikans för sitt primära mätvärde. Här är en brasklapp: 10,3 procent hade positiv och 9,8 procent hade negativ signifikans. Om det primära måttet är (positiv) konvertering av kunder kan ett negativt resultat hindra företag från att lansera funktioner som skapar förluster, förutsatt att det håller i framtida experiment.
• Det stora datasetet gjorde det också möjligt för oss att svara på en grundläggande fråga: Presterar variationer bättre än baslinjen? För säkerhets skull tog vi bort avvikande värden för att analysen inte skulle bli skev och vi fick till slut mer än trettiotusen variationer. Bevisen tydde starkt på att variationer i genomsnitt var bättre än baslinjen(p = 0,000). Med andra ord, ett rungande ja till att experimentering fungerar!

Optimizely: Vilka är de viktiga utvecklingsområden som kommer att kräva massiv kapacitet för experimentering?

Thomke: Här är tre viktiga utvecklingar som kommer att kräva massiv kapacitet för experimentering.

För det första kommer kunderna i allt högre grad att interagera med ditt företag via mobila enheter (smartphones, surfplattor, klockor etc.). Under 2018 levererade företagen mer än 1,5 miljarder smartphones och mobila enheter; antalet levererade enheter förväntas överstiga 2 miljarder år 2023. Men det som är ännu mer fantastiskt är den beräknings- och nätverkskraft som dessa enheter har. Om utvecklingen fortsätter i samma takt kommer kunderna att ha dagens superdatorer (som används av forskare för att förutse globala vädermönster eller för att simulera universums tidiga ögonblick) i fickan om några decennier. Detta kommer att leda till en explosion av kontaktpunkter och komplexa kundinteraktioner, inklusive beteenden och värdedrivare som vi inte ens är medvetna om idag. Dessa nya kundupplevelser kommer att kräva mycket utforskande och optimering. Det enda sättet för alla företag att hålla jämna steg med denna snabba utveckling och bedöma vad som fungerar och inte fungerar är att genomföra storskaliga program för experimentering.

För det andra kommer företagen snart att inse att ett business analytics-program är ofullständigt utan kontrollerade experiment. Traditionell analys med hjälp av "big data" har en bakspegel och lider av allvarliga begränsningar när det gäller innovation: ju mer ny en innovation är, desto mindre sannolikt är det att tillförlitliga data kommer att finnas tillgängliga. (Om tillförlitliga data hade funnits tillgängliga skulle faktiskt någon redan ha lanserat innovationen och den skulle inte vara ny!)

Slutligen, den tredje och kanske viktigaste utvecklingen som kommer att kräva massiv kapacitet för experimentering är framväxten av artificiell intelligens (AI) - eller mer specifikt maskininlärning och artificiella neurala nätverk. Sofistikerade algoritmer och biologiinspirerade neurala nätverk kan tränas med stora dataset för att upptäcka mönster med en hög grad av automatisering (t.ex. identifiering, klustring och prioritering av användarproblem). Även om de flesta teoretiska genombrotten gjordes för flera decennier sedan ser vi nu äntligen en explosion av tillämpningar som kommer att förändra företagens framtid. Föreställ dig följande: Tänk om AI-baserade metoder kunde analysera dina data (information från kundsupport, marknadsundersökningar och så vidare) och generera tusentals evidensbaserade hypoteser? Föreställ dig nu att dessa algoritmer också skulle kunna utforma, köra och analysera experiment utan att ledningen behöver involveras alls. Storskaliga program för experimentering med hjälp av ett slutet system kan köras i bakgrunden och ge rekommendationer om åtgärder när du kommer till jobbet på morgonen. Och du kan vara säker på att dina åtgärder kommer att ge resultat eftersom de har testats vetenskapligt med avseende på orsak och verkan.