Eksperimentering virker: Den overraskende kraften i forretningseksperimenter

Stefan Thomke, en autoritet innen innovasjonsledelse, er William Barclay Harding Professor of Business Administration ved Harvard Business School. Han har jobbet med globale selskaper med produkt-, prosess- og teknologiutvikling, design av kundeopplevelser, driftsforbedringer, organisasjonsendringer og innovasjonsstrategi. Professor Thomke har vært banebrytende innen eksperimentering siden før Optimizely ble grunnlagt, med sin første bok om emnet, "Experimentation Matters: Unlocking the Potential of New Technologies for Innovation", som kom ut i 2003.

Hans nye bok "Experimentation Works: The Surprising Power of Business Experiments" ble nylig publisert, og i tillegg til å samarbeide med ham, fikk vi sjansen til å sette oss ned med ham og diskutere noen av funnene hans.

Optimizely: Hvorfor skrev du "Experimentation Works"?

Stefan Thomke: Da jeg ga ut min første bok "Experimentation Matters: Unlocking the Potential of New Technologies of Innovation" i 2003, kom jeg med en spådom: Digitale eksperimenteringsverktøy hadde ikke bare potensial til å revolusjonere en bedrifts FoU, men de kunne også forandre hele bransjer ved å flytte eksperimenteringen - og dermed innovasjonen - over til brukerne og kundene.

Fem år senere åpnet Apple sin App Store, som gjorde det mulig for hvem som helst, hvor som helst, å designe og distribuere nye applikasjoner. I begynnelsen av 2017 hadde rundt 2,2 millioner apper blitt tilgjengelige for iOS-brukere. Og som alle som følger nøye med på simulerings- og prototypverktøy vet, har bruken av dem blitt utbredt i produksjonsbedrifter, selv om selskapene fortsatt sliter med integrerings- og styringsproblemene jeg skrev om i 2003. Da jeg med glede så disse spådommene gå i oppfyllelse, tenkte jeg at det var på tide å gå videre og studere et annet tema. Og jeg tok feil!

Her er grunnen til det: I 2003 hadde Google nettopp fylt fem år, Amazon var ni år gammelt, og Booking.com var fortsatt en uavhengig oppstartsbedrift i Amsterdam. Selv om jeg hadde studert de statistiske prinsippene og ledelsesprinsippene som er kjernen i eksperimentering, hadde jeg ikke sett nærmere på hvilken rolle de spiller i kundeopplevelsen og utformingen av forretningsmodeller. Jeg hadde ingen anelse om hvordan bruken av disse prinsippene ville bidra til fremveksten av dagens nettbaserte virksomheter. Da jeg endelig fikk øynene opp for det, innså jeg med en gang at storskala, kontrollerte eksperimenter ville revolusjonere måten alle selskaper driver virksomheten sin på, og hvordan ledere tar beslutninger.

Professor Stefan Thomke ved Harvard Business School

Optimizely: I forordet nevner du at mange lesere tror at storskala forretningseksperimenter bare påvirker virksomheter med digitale røtter, og du forteller at det er tre grunner til at du tror denne boken vil få dem til å endre mening.

Thomke: For de leserne som tror at storskala forretningseksperimenter bare påvirker virksomheter med digitale røtter, håper jeg at den nye boken min vil få dem til å endre mening - av tre grunner.

For det første samhandler bedrifter uten digitale røtter i økende grad med kunder på nettet. Å dra nytte av det enorme antallet digitale berøringspunkter, designvalg og forretningsbeslutninger er rett og slett overveldende uten tilgang til storskala testing.

For det andre kan ideene og prinsippene i boken brukes i alle typer virksomheter, enten du driver offline eller online, B2C eller B2B, innen produksjon, detaljhandel, forretnings- og finanstjenester, logistikk, reiseliv, media, underholdning, helsevesen og så videre.

For det tredje bør selskaper som ikke har sine røtter i programvare, følge risikokapitalisten Marc Andreessens ordtak: "Software is eating the world." Jeg har sett mange maskinvareutviklingsprosjekter der programvaren slukte mer enn halvparten av alle ressursene. Tenk på at beste praksis for programvareutvikling har endret seg dramatisk i løpet av det siste tiåret. Hos Microsofts Bing blir rundt 80 prosent av de foreslåtte endringene først kjørt som kontrollerte eksperimenter.

Optimizely: Optimizely delte data med deg og Sourobh Ghosh - hva var de foreløpige funnene?

Thomke: For å forstå hvordan organisasjoner tester forretningshypoteser, ga Optimizely oss tilgang til alle eksperimenter, som anonymiserte data, som kundene kjørte fra november 2016 til september 2018. Ved hjelp av disse dataene opprettet vi en stor database som ble nøye kontrollert for robusthet og dataintegritet. Eksperimentene ble filtrert etter flere kvalitetskriterier, for eksempel tilstrekkelig kundetrafikk (mer enn tusen besøkende per uke), ekte eksperimenter (ingen A/A-tester eller feilrettinger), og så videre.

Her er hva vår foreløpige analyse viste:

• Gjennomsnittlig antall variasjoner, i tillegg til en kontroll, var 1,5 (medianen var 2), og rundt 70 prosent av eksperimentene var enkle A/B-tester. Det er ikke klart om organisasjonene bevisst holdt testene enkle, eller om de bare begynte på den måten.
• Medianen for varigheten av et eksperiment er 3 uker, men gjennomsnittet var 4,4 uker. Dette er grunnen til dette. Mange eksperimenter bare "drøyde" i flere måneder, og det er vanskelig å begrunne hvorfor noen tester skal vare lenger enn femten eller tjue uker. Mest sannsynlig er det en indikasjon på dårlig organisatorisk praksis og mangel på prosessstandarder.
• De bransjesegmentene som eksperimenterte mest i vår studie, var detaljhandel, høyteknologi, finansielle tjenester og media. Vi fant ut at høyteknologibedrifter er de mest "effektive" testerne (større løft per eksperiment).
• Totalt sett oppnådde 19,6 prosent av alle eksperimentene statistisk signifikans på den primære måleparameteren. Her er et forbehold: 10,3 prosent hadde positiv og 9,8 prosent hadde negativ signifikans. Hvis det primære målet er (positiv) kundekonvertering, kan et negativt resultat hindre selskaper i å rulle ut funksjoner som skaper tap, forutsatt at det holder seg i fremtidige eksperimenter.
• Det store datasettet gjorde det også mulig for oss å besvare et grunnleggende spørsmål: Gjør variasjoner det bedre enn grunnlinjen? Vi fjernet ekstremverdier for å unngå at analysen skulle bli skjev, og endte opp med mer enn 30 000 variasjoner. Bevisene tydet sterkt på at variasjoner i gjennomsnitt gjorde det bedre enn baseline(p = 0,000). Med andre ord, et rungende ja til at eksperimentering fungerer!

Optimalt: Hva er viktige utviklingstrekk som vil kreve massiv eksperimenteringskapasitet?

Thomke: Her er tre viktige utviklingstrekk som vil kreve massiv eksperimenteringskapasitet.

For det første vil kundene i økende grad samhandle med bedriften din via mobile enheter (smarttelefoner, nettbrett, klokker osv.). I 2018 leverte selskapene mer enn 1,5 milliarder smarttelefoner og mobile enheter, og det forventes at antallet enheter vil overstige 2 milliarder innen 2023. Men det som er enda mer forbløffende, er databehandlings- og nettverkskraften til disse enhetene. Hvis utviklingen fortsetter i samme tempo som i dag, vil kundene om noen tiår ha dagens superdatamaskiner (som brukes av forskere til å forutsi globale værmønstre eller simulere universets spede begynnelse) i lommene sine. Dette vil føre til en eksplosjon av berøringspunkter og komplekse interaksjoner med kundene, inkludert atferd og verdidrivere som vi ikke engang er klar over i dag. Disse nye kundeopplevelsene vil kreve mye utforskning og optimalisering. Den eneste måten alle selskaper kan holde tritt med denne raske utviklingen og avgjøre hva som fungerer og ikke fungerer, er ved å kjøre storskala eksperimenteringsprogrammer.

For det andre vil bedriftene snart innse at et forretningsanalyseprogram er ufullstendig uten kontrollerte eksperimenter. Tradisjonell analyse ved hjelp av stordata ser i bakspeilet og lider av alvorlige begrensninger når det gjelder innovasjon: Jo mer ny en innovasjon er, desto mindre sannsynlig er det at pålitelige data vil være tilgjengelige. (Hvis pålitelige data hadde vært tilgjengelige, ville noen faktisk allerede ha lansert innovasjonen, og da ville den ikke vært ny!)

Den tredje, og kanskje viktigste, utviklingen som vil kreve massiv eksperimenteringskapasitet, er fremveksten av kunstig intelligens (AI) - eller mer spesifikt maskinlæring og kunstige nevrale nettverk. Sofistikerte algoritmer og biologiinspirerte nevrale nettverk kan trenes opp med store datasett for å oppdage mønstre med en høy grad av automatisering (f.eks. identifisering, gruppering og prioritering av brukerproblemer). Selv om de fleste av de teoretiske gjennombruddene ble gjort for flere tiår siden, er vi endelig vitne til en eksplosjon av bruksområder som vil forandre fremtidens virksomheter. Forestill deg følgende: Hva om AI-baserte metoder kunne analysere dataene dine (kundesupportinformasjon, markedsundersøkelser og så videre) og generere tusenvis av evidensbaserte hypoteser? Tenk deg nå at disse algoritmene også kunne utforme, kjøre og analysere eksperimenter uten at ledelsen var involvert i det hele tatt. Storskala eksperimenteringsprogrammer som bruker et lukket system, kan kjøre i bakgrunnen og komme med anbefalinger om tiltak når du kommer på jobb om morgenen. Og du kan ha stor tillit til at handlingene dine vil gi resultater fordi de er vitenskapelig testet for årsak og virkning.