KLM skalerer sin test-og-lær-kultur med Optimizely

Den beste måten å vite på er å gjøre. Selv om KLM Royal Dutch Airlines alltid hadde vært pionerer i front av digital utvikling og alltid hadde hatt en kultur for å engasjere kunder i utvikling av nye produkter og tjenester, nådde KLMs webteam grensene for eksperimenteringskapasiteten sin i 2017. Etter hvert som behovet for eksperimentering av interne produktteam og datadrevet beslutningstaking økte, søkte KLM etter en pålitelig datadrevet testpartner… og fant en i Optimizely.

Digitale produktteam hos KLM jobber kontinuerlig med forbedringer av brukeropplevelsen. I en bransje kjent for sin konkurranseevne – mange ulike parter prøver å forføre den reisekyndige kunden – kan små justeringer av brukeropplevelsen utgjøre en enorm forskjell. Med over 30 millioner mennesker som bestiller KLM-billetter på årsbasis, er det ikke nok å bygge et produkt som «bare fungerer» (et Minimal Viable Product), det handler om å bygge digitale produkter som er superenkle å bruke og intuitive – Minimal Lovable Product.

Dette er ingen enkel oppgave og krever mye brukerengasjement, tilbakemelding og testing for å implementere. KLM implementerte derfor Optimizely for å skalere antallet og effekten av eksperimenter utført av de ulike produktteamene. Nå, ett og et halvt år etter implementering, bruker 6 produktteam Optimizely. Totalt doblet KLM antallet utførte tester, og i gjennomsnitt tar det å sette opp en test bare halvparten av tiden det tok før Optimizelys implementering.

Vi henter inn Grazia Aroboleo og Joost Olieroock i KLMs Customer Insights & Analytics-team for å snakke om implementeringen.

Introduksjonen av Optimizely i KLM falt akkurat sammen med et KLM-omfattende program for å rulle ut flyreisepakker (inkorporering av bagasje og billettfleksibilitet) i bestillingsflytene. Da Grazia Arboleo, optimaliseringsspesialist i Insights & Analytics-teamet hos KLM, ble bedt om å A/B-teste et nytt design for flyvalgssteget på KLMs nettside med disse nye pakkene, visste hun ikke at dette ville være et viktig vendepunkt i måten designendringer ville bli rullet ut på.

Teamet fokuserte på å bygge et Minimal Lovable Product basert på fleksible komponenter. Dette ville tillate rask optimalisering og var kravet for en smidig utrulling. Grazia hjalp teamet med å spore effekten av det nye designet gjennom eksperimentering. Til tross for høye forventninger viste eksperimentdataene tydelig at det nye designet trengte ytterligere optimalisering.

Grazia og teamet analyserte resultatene og utviklet nye hypoteser. Optimizely gjorde det mulig for dem å kjøre flere eksperimenter enkelt, iterere raskt og gjøre trinnvise forbedringer av designet. I løpet av noen måneder kjørte teamet mer enn 20 tester på denne spesielle flyten – alltid måling av trinnkonvertering og bestillingskonverteringsrater. Noen av eksperimentene leverte klare vinnere, andre ikke. Som et resultat ble konverteringsratene gjenopprettet, og til slutt ble opplevelsen rullet ut til alle besøkende.

Før bruk av Optimizely pleide KLM å implementere redesigner gradvis, starter med å betjene opplevelsen for et lite geografisk marked. Hvis teamene ikke så dramatiske endringer i analytics eller salgstall for dette markedet, ville de gradvis utvide opplevelsen til andre markeder. Denne utrullingsprosessen kunne bidra til å forhindre drastiske fall i målinger, men mer subtile endringer var vanskelige å oppdage.

Dette første vellykkede eksperimentet fikk mye oppmerksomhet innen KLM og bidro til å drive eksperimenteringstankegangen videre. «Det var avgjørende for oss å kunne måle forskjellene mellom de gamle og nye versjonene av bestillingsflytene og få pålitelige statistiske data», sier Grazia.

Enkelheten ved å sette opp eksperimenter i Optimizely har oppmuntret andre produktteam hos KLM til å engasjere seg med eksperimentering. «Tidligere hadde tredjeparter utviklet de fleste av eksperimentene våre. I dag gjør våre egne utviklere dette. Når nye utviklere begynner å bruke Optimizely, er de ofte forundret over mulighetene. Det er også flott at eksperimentering gjør effekten av det daglige arbeidet deres mye klarere. Analytikerne fra Grazias team støtter produktteamene gjennom hele eksperimenteringsprosessen (fra plan til analyse). «Teamet jeg støtter sender nå inn flere testforespørsler enn jeg kan analysere», ler Grazia og er glad for at Optimizelys Stats Engine, den statistiske ryggraden i plattformen, gjør livet hennes som analytiker mye enklere. Hun er stolt over at produktteamet hennes har adoptert en eksperimenteringstankegang og tester selvstendi g som en del av den smidige arbeidsmåten.

I tillegg til eksperimentering får teamene også innsikt fra andre datakilder (f.eks. analytics, undersøkelser, varmekart). Optimizelys integrasjon med noen av verktøyene deres hjelper dem med å få en bedre forståelse av kundebehov og se om variasjonene i eksperimentene bedre oppfyller disse behovene.

Integrasjonen med analytics-verktøyet gjør det mulig for KLM å automatisk importere eksperimentdata for videre analyse innen en bredere forretningskontekst. Varmekart kan også automatisk merkes med informasjon om A/B-test-variasjonen som en bestemt bruker har sett. På denne måten kan analytikerne skille mellom opplevelser under analysen.

Joost tar opp prosjektet for KLMs bedriftsprogram for å optimalisere opplevelsen av forretningsreisende ved å gi dem en spesiell bestillingsflyt for bedriftskunder. «Dette er et perfekt eksempel der vi brukte innsikt fra brukertilbakemeldinger, analytics og eksperimentering i kombinasjon.»

Før utviklingen av opplevelsen ønsket teamet å tegne et bilde av dette spesielle segmentet og forstå hvordan de liker å engasjere seg med nettstedet. For å bestemme om og hvordan man skal bygge opplevelsen, kjørte teamet et eksperiment med Optimizely for å finne ut om brukere faktisk var villige til å avsløre om de reiste for fritid eller jobb ved å legge til et alternativ for å spesifisere reisegrunn. De gjennomførte også en undersøkelse der brukerne ble bedt om å fylle ut et spørreskjema om bestillingspreferansene sine. Resultatene ble supplert med data fra analytics-verktøyet.

Mens prosjektet ennå ikke er fullført, har forskningen ført til hypotesen om at brukere kanskje er mer villige til å avsløre reisegrunnen sin hvis de visste hva informasjonen ville bli brukt til og hvordan det ville være til nytte for dem.

Dette eksemplet viser hvordan data fra ulike forskningskilder bidrar til å få innsikt om brukernes behov og preferanser, og hvordan eksperimenter bidrar til å optimalisere opplevelsen for besøkende.

Omfanget og hastigheten av eksperimentering med Optimizely har endret måten digitale produktteam hos KLM arbeider på. «Optimizely hjelper virkelig teamene våre med å teste og lære raskere, noe som gjør det lettere å tilpasse seg kundebehovene våre», sier Grazia. «Testing er veldig viktig for å måle effekten av endringer mot målet vårt», legger hun til.

Joost forutser at eksperimentering snart vil bli gullstandarden på tvers av alle team hos KLM, ettersom det gjør det mulig for KLM å fange opp potensielle fallgruver før de rulles ut til alle brukere. «Produkteiere ber nå i økende grad om å teste alle endringer for å bevise at de gjør det de skal gjøre – og hvis ikke, kan vi optimalisere. Disse lærdomme ne er avgjørende for å levere en overbevisende kundeopplevelse».