Den beste måten å vite det på, er å gjøre det. Selv om KLM Royal Dutch Airlines alltid har vært en pioner innen digital utvikling og alltid har hatt en kultur for å engasjere kundene i utviklingen av nye produkter og tjenester, nådde KLMs webteam grensene for sine eksperimenteringskapasiteter i 2017. Etter hvert som behovet for eksperimentering av interne produktteam og datadrevet beslutningstaking økte, var KLM på jakt etter en pålitelig partner for datadrevne tester ... og fant en i Optimizely.
De digitale produktteamene hos KLM jobber kontinuerlig med å forbedre brukeropplevelsen. I en bransje som er kjent for å være konkurranseutsatt - mange ulike aktører prøver å forføre den reisekyndige kunden - kan små justeringer av brukeropplevelsen utgjøre en enorm forskjell. Med over 30 millioner mennesker som bestiller KLM-billetter hvert år, er det ikke nok å bygge et produkt som "bare fungerer" (et Minimal Viable Product), det handler om å bygge digitale produkter som er superenkle å bruke og intuitive - Minimal Lovable Product.
Dette er ingen enkel oppgave, og det krever mye brukerengasjement, tilbakemeldinger og testing for å implementere. KLM implementerte derfor Optimizely for å skalere antallet og effekten av eksperimenter utført av de ulike produktteamene. Nå, halvannet år etter implementeringen, bruker seks produktteam Optimizely. Totalt sett har KLM doblet antall utførte tester, og i gjennomsnitt tar det bare halvparten så lang tid å sette opp en test som før implementeringen av Optimizely.
Vi har tatt en prat med Grazia Aroboleo og Joost Olieroock i KLMs Customer Insights & Analytics-team for å snakke om implementeringen.
Innføringen av Optimizely i KLM sammenfalt med et KLM-omfattende program for å rulle ut flypakker (som inkluderer bagasje og billettfleksibilitet) i bestillingsflyten. Da Grazia Arboleo, Optimization Specialist i Insights & Analytics-teamet hos KLM, ble bedt om å AB-teste et nytt design for flyvalgstrinnet på KLMs nettsted med disse nye pakkene, visste hun ikke at dette ville bli et viktig vendepunkt i måten designendringene ville bli rullet ut på.
Teamet fokuserte på å bygge et minimalt, elskelig produkt basert på fleksible komponenter. Dette ville muliggjøre rask optimalisering og var en forutsetning for en smidig utrulling. Grazia hjalp teamet med å spore effekten av det nye designet gjennom eksperimenter. Til tross for høye forventninger viste eksperimentdataene tydelig at den nye designen trengte ytterligere optimalisering.
Grazia og teamet analyserte resultatene og utviklet nye hypoteser. Med Optimizely kunne de enkelt kjøre flere eksperimenter, iterere raskt og gjøre trinnvise forbedringer av designet. I løpet av noen få måneder kjørte teamet mer enn 20 tester på denne flyten - og målte hele tiden konverteringsraten for trinnkonvertering og bestilling. Noen av eksperimentene ga klare vinnere, mens andre ikke gjorde det. Resultatet var at konverteringsratene økte, og til slutt ble opplevelsen rullet ut til alle besøkende.
Før Optimizely ble tatt i bruk, pleide KLM å implementere redesignet gradvis, og startet med å tilby opplevelsen til et lite geografisk marked. Hvis teamene ikke så drastiske endringer i analysene eller salgstallene for dette markedet, utvidet de gradvis opplevelsen til andre markeder. Denne utrullingsprosessen kunne bidra til å forhindre drastiske fall i målingene, men mer subtile endringer var vanskelige å oppdage.
Dette første vellykkede eksperimentet fikk stor oppmerksomhet i KLM og bidro til å drive eksperimenteringstankegangen videre. "Det var avgjørende for oss å kunne måle forskjellene mellom den gamle og den nye versjonen av bookingflyten og få pålitelige statistiske data", sier Grazia.
At det er så enkelt å sette opp eksperimenter i Optimizely, har oppmuntret andre produktteam i KLM til å engasjere seg i eksperimentering. "Tidligere hadde vi tredjeparter som utviklet de fleste eksperimentene våre. I dag er det våre egne utviklere som gjør dette. Når nye utviklere begynner å bruke Optimizely, blir de ofte overrasket over mulighetene som finnes. Det er også flott at eksperimenteringen gjør effekten av det daglige arbeidet deres mye tydeligere. Analytikerne fra Grazias team støtter produktteamene gjennom hele eksperimenteringsprosessen (fra plan til analyse). "Teamet jeg støtter sender nå inn flere forespørsler om tester enn jeg kan analysere", ler Grazia og er glad for at Optimizelys Stats Engine, plattformens statistiske ryggrad, gjør livet hennes som analytiker mye enklere. Hun er stolt over at produktteamet hennes har adoptert en eksperimenterende tankegang og tester seg selv som en del av den smidige måten de jobber på.
Joost Olieroock
Manager Customer Insights & Analytics, KLM
I tillegg til eksperimentering får teamene også innsikt fra andre datakilder (f.eks. analyser, spørreundersøkelser og varmekart). Optimizelys integrasjon med noen av verktøyene deres hjelper dem med å få en bedre forståelse av kundenes behov og se om variasjonene i eksperimentene deres oppfyller disse behovene på en bedre måte.
Integrasjonen med Analytics-verktøyet gjør at KLM automatisk kan importere eksperimentdata for videre analyse i en bredere forretningskontekst. Heatmaps kan også automatisk merkes med informasjon om variasjonen i A/B-testen som en bestemt bruker har sett. På denne måten kan analytikerne skille mellom ulike opplevelser i løpet av analysen.
Joost nevner prosjektet for KLMs Corporate-program, som gikk ut på å optimalisere opplevelsen til forretningsreisende ved å tilby dem en spesiell bestillingsflyt for bedriftskunder. "Dette er et perfekt eksempel på et prosjekt der vi brukte innsikt fra tilbakemeldinger fra brukerne, analyser og eksperimenter sammen."
Før de utviklet opplevelsen, ønsket teamet å tegne et bilde av dette segmentet og forstå hvordan de liker å bruke nettstedet. For å avgjøre om og hvordan opplevelsen skulle bygges, gjennomførte teamet et eksperiment med Optimizely for å finne ut om brukerne faktisk var villige til å oppgi om de reiste på ferie eller forretningsreise ved å legge til et alternativ for å spesifisere reisegrunnen. De gjennomførte også en undersøkelse der brukerne ble bedt om å fylle ut et spørreskjema om sine bestillingspreferanser. Resultatene ble supplert med data fra analyseverktøyet deres.
Selv om prosjektet ennå ikke er fullført, har forskningen ført til en hypotese om at brukerne kan være mer villige til å oppgi reisegrunnen hvis de vet hva informasjonen vil bli brukt til og hvilken nytte de vil ha av den.
Dette eksemplet viser hvordan data fra ulike forskningskilder bidrar til å få innsikt i brukernes behov og preferanser, og hvordan eksperimenter kan bidra til å optimalisere opplevelsen til de besøkende.
Omfanget og hastigheten på eksperimentering med Optimizely har endret måten de digitale produktteamene hos KLM jobber på. "Optimizely hjelper teamene våre med å teste og lære raskere, noe som gjør det lettere å tilpasse seg kundenes behov", sier Grazia. "Test er veldig viktig for å måle effekten av endringer i forhold til målet vårt", legger hun til.
Joost spår at eksperimentering snart vil være gullstandarden i alle team i KLM, ettersom det gjør det mulig for KLM å fange opp potensielle fallgruver før de rulles ut til alle brukere. "Produkteiere ber nå mer og mer om å teste alle endringer for å bevise at de gjør det de skal gjøre - og hvis ikke, kan vi optimalisere. Disse erfaringene er avgjørende for å kunne levere en overbevisende kundeopplevelse."
