KLM skalar sin test-och-lär-kultur med Optimizely

Det bästa sättet att veta är att göra. Trots att KLM Royal Dutch Airlines alltid hade legat i framkant av digital utveckling och alltid haft en kultur av att engagera kunder i utvecklingen av nya produkter och tjänster nådde KLMs webbteam gränserna för sin experimenteringsförmåga 2017. I takt med att behovet av experimentering från interna produktteam och datadrivet beslutsfattande ökade letade KLM efter en pålitlig datadri ven testpartner… och fann en i Optimizely.

Digitala produktteam på KLM arbetar kontinuerligt med förbättringar av användarupplevelsen. I en bransch känd för sin konkurrenskraft – många olika parter försöker förföra den resekunniga kunden – kan små justeringar av användarupplevelsen göra en enorm skillnad. Med över 30 miljoner människor som bokar KLM-biljetter på årsbasis räcker det inte att bygga en produkt som "bara fungerar" (ett Minimal Viable Product), det handlar om att bygga digitala produkter som är superenkla att använda och intuitiva – Minimal Lovable Product.

Det är ingen lätt sak och kräver mycket användarengagemang, feedback och testning för att implementera. KLM implementerade därför Optimizely för att skala antalet och effekten av experiment som genomförs av de olika produktteamen. Nu, ett och ett halvt år efter implementeringen, använder 6 produktteam Optimizely. Totalt sett har KLM fördubblat antalet genomförda tester och i genomsnitt tar det att sätta upp ett test bara hälften av den tid det tog innan Optimizelys implementering.

Vi träffar Grazia Aroboleo och Joost Olieroock i KLMs Customer Insights & Analytics-team för att prata om implementeringen.

Introduktionen av Optimizely på KLM sammanföll just med ett KLM-brett program för att lansera flygpaket (som inkorporerar bagage- och biljettflexibilitet) i bokningsflödet. När Grazia Arboleo, optimeringspecialist inom Insights & Analytics-teamet på KLM, ombads att A/B-testa en ny design för flygvalssteget på KLMs webbplats med dessa nya paket, visste hon inte att detta skulle vara en viktig vändpunkt i hur designförändringar skulle lanseras.

Teamet fokuserade på att bygga ett Minimal Lovable Product baserat på flexibla komponenter. Detta skulle möjliggöra snabb optimering och var kravet för en agil lansering. Grazia hjälpte teamet att spåra effekten av den nya designen genom experimentering. Trots höga förväntningar visade experimentdata tydligt att den nya designen behövde ytterligare optimering.

Grazia och teamet analyserade resultaten och utvecklade nya hypoteser. Optimizely möjliggjorde för dem att enkelt köra flera experiment, iterera snabbt och göra stegvisa förbättringar av designen. Inom några månader körde teamet mer än 20 tester på detta specifika flöde – alltid mätte stegkonvertering och bokningskonverteringsgrader. Vissa av experimenten gav tydliga vinnare, andra inte. Som ett resultat återhämtade sig konverteringsgraderna och slutligen lanserades upplevelsen för alla besökare.

Innan Optimizely implementerades brukade KLM lansera omdesignar gradvis, med start i att servera upplevelsen till en liten geografisk marknad. Om teamen inte såg drastiska förändringar i sina analytics eller försäljningssiffror för denna marknad skulle de gradvis utöka upplevelsen till andra marknader. Denna lanseringsprocess kunde hjälpa till att förhindra drastiska fall i mätningar, men mer subtila förändringar var svåra att detektera.

Det här första framgångsrika experimentet fick stor uppmärksamhet på KLM och bidrog till att driva experimenteringstänkandet vidare. "Det var avgörande för oss att kunna mäta skillnaderna mellan de gamla och nya versionerna av bokningsflödet och få tillförlitlig statistisk data", säger Grazia.

Enkelheten i att sätta upp experiment i Optimizely har uppmuntrat andra produktteam på KLM att engagera sig i experimentering. "Tidigare hade tredjeparter utvecklat de flesta av våra experiment. Nuförtiden gör våra egna utvecklare detta. När nya utvecklare börjar använda Optimizely är de ofta förvånade över möjligheterna. Det är också bra att experimentering gör effekten av deras dagliga arbete mycket tydligare. Analytikerna från Grazias team stöder produktteamen genom hela experimenteringsprocessen (från plan till analys). "Teamet jag stöder skickar nu in fler testförfrågningar än jag kan analysera", skrattar Grazia och är glad att Optimizelys Stats Engine, plattformens statistiska ryggrad, gör hennes liv som analytiker mycket enklare. Hon är stolt över att hennes produktteam har antagit ett experimenteringstänkande och testar självständigt som en del av deras agila arbetsätt.

Utöver experimentering får teamen också insikter från andra datakällor (t.ex. analytics, enkäter, värmekartor). Optimizelys integration med några av deras verktyg hjälper dem att bättre förstå kundbehov och se om variationerna i experimenten bättre uppfyller dessa behov.

Integrationen med analytics-verktyget gör att KLM automatiskt kan importera experimentdata för vidare analys inom ett bredare affärssammanhang. Värmekartor kan också automatiskt taggas med information om A/B-test-variationen som en viss användare har sett. På detta sätt kan analytikerna skilja mellan upplevelser under sin analys.

Joost tar upp projektet för KLMs företagsprogram för att optimera upplevelsen för affärsresenärer genom att förse dem med ett speciellt bokningsflöde för företagskunder. "Det här är ett perfekt exempel där vi använde insikter från användarfeedback, analytics och experimentering i kombination."

Innan upplevelsen utvecklades ville teamet teckna en bild av detta specifika segment och förstå hur de gillar att engagera sig med webbplatsen. För att bestämma om och hur man ska bygga upplevelsen körde teamet ett experiment med Optimizely för att ta reda på om användare faktiskt var villiga att uppge om de reste för fritid eller affärer genom att lägga till ett alternativ för att specificera reseanledning. De genomförde också en enkät där användarna ombads att fylla i ett frågeformulär om sina bokningspreferenser. Resultaten kompletterades med data från deras analytics-verktyg.

Även om projektet ännu inte är avslutat har forskningen lett till hypotesen att användare kanske är mer villiga att avslöja sin reseanledning om de visste vad informationen skulle användas till och hur det skulle gynna dem.

Det här exemplet visar hur data från olika forskningskällor hjälper till att få insikter om användares behov och preferenser och hur experiment hjälper till att optimera upplevelsen för besökare.

Skalan och hastigheten på experimentering med Optimizely har förändrat hur digitala produktteam på KLM arbetar. "Optimizely hjälper verkligen våra team att testa och lära sig snabbare, vilket gör det enklare att anpassa sig till våra kundbehov", säger Grazia. "Testning är mycket viktigt för att mäta effekten av förändringar mot vårt mål", tillägger hon.

Joost förutspår att experimentering snart kommer att vara guldstandarden för alla team på KLM, eftersom det gör det möjligt för KLM att fånga potentiella fallgropar innan de lanseras till alla användare. "Produktägare ber nu mer och mer om att testa varje förändring för att bevisa att den gör vad den ska göra – och om inte, kan vi optimera. Dessa lärdomar är avgörande för att leverera en övertygande kundupplevelse".