Det bästa sättet att veta är att göra. Även om KLM Royal Dutch Airlines alltid har legat i framkant när det gäller den digitala utvecklingen och alltid har haft en experimenteringskultur som går ut på att engagera kunderna i utvecklingen av nya produkter och tjänster, nådde KLM:s webbteam 2017 gränsen för sina funktioner för experimentering. I takt med att behovet av experimentering av interna produktteam och datadrivet beslutsfattande ökade, letade KLM efter en pålitlig datadriven testpartner ... och hittade en i Optimizely.
Digitala produktteam på KLM arbetar kontinuerligt med att förbättra användarupplevelsen. I en bransch som är känd för sin konkurrenskraft - många olika parter försöker förföra den resekunniga kunden - kan små justeringar av användarupplevelsen göra stor skillnad. Med över 30 miljoner människor som bokar KLM-biljetter varje år räcker det inte med att bygga en produkt som "bara fungerar" (en Minimal Viable Product), utan det handlar om att bygga digitala produkter som är superenkla att använda och intuitiva - Minimal Lovable Product.
Det är ingen lätt uppgift och det krävs mycket användarengagemang, feedback och testning för att genomföra detta. KLM implementerade därför Optimizely för att skala upp antalet och effekten av de experiment som gjordes av de olika produktteamen. Nu, ett och ett halvt år efter implementeringen, använder 6 produktteam Optimizely. Totalt sett har KLM fördubblat antalet utförda tester och i genomsnitt tar det bara hälften så lång tid att sätta upp ett test som det gjorde innan Optimizely implementerades.
Vi har träffat Grazia Aroboleo och Joost Olieroock på KLM:s Customer Insights & Analytics-team för att prata om implementeringen.
Introduktionen av Optimizely inom KLM sammanföll precis med ett KLM-omfattande program för att rulla ut flygpaket (som innehåller bagage och biljettflexibilitet) i bokningsflödet. När Grazia Arboleo, Optimizely Specialist inom Insights & Analytics-teamet på KLM, blev ombedd att AB-testa en ny design för flygvalssteget på KLM:s webbplats med dessa nya paket, visste hon inte att detta skulle bli en viktig vändpunkt i hur designändringar skulle rullas ut.
Teamet fokuserade på att bygga en Minimal Lovable Product baserad på flexibla komponenter. Detta skulle möjliggöra snabb optimering och var en förutsättning för en smidig utrullning. Grazia hjälpte teamet att spåra effekterna av den nya designen genom experimentering. Trots höga förväntningar visade upplevelseoptimeringen tydligt att den nya designen behövde optimeras ytterligare.
Grazia och teamet analyserade resultaten och utvecklade nya hypoteser. Optimizely gjorde det möjligt för dem att enkelt köra flera experiment, iterera snabbt och göra stegvisa förbättringar av designen. På några månader körde teamet mer än 20 tester på just det här flödet - och mätte alltid konverteringsgraderna för steg och bokningar. Vissa av experimenten gav tydliga vinnare, andra gjorde det inte. Som ett resultat återhämtade sig konverteringsgraden och till slut rullades upplevelsen ut till alla besökare.
Innan KLM använde Optimizely brukade de implementera omdesignen gradvis, och började med att erbjuda upplevelsen till en liten geografisk marknad. Om teamen inte såg några drastiska förändringar i sina analyser eller försäljningssiffror för den här marknaden, utökade de gradvis upplevelsen till andra marknader. Den här utrullningsprocessen kunde bidra till att förhindra drastiska nedgångar i mätningarna, men mer subtila förändringar var svåra att upptäcka.
Det första lyckade experimentet fick stor uppmärksamhet inom KLM och bidrog till att driva experimenteringstänket vidare "Det var avgörande för oss att kunna mäta skillnaderna mellan de gamla och de nya versionerna av bokningsflödet och få tillförlitliga statistiska data", säger Grazia.
Att det är enkelt att sätta upp experiment i Optimizely har uppmuntrat andra produktteam på KLM att engagera sig i experimentering. "Tidigare hade vi tredje part som utvecklade de flesta av våra experiment. Numera har vi våra egna utvecklare som gör detta. När nya utvecklare börjar använda Optimizely blir de ofta förvånade över möjligheterna. Det är också bra att experimentering gör att effekterna av deras dagliga arbete blir mycket tydligare. Analytikerna från Grazias team stöder produktteamen genom hela processen för experimentering (från plan till analys). "Teamet jag stöttar skickar nu in fler förfrågningar om test än jag kan analysera", skrattar Grazia och är glad över att Optimizely's Stats Engine, plattformens statistiska ryggrad, gör hennes liv som analytiker mycket enklare. Hon är stolt över att hennes produktteam har anammat ett experimenteringstänk och testar sig själva som en del av deras agila arbetssätt.
Joost Olieroock
Manager Customer Insights & Analytics, KLM
Förutom experimentering får teamen också insikter från andra datakällor (t.ex. analyser, enkäter, värmekartor). Optimizely's integration med några av deras verktyg hjälper dem att få en bättre förståelse för kundernas behov och se om variationerna i deras experiment bättre uppfyller dessa behov.
Integrationen med verktyget Analytics gör det möjligt för KLM att automatiskt importera data från experiment för vidare analys i ett bredare affärssammanhang. Värmekartor kan också automatiskt taggas med information om den variation av A/B-testning som en viss användare har sett. På så sätt kan analytikerna göra skillnad mellan olika upplevelser under sin analys.
Joost tar upp projektet för KLM:s företagsprogram för att optimera affärsresenärernas upplevelse genom att förse dem med ett särskilt bokningsflöde för företagskunder. "Det här är ett perfekt exempel där vi använde insikter från användarfeedback, analys och experimentering tillsammans."
Innan upplevelsen utvecklades ville teamet skapa sig en bild av just det här segmentet och förstå hur de vill interagera med webbplatsen. För att avgöra om och hur upplevelsen skulle byggas upp genomförde teamet ett experiment med Optimizely för att ta reda på om användarna verkligen var villiga att uppge om de reste på semester eller i tjänsten genom att lägga till ett alternativ för att ange anledningen till resan. De genomförde också en undersökning där användarna ombads fylla i ett frågeformulär om sina bokningspreferenser. Resultaten kompletterades med data från deras analysverktyg.
Även om projektet ännu inte är slutfört har forskningen lett till hypotesen att användarna kan vara mer villiga att avslöja sin reseanledning om de vet vad informationen kommer att användas till och hur den kommer att gynna dem.
Det här exemplet visar hur data från olika forskningskällor hjälper till att få insikter om användarnas behov och preferenser och hur experiment bidrar till att optimera besökarnas upplevelse.
Skalan och hastigheten på experimentering med Optimizely har förändrat hur digitala produktteam på KLM arbetar. "Optimizely hjälper verkligen våra team att testa och lära sig snabbare, vilket gör det lättare att anpassa sig till våra kunders behov", säger Grazia. "Testning är mycket viktigt för att mäta effekten av förändringar mot vårt mål", tillägger hon.
Joost förutspår att experimentering snart kommer att vara guldstandarden för alla team på KLM, eftersom det gör det möjligt för KLM att fånga upp potentiella fallgropar innan de rullas ut till alla användare. "Product Owner ber oss nu mer och mer att testa varje förändring för att bevisa att den gör vad den ska - och om den inte gör det kan vi optimera. Dessa lärdomar är avgörande för att leverera en övertygande kundupplevelse".
