KLM skaliert seine Test-und-Lern-Kultur mit Optimizely

Der beste Weg zu wissen, ist zu tun. Obwohl KLM Royal Dutch Airlines immer an der Spitze der digitalen Entwicklungen war und immer eine Kultur der Einbindung von Kunden in die Entwicklung neuer Produkte und Dienstleistungen hatte, stieß KLMs Web-Team im Jahr 2017 an die Grenzen seiner Experimentierkapazitäten. Als der Bedarf an Experimentation durch interne Produktteams und datengesteuerter Entscheidungsfindung zunahm, suchte KLM nach einem zuverlässigen, datengesteuerten Testpartner… und fand einen in Optimizely.

Digitale Produktteams bei KLM arbeiten kontinuierlich an Verbesserungen der Nutzererfahrung. In einer Branche, die für ihre Wettbewerbsfähigkeit bekannt ist – viele verschiedene Parteien versuchen, den reiseerfahrenen Kunden zu gewinnen – können kleine Anpassungen an der Nutzererfahrung einen enormen Unterschied machen. Mit über 30 Millionen Menschen, die jährlich KLM-Tickets buchen, reicht es nicht, ein Produkt zu bauen, das „einfach funktioniert" (ein Minimal Viable Product), es geht darum, digitale Produkte zu bauen, die super einfach zu bedienen und intuitiv sind – Minimal Lovable Product.

Das ist keine leichte Aufgabe und erfordert viel Nutzerengagement, Feedback und Tests zur Umsetzung. KLM implementierte daher Optimizely, um die Anzahl und Wirkung der von den verschiedenen Produktteams durchgeführten Experimente zu skalieren. Nun, eineinhalb Jahre nach der Implementierung, nutzen 6 Produktteams Optimizely. Insgesamt hat KLM die Anzahl der durchgeführten Tests verdoppelt, und im Durchschnitt dauert das Einrichten eines Tests nur halb so lang wie vor der Implementierung von Optimizely.

Wir treffen Grazia Aroboleo und Joost Olieroock aus dem Customer Insights & Analytics-Team von KLM, um über die Implementierung zu sprechen.

Die Einführung von Optimizely bei KLM fiel zusammen mit einem KLM-weiten Programm zur Einführung von Flugpaketen (mit Gepäck- und Ticketflexibilität) im Buchungsablauf. Als Grazia Arboleo, Optimierungsspezialistin im Insights & Analytics-Team von KLM, gebeten wurde, ein neues Design für den Flugauswahlschritt auf der KLM-Website mit diesen neuen Paketen einem A/B-Test zu unterziehen, ahnte sie nicht, dass dies ein wichtiger Wendepunkt in der Art und Weise sein würde, wie Designänderungen eingeführt werden würden.

Das Team konzentrierte sich auf den Aufbau eines Minimal Lovable Product auf Basis flexibler Komponenten. Dies würde eine schnelle Optimierung ermöglichen und war die Voraussetzung für einen agilen Rollout. Grazia half dem Team, die Auswirkungen des neuen Designs durch Experimentation zu verfolgen. Trotz hoher Erwartungen zeigte die Experimentdaten deutlich, dass das neue Design weiterer Optimierung bedurfte.

Grazia und das Team analysierten die Ergebnisse und entwickelten neue Hypothesen. Optimizely ermöglichte es ihnen, mehrere Experimente einfach durchzuführen, schnell zu iterieren und schrittweise Verbesserungen am Design vorzunehmen. Innerhalb weniger Monate führte das Team mehr als 20 Tests zu diesem speziellen Ablauf durch – wobei immer die Schrittkonversion und die Buchungskonversionsraten gemessen wurden. Einige der Experimente lieferten klare Gewinner, andere nicht. Als Ergebnis erholten sich die Konversionsraten und schließlich wurde die Erfahrung für alle Besucher ausgerollt.

Vor der Nutzung von Optimizely pflegte KLM Redesigns schrittweise einzuführen, beginnend mit der Bereitstellung der Erfahrung für einen kleinen geografischen Markt. Wenn die Teams keine drastischen Änderungen in ihren Analytics oder Verkaufszahlen für diesen Markt sahen, würden sie die Erfahrung schrittweise auf andere Märkte ausweiten. Dieser Rollout-Prozess konnte helfen, drastische Einbrüche bei Messungen zu verhindern, aber subtilere Veränderungen waren schwer zu erkennen.

Dieses erste erfolgreiche Experiment fand viel Beachtung bei KLM und half, den Experimentiermindset weiter voranzutreiben. „Es war für uns entscheidend, die Unterschiede zwischen den alten und neuen Versionen des Buchungsablaufs messen und zuverlässige statistische Daten erhalten zu können", sagt Grazia.

Die Einfachheit der Einrichtung von Experimenten in Optimizely hat andere Produktteams bei KLM dazu ermutigt, sich mit Experimentation zu beschäftigen. „Früher hatten Dritte die meisten unserer Experimente entwickelt. Heutzutage machen das unsere eigenen Entwickler. Wenn neue Entwickler anfangen, Optimizely zu nutzen, sind sie oft erstaunt über die Möglichkeiten. Es ist auch toll, dass Experimentation die Auswirkungen ihrer täglichen Arbeit viel klarer macht. Die Analysten aus Grazias Team unterstützen die Produktteams im gesamten Experimentierprozess (von der Planung bis zur Analyse). „Das Team, das ich unterstütze, stellt jetzt mehr Testanfragen, als ich analysieren kann", lacht Grazia und ist froh, dass Optimizelys Stats Engine, das statistische Rückgrat der Plattform, ihr als Analystin das Leben erheblich leichter macht. Sie ist stolz, dass ihr Produktteam einen Experimentiermindset angenommen hat und als Teil ihrer agilen Arbeitsweise selbstständig testet.

Neben der Experimentation gewinnen die Teams auch aus anderen Datenquellen Erkenntnisse (z.B. Analytics, Umfragen, Heatmaps). Optimizelys Integration mit einigen ihrer Tools hilft ihnen, die Bedürfnisse der Kunden besser zu verstehen und zu sehen, ob die Variationen in ihren Experimenten diese Bedürfnisse besser erfüllen.

Die Integration mit dem Analytics-Tool ermöglicht es KLM, Experimentdaten automatisch für weitere Analysen im breiteren Geschäftskontext zu importieren. Auch Heatmaps können automatisch mit Informationen über die A/B-Test-Variation markiert werden, die ein bestimmter Nutzer gesehen hat. Auf diese Weise können Analysten bei ihrer Analyse zwischen Erfahrungen unterscheiden.

Joost bringt das Projekt für KLMs Corporate-Programm zur Sprache, um die Erfahrung von Geschäftsreisenden durch die Bereitstellung eines speziellen Buchungsablaufs für Firmenkunden zu optimieren. „Das ist ein perfektes Beispiel, bei dem wir Erkenntnisse aus Nutzerfeedback, Analytics und Experimentation kombiniert haben."

Bevor die Erfahrung entwickelt wurde, wollte das Team ein Bild von diesem speziellen Segment zeichnen und verstehen, wie sie mit der Website interagieren möchten. Um zu entscheiden, ob und wie die Erfahrung aufgebaut werden soll, führte das Team ein Experiment mit Optimizely durch, um herauszufinden, ob Nutzer tatsächlich bereit wären, anzugeben, ob sie für Freizeit oder Geschäft reisen, indem sie die Möglichkeit hinzufügten, den Reisegrund anzugeben. Sie führten auch eine Umfrage durch, in der die Nutzer gebeten wurden, einen Fragebogen zu ihren Buchungspräferenzen auszufüllen. Die Ergebnisse wurden mit Daten aus ihrem Analytics-Tool ergänzt.

Obwohl das Projekt noch nicht abgeschlossen ist, hat die Forschung zu der Hypothese geführt, dass Nutzer möglicherweise eher bereit sind, ihren Reisegrund anzugeben, wenn sie wissen, wofür die Informationen verwendet werden und wie sie ihnen zugutekommen würden.

Dieses Beispiel zeigt, wie Daten aus verschiedenen Forschungsquellen helfen, Erkenntnisse über die Bedürfnisse und Präferenzen der Nutzer zu gewinnen, und wie Experimente helfen, die Erfahrung von Besuchern zu optimieren.

Der Maßstab und die Geschwindigkeit der Experimentation mit Optimizely haben die Arbeitsweise digitaler Produktteams bei KLM verändert. „Optimizely hilft unseren Teams wirklich, schneller zu testen und zu lernen, und macht es einfacher, sich an die Bedürfnisse unserer Kunden anzupassen", sagt Grazia. „Testen ist sehr wichtig, um die Auswirkungen von Änderungen auf unser Ziel zu messen", fügt sie hinzu.

Joost prognostiziert, dass Experimentation bald der Goldstandard für alle Teams bei KLM sein wird, da es KLM ermöglicht, potenzielle Fallstricke zu erkennen, bevor sie für alle Nutzer ausgerollt werden. „Produktverantwortliche fordern jetzt immer häufiger, jede Änderung zu testen, um zu beweisen, dass sie tut, was sie soll – und wenn nicht, können wir optimieren. Diese Lerneffekte sind entscheidend für die Bereitstellung einer überzeugenden Kundenerfahrung".