Die beste Art zu wissen, ist zu tun. Obwohl KLM Royal Dutch Airlines schon immer Vorreiter bei digitalen Entwicklungen war und eine Kultur der Einbindung von Kunden in die Entwicklung neuer Produkte und Dienstleistungen pflegte, stießen die Web-Teams von KLM 2017 an die Grenzen ihrer Funktionen zum Experimentieren. Da der Bedarf an Experimentieren durch interne Produktteams und datengesteuerter Entscheidungsfindung zunahm, suchte KLM nach einem zuverlässigen Partner für datengesteuerte Tests ... und fand ihn in Optimizely.
Die digitalen Produktteams bei KLM arbeiten kontinuierlich an der Verbesserung des Benutzererlebnisses. In einer Branche, die für ihren Wettbewerb bekannt ist - viele verschiedene Parteien versuchen, den reiseinteressierten Kunden zu verführen - können kleine Verbesserungen des Erlebnisses einen großen Unterschied ausmachen. Bei über 30 Millionen Menschen, die jedes Jahr KLM-Tickets buchen, reicht es nicht aus, ein Produkt zu entwickeln, das "einfach nur funktioniert" (ein Minimal Viable Product), sondern es geht darum, digitale Produkte zu entwickeln, die super einfach zu bedienen und intuitiv sind - Minimal Lovable Product.
Das ist kein leichtes Unterfangen und erfordert viel Engagement, Feedback und Tests, um es umzusetzen. Deshalb hat KLM Optimizely eingeführt, um die Anzahl und die Wirkung der Experimente der verschiedenen Produktteams zu skalieren. Jetzt, eineinhalb Jahre nach der Implementierung, nutzen 6 Produktteams Optimizely. Insgesamt hat KLM die Anzahl der durchgeführten Tests verdoppelt, und im Durchschnitt dauert das Einrichten eines Tests nur noch halb so lange wie vor der Implementierung von Optimizely.
Wir sprechen mit Grazia Aroboleo und Joost Olieroock aus dem Customer Insights & Analytics Team von KLM über die Implementierung.
Die Einführung von Optimizely bei KLM erfolgte zeitgleich mit einem KLM-weiten Programm zur Einführung von Flugpaketen (mit Gepäck- und Ticketflexibilität) im Buchungsablauf. Als Grazia Arboleo, Optimierungsspezialistin im Insights & Analytics Team bei KLM, gebeten wurde, ein neues Design für den Flugauswahlschritt auf der KLM-Website mit diesen neuen Paketen zu testen, wusste sie nicht, dass dies ein wichtiger Wendepunkt in der Art und Weise sein würde, wie Designänderungen eingeführt werden würden.
Das Team konzentrierte sich auf den Aufbau eines Minimal Lovable Product, das auf flexiblen Komponenten basiert. Dies würde eine schnelle Optimierung ermöglichen und war die Voraussetzung für einen agilen Rollout. Grazia half dem Team, die Auswirkungen des neuen Designs durch Experimentieren zu verfolgen. Trotz hoher Erwartungen zeigten die Daten aus den Experimenten deutlich, dass das neue Design weiter optimiert werden musste.
Grazia und das Team analysierten die Ergebnisse und entwickelten neue Hypothesen. Optimizely ermöglichte es ihnen, mehrere Experimente einfach durchzuführen, schnell zu iterieren und das Design Schritt für Schritt zu verbessern. Innerhalb weniger Monate führte das Team mehr als 20 Tests zu diesem speziellen Ablauf durch - immer mit dem Ziel, die Conversion Rates für die einzelnen Schritte und die Buchungen zu messen. Einige der Experimente brachten klare Gewinner hervor, andere nicht. Das Ergebnis war, dass sich die Conversion Rates erholten und schließlich das Erlebnis für alle Besucher eingeführt wurde.
Vor dem Einsatz von Optimizely hat KLM die Neugestaltung schrittweise vorgenommen und das Erlebnis zunächst für einen kleinen geografischen Markt bereitgestellt. Wenn die Teams keine drastischen Veränderungen in ihren Analysen oder Verkaufszahlen für diesen Markt feststellten, dehnten sie das Erlebnis schrittweise auf andere Märkte aus. Dieser Einführungsprozess konnte dazu beitragen, drastische Einbrüche bei den Messwerten zu verhindern, aber subtilere Veränderungen waren schwer zu erkennen.
Dieses erste erfolgreiche Experiment erregte bei KLM große Aufmerksamkeit und trug dazu bei, das Experimentieren weiter voranzutreiben. "Es war für uns entscheidend, die Unterschiede zwischen der alten und der neuen Version des Buchungsflusses messen zu können und zuverlässige statistische Daten zu erhalten", sagt Grazia.
Die einfache Einrichtung von Experimenten in Optimizely hat auch andere Produktteams bei KLM dazu ermutigt, sich mit dem Experimentieren zu beschäftigen. "Früher haben wir die meisten unserer Experimente von Dritten entwickeln lassen. Heute haben wir unsere eigenen Entwickler, die dies tun. Wenn neue Entwickler anfangen, Optimizely zu benutzen, sind sie oft erstaunt über die Möglichkeiten. Es ist auch toll, dass das Experimentieren die Auswirkungen auf ihre tägliche Arbeit viel deutlicher macht. Die Analysten von Grazia unterstützen die Produktteams während des gesamten Prozesses des Experimentierens (vom Plan bis zur Analyse). "Das Team, das ich unterstütze, reicht inzwischen mehr Testanfragen ein, als ich analysieren kann", lacht Grazia und ist froh, dass die Stats Engine von Optimizely, das statistische Rückgrat der Plattform, ihr Leben als Analystin sehr viel einfacher macht. Sie ist stolz darauf, dass ihr Produktteam eine Denkweise des Experimentierens angenommen hat und im Rahmen seiner agilen Arbeitsweise autark testet.
Joost Olieroock
Manager Customer Insights & Analytics, KLM
Neben dem Experimentieren gewinnen die Teams auch Erkenntnisse aus anderen Datenquellen (z.B. Analysen, Umfragen, Heatmaps). Die Integration von Optimizely in einige ihrer Tools hilft ihnen, die Kundenbedürfnisse besser zu verstehen und zu sehen, ob die Variationen ihrer Experimente diese Bedürfnisse besser erfüllen.
Die Integration mit dem Analytics-Tool ermöglicht KLM den automatischen Import von Experiment-Daten zur weiteren Analyse in einem breiteren Unternehmenskontext. Außerdem können Heatmaps automatisch mit den Informationen über die A/B-Test-Variante versehen werden, die ein bestimmter Benutzer gesehen hat. Auf diese Weise können die Analysten bei ihrer Analyse zwischen den Erlebnissen differenzieren.
Joost erwähnt das Projekt für das Corporate-Programm von KLM zur Optimierung des Erlebnisses von Geschäftsreisenden durch die Bereitstellung eines speziellen Buchungsflusses für Firmenkunden. "Dies ist ein perfektes Beispiel dafür, wie wir die Erkenntnisse aus dem Nutzerfeedback, der Analyse und dem Experimentieren gemeinsam genutzt haben."
Bevor das Team das Erlebnis entwickelte, wollte es sich ein Bild von diesem speziellen Segment machen und verstehen, wie es mit der Site umgeht. Um zu entscheiden, ob und wie das Erlebnis gestaltet werden sollte, führte das Team ein Experiment mit Optimizely durch, um herauszufinden, ob die Nutzer tatsächlich bereit waren, anzugeben, ob sie privat oder geschäftlich unterwegs waren, indem sie eine Option zur Angabe des Reisegrunds hinzufügten. Außerdem führten sie eine Umfrage durch, in der die Nutzer gebeten wurden, einen Fragebogen über ihre Buchungspräferenzen auszufüllen. Die Ergebnisse wurden mit Daten aus ihrem Analysetool ergänzt.
Das Projekt ist zwar noch nicht abgeschlossen, aber die Untersuchungen haben zu der Hypothese geführt, dass die Nutzer eher bereit sind, ihren Reisegrund anzugeben, wenn sie wissen, wofür die Informationen verwendet werden und welchen Nutzen sie daraus ziehen.
Dieses Beispiel zeigt, wie Daten aus verschiedenen Forschungsquellen dazu beitragen, Erkenntnisse über die Bedürfnisse und Vorlieben der Nutzer zu gewinnen, und wie Experimente helfen, das Erlebnis der Besucher zu optimieren.
Die Skalierung und Geschwindigkeit des Experimentierens mit Optimizely hat die Arbeitsweise der digitalen Produktteams bei KLM verändert. "Optimizely hilft unseren Teams wirklich, schneller zu testen und zu lernen, was die Anpassung an unsere Kundenbedürfnisse erleichtert", sagt Grazia. "Testen ist sehr wichtig, um die Auswirkungen von Änderungen auf unser Ziel zu messen", fügt sie hinzu.
Joost prognostiziert, dass Experimentieren bald der Goldstandard für alle Teams bei KLM sein wird, da es KLM ermöglicht, potenzielle Fallstricke zu erkennen, bevor sie für alle Benutzer eingeführt werden. "Product Owner verlangen jetzt mehr und mehr, dass jede Änderung getestet wird, um zu beweisen, dass sie das tut, was sie tun soll - und wenn nicht, können wir optimieren. Diese Erkenntnisse sind entscheidend für ein überzeugendes Kundenerlebnis.
