Wie wir bereits im ersten Beitrag dieser Reihe erwähnt haben, ist vielen Unternehmen bewusst geworden, dass die Optimierung ihrer digitalen Produkte und Nutzererlebnisse ein unverzichtbarer Bestandteil ihrer Digitalstrategie ist. Das Strategy and Value Team von Optimizely beantwortet häufig Fragen zur Umsetzung eines Testprogramms und zur Auswahl eines verantwortlichen Managers. Für diejenigen, die neu im Bereich Experimente sind, ist die wichtigste Frage jedoch, wie der ROI einer Experimentierplattform und eines Optimierungsprogramms begründet und veranschaulicht werden kann. Es gibt viele Methoden, den ROI Ihres Programms zu quantifizieren, aber zwei grundlegende Kennzahlensätze können Ihnen dabei helfen: die wichtigsten Kennzahlen Ihres Unternehmens und die Kennzahlen Ihres Programms.
Wie wir bereits im ersten Beitrag dieser Reihe erwähnt haben, ist vielen Unternehmen klar geworden, dass die Optimierung ihrer digitalen Produkte und Nutzererlebnisse nicht mehr nur eine Frage der Zeit ist.
Die wichtigsten Ziele Ihres Unternehmens
Beim Aufbau eines Optimierungsprogramms in Ihrem Unternehmen ist es wichtig, die Testaktivitäten Ihres Programms an den wichtigsten Unternehmenszielen auszurichten. Indem Sie Ihr Experimentierprogramm auf die Beeinflussung wichtiger Kennzahlen fokussieren, stellen Sie sicher, dass Ihr Programm einen direkten und messbaren Einfluss auf die wichtigsten KPIs Ihres Unternehmens hat – dies wird Ihnen bei späteren ROI-Gesprächen definitiv helfen. In der folgenden Abbildung sehen Sie einen Zielbaum, ein visuelles Diagramm, das veranschaulicht, wie ein übergeordnetes Unternehmensziel (Umsatz) auf Experimentziele einwirkt, die Sie durch Ihre Tests beeinflussen können. Falls Sie mit Zielbäumen noch nicht vertraut sind, finden Sie eine ausführliche Erklärung in der Optimizely-Wissensdatenbank sowie branchenspezifische Zielbaumvorlagen, die Ihnen den Einstieg erleichtern.
Zielstrukturen sind vielseitig einsetzbar: Sie helfen Ihnen, die wichtigsten Kennzahlen für Ihr Unternehmen zu ermitteln und Ihre Optimierungsbemühungen auf Bereiche zu konzentrieren, in denen Erfolge mehr Sichtbarkeit und Zugkraft erzeugen. Zielstrukturen eignen sich auch hervorragend als Gesprächseinstieg, um Diskussionen anzuregen und die interne Abstimmung zu fördern. Dies ist keine einmalige Angelegenheit – es ist sehr wichtig, diese Ziele regelmäßig mit Ihrem Sponsor und der Führungsebene abzustimmen und zu überprüfen, insbesondere wenn sich Richtung und Initiativen ändern. Ein kurzes Beispiel: In den letzten zwei Jahren sind zahlreiche OTT- und SVOD-Streaming-Anbieter gestartet, die sich zunächst auf Kennzahlen zur Kundengewinnung wie Anmeldungen für kostenlose Testversionen, Konversionsraten für kostenlose Testversionen und die Gesamtzahl der Abonnenten konzentrierten. Da die COVID-Beschränkungen jedoch gelockert werden und die Nutzer ihre Ausgaben für Unterhaltung neu bewerten, könnten diese Anbieter ihren Fokus auf Kundenbindung und -interaktion verlagern. Kennzahlen zur Kundenbindung, wie die gesamte Wiedergabezeit, Streaming-Starts und monatlich aktive Logins, könnten für Führungskräfte, Stakeholder und Aktionäre zu den wichtigsten Geschäftskennzahlen werden.
Sobald Sie sich über Ihre Unternehmensziele und die wichtigsten Kennzahlen, die Sie beeinflussen möchten, einig sind, sollten Sie sich auf die Durchführung aussagekräftiger und erfolgreicher Experimente konzentrieren. Dies führt uns zu den nächsten Kennzahlen, die Sie messen und regelmäßig berichten sollten: die Kennzahlen Ihres Experimentierprogramms.
Die Kennzahlen Ihres Experimentierprogramms
Viele von uns nutzen Apple Watches oder Fitbits, um unsere täglichen Aktivitäten – Schritte, Kalorienverbrauch, Schlafstunden usw. – im Blick zu behalten. In vielerlei Hinsicht sind die Kennzahlen Ihres Experimentierprogramms vergleichbar mit dem Fitbit Ihres Programms: Sie zeigen dessen Zustand, Wachstum und Verbesserungspotenzial. Zunächst betrachten wir die wichtigsten Kennzahlen, die direkt zu mehr Erfolgen beitragen, und anschließend gehen wir detaillierter auf ergänzende Kennzahlen ein, die Ihnen helfen, ein umfassendes Bild vom Zustand Ihres Programms zu erhalten.
Drei Schlüsselkennzahlen
Geschwindigkeit – die Anzahl der Tests, die Sie pro Monat, Quartal, Jahr durchführen
Die Geschwindigkeit ist wahrscheinlich die gängigste Kennzahl für einen „Gesundheitscheck“, da sie das Wachstum Ihres Programms leicht aufzeigen kann und Ihnen oft dabei helfen kann, zusätzliche Ressourcen zu beantragen. Als Vergleichswert: Von 2019 bis 2020 stieg die Testgeschwindigkeit unserer Optimizely-Kunden im Durchschnitt um etwa 7 % (einschließlich der Nutzung unserer gesamten Produktpalette). Daher sollten Sie ein jährliches Wachstum von mindestens 10–20 % bei der Anzahl Ihrer Tests anstreben. Viele unserer Kunden streben eine jährliche Verdopplung ihrer Testanzahl (+100 %) an, doch dieses Wachstum hängt von den Ressourcen und dem Reifegrad Ihres Programms ab. Hinweis: Einige Programme beziehen Tests und Testideen in der Entwicklung in ihre Testgeschwindigkeit mit ein. Berücksichtigen Sie in Ihren Berichten auch die Anzahl der durchgeführten Tests, anstatt nur die Anzahl der gestarteten Tests. Falls Sie Schwierigkeiten haben, die Testgeschwindigkeit zu erhöhen, nutzen viele Optimizely-Kunden unser Angebot „On-Demand-Services“, um die Anzahl ihrer monatlichen Tests zu steigern.
Ergebnisrate: Der Prozentsatz der Experimente, die ein statistisch signifikantes Ergebnis hinsichtlich der primären Metrik erzielt haben, unabhängig davon, ob es sich um einen Sieg oder eine Niederlage handelt.
Sie können Ihre Geschwindigkeit beliebig steigern, aber wenn Sie keine aussagekräftigen Ergebnisse erzielen, liefern Ihnen diese Tests keine verwertbaren Erkenntnisse. Sie können aus Misserfolgen genauso viel lernen wie aus Erfolgen, und tatsächlich sparen Ihnen Misserfolge manchmal viel Geld, indem sie die Einführung einer Funktion verhindern, die Ihre Kennzahlen negativ beeinflusst hätte. Optimizely-Kunden haben im Durchschnitt eine Erfolgsquote von etwa 35–40 %, d. h. 4 von 10 Tests sind aussagekräftig. Liegt Ihre Quote unter 33 %, sollten Sie Ihre Testkonfiguration überprüfen oder bei Ihren Varianten größere Risiken eingehen, denn ein Test kann nur dann ein Erfolg sein, wenn er ein aussagekräftiges Ergebnis liefert!
Erfolgsrate – der Prozentsatz der Experimente, die ein statistisch signifikantes Ergebnis und eine Verbesserung der primären Kennzahl erzielt haben.
Diese Kennzahl ist wichtig, denn obwohl Sie aus allen aussagekräftigen Tests lernen, lassen sich die Umsatzsteigerungen am besten in zukünftigen ROI-Berechnungen berücksichtigen. Zum Vergleich: Optimizely-Kunden erzielen im Durchschnitt eine Erfolgsquote von rund 20 % bei allen Experimenten, aber nur 10 % bei umsatzbezogenen Experimenten. Das erklärt auch, warum Sie mehr Tests durchführen und diese zu aussagekräftigen Ergebnissen führen müssen – es ist ein Kreislauf!
Weitere relevante Kennzahlen
Obwohl dies die drei Kennzahlen sind, die von Praktikern im Bereich der experimentellen Forschung am häufigsten genannt werden, gibt es weitere Kennzahlen, die äußerst hilfreich sein können, um Chancen zu erkennen oder potenzielle Probleme innerhalb Ihres Programms zu diagnostizieren.
- Entwicklungszeit – Wie lange dauert es, bis Tests erstellt und gestartet werden?
Wenn Sie Schwierigkeiten haben, Ihre Geschwindigkeit zu erhöhen, kann Ihnen ein Blick auf Ihre Entwicklungszeit helfen, festzustellen, wo es in Ihrem Testzyklus zu Verzögerungen kommt und wo Sie möglicherweise mehr Ressourcen benötigen. - Zeit bis zur Produktion – durchschnittliche Tage bis zum Launch einer erfolgreichen Variante
Erfolge sind großartig, aber erst echte Erfolge, wenn sie live auf Ihrer Website verfügbar sind. Wenn Sie Schwierigkeiten haben, diese Erfolge in Ihre Roadmap aufzunehmen oder regelmäßig erfolgreiche Varianten mit voller Kapazität über Ihre Testplattform laufen lassen müssen, sollten Sie Ihre Produkt- oder IT-Teams in Ihre monatlichen Meetings einbeziehen und sie über die geplanten Tests informieren. Vielleicht kann Ihr Sponsor in der Führungsebene den Prozess beschleunigen? Eine weitere Möglichkeit: Suchen Sie nach einer schnelleren Lösung ohne IT-Ressourcen, z. B. indem Sie die Änderungen selbst in Ihrem CMS vornehmen. - Variationen – Wie viele Varianten führen wir durchschnittlich pro Test durch?
Früher nannten viele von uns diese Vorgehensweise „A/B-Testing“, und oft war es genau das: A gegen B. Heute wissen wir aus der Forschung, dass Tests mit mehr Varianten (insbesondere vier oder mehr) deutlich häufiger erfolgreich sind, ebenso wie Tests mit mehr Codezeilen. Verzichten Sie also nicht auf Komplexität, nur um Tests schnellstmöglich zu erstellen – es ist eine wahre Kunst und Wissenschaft, die Testgeschwindigkeit zu erhöhen und gleichzeitig komplexe, durchdachte und mutige Experimente durchzuführen.
Nachdem Sie nun wissen, welche Spieler Sie auf dem Spielfeld benötigen und welche Kennzahlen Sie beeinflussen müssen, werden wir in unserem nächsten Blogbeitrag einige wichtige Aspekte für die Umsetzung Ihres Programms behandeln. Wenn Sie sich eingehender mit einem der Themen befassen möchten, finden Sie unten die entsprechenden Links!
Interessiert an weiteren Inhalten zu Zielbäumen und Kennzahlen?
Die Wissensdatenbank von Optimizely bietet hervorragende Artikel zu Zielbäumen sowie zu primären und sekundären Metriken. Alek Toumert gibt einen umfassenden Überblick über Output- und Input-Metriken, und Jon Noronha erklärt, wie er bei Microsoft Metriken ausgewählt hat. Falls Sie Schwierigkeiten haben, Ihre wichtigste Kennzahl zu definieren, finden Sie in diesem Blogbeitrag oder diesem Artikel weitere Informationen zu diesem Thema.
Interessiert an weiteren Artikeln über Programmmetriken?
In unserer Wissensdatenbank finden Sie viele interessante Inhalte zu Maßnahmen auf Basis von Experimentergebnissen, Statistischer Signifikanz und Konfidenzintervallen. Alek spricht über Umsatz als primäre Kennzahl, und Jon Noronha hat einen weiteren hervorragenden Blogbeitrag über Skalierung von Geschwindigkeit und Qualität verfasst. In diesen Artikeln wird möglicherweise die Programmreife erwähnt – ermitteln Sie den Reifegrad Ihres Programms mit unserem Reifegradmodell-Quiz.