Sprechen wir über Kennzahlen für Experimente: Die neuen Regeln für die Skalierung Ihres Programms

Es gibt einen Grund dafür, dass manche Experimentierprogramme skalieren, während andere stagnieren. Letzten Monat sprach ich mit einem Vizepräsidenten für Digitales eines Fortune-500-Unternehmens, der vor einer bekannten Herausforderung stand. Seine Erfolgsquote? Über dem Branchendurchschnitt. Seine Testgeschwindigkeit? Steigt von Quartal zu Quartal. Doch in ihrem Quartalsbericht stellte der CEO eine Frage, die sie innehalten ließ:

Wir führen mehr Tests durch als je zuvor, aber warum wirkt sich das nicht auf unser Ergebnis aus?

Die meisten Experimentierprogramme scheitern, weil sie:

• Oberflächliche Erfolge feiern (Seht her, die Änderung der Schaltflächenfarbe hat funktioniert)
• Testgeschwindigkeit ohne Wirkung anstreben (Wir haben in diesem Quartal 50 % mehr Tests durchgeführt)
• Eitelkeitskennzahlen sammeln (Unsere Erfolgsquote liegt über dem Branchendurchschnitt)

Die richtigen Kennzahlen festzulegen ist eine ständige Herausforderung, bei deren Bewältigung wir Kunden unterstützen, insbesondere wenn sie ihre Experimentierprogramme skalieren möchten.

In diesem Blog finden Sie:

• Welche Kennzahlen tatsächlich das Programmwachstum vorhersagen
• Wie führende Programme einen hohen ROI nachweisen (ohne das System auszunutzen)
• Ein praktisches Framework zur Weiterentwicklung Ihrer Kennzahlen im Zuge der Programmskalierung
• Die oft übersehenen, aber wirkungsvollen Kennzahlen

Aussagekräftige Kennzahlen zählen nicht nur Dinge, sie erzählen Geschichten, die Wachstum fördern.

Häufige Fehler bei Kennzahlen, die Sie vermeiden sollten

Drei häufige Muster, die die Skalierung erfolgreicher Programme verhindern:

1. Die Fixierung auf die Erfolgsquote

Programme feiern oft hohe Erfolgsquoten, doch bei genauerer Betrachtung handelt es sich bei diesen „Erfolgen“ meist um kleinere Optimierungen mit minimalen Auswirkungen auf das Geschäft. Die Daten zeigen, dass nur 12 % der Experimente erfolgreich sind.

Quelle: Optimizely Evolution of Experimentation Report

Natürlich ist die Erfolgsquote wichtig – insbesondere, wenn Sie zu Beginn Ihres Programms die Zustimmung aller Beteiligten gewinnen möchten. Um Ihr Programm jedoch auf die nächste Stufe zu heben, müssen Sie darüber hinausgehen und den Wert von Experimenten im Hinblick auf den Nutzen (Uplift) definieren. Um die Erfolgsquote in die erwartete Wirkung pro Test umzurechnen, müssen Sie die Erfolgsquote entsprechend anpassen.

Wären Ihnen beispielsweise Tests lieber, die in 10 % der Fälle erfolgreich sind, aber einen Nutzen von einer Million Dollar generieren? Oder Tests, die in 50 % der Fälle erfolgreich sind, aber nur 100 Dollar an zusätzlichen Einnahmen bringen? (Diese Frage müssen Sie nicht beantworten.)

Jedes Experiment ist wertvoll: Fehlgeschlagene Tests verhindern schädliche Änderungen, während unklare Ergebnisse Ressourcen in Bereichen mit geringer Wirkung einsparen.

2. Die Illusion der Testgeschwindigkeit

Die Anzahl der Tests allein sagt den Erfolg eines Programms nicht voraus. Die meisten erfolgreichen Programme führen nicht einfach mehr Tests durch, sondern bessere. Sie:

• Eine größere Anzahl von Varianten gleichzeitig testen
• Nicht nur die Geschwindigkeit erhöhen, sondern auch größere Änderungen und Auswirkungen vornehmen
• Größere Codeänderungen mit stärkeren Auswirkungen auf die Benutzererfahrung vornehmen

3. Das Problem der oberflächlichen Metriken

Die meisten Programme erfassen Dutzende von Metriken, haben aber Schwierigkeiten, Fragen nach den geschäftlichen Auswirkungen zu beantworten.

Sie messen alles außer dem, was wirklich zählt:

• Klicks werden erfasst, aber nicht die Auswirkungen auf die Customer Journey
• Seitenaufrufe werden gezählt, aber nicht die Kaufabsicht
• Oberflächliches Engagement wird gemessen, aber nicht das tieferliegende Nutzerverhalten

Art der Metriken

Über 90 % der Experimente zielen auf 5 gängige Metriken ab:

• CTA-Klicks
• Umsatz
• Checkout
• Registrierung
• In den Warenkorb

Drei dieser fünf wichtigsten Metriken haben jedoch eine relativ geringe erwartete Auswirkung.

Bild: Kennzahlen nach Wirkungsanteil

Es ist offensichtlich, dass Kennzahlen mit hoher Wirkung übersehen werden. Obwohl die Suchmaschinenoptimierung nur in 1 % der Fälle getestet wird, weist sie mit 2,3 % die höchste erwartete Wirkung auf.

• Kunden, die suchen, konvertieren 2-3 Mal häufiger als Browser
• Suchmuster decken unmittelbare Umsatzpotenziale auf
• Suchen ohne Ergebnisse zeigen Produktlücken auf

Kennzahlen für die Customer Journey

Eine weitere Möglichkeit, Ihr Experimentierprogramm zu skalieren, besteht darin, die gesamte Customer Journey zu messen, anstatt sich auf Kennzahlen einzelner Seiten zu konzentrieren.

Denken Sie an Ihre eigene Produkt-Journey. Ein Kunde trifft selten eine Entscheidung auf Basis einer einzelnen Seite oder Funktion. Er durchläuft eine Reihe von Interaktionen, die jeweils auf der vorherigen aufbauen. Dennoch optimieren die meisten Programme diese Touchpoints weiterhin isoliert.

Ein großes SaaS-Unternehmen, mit dem wir zusammenarbeiten, hat kürzlich von der alleinigen Optimierung der Conversion-Rate seiner Preisseite auf die Messung des gesamten Kaufprozesses umgestellt. Ihr vermeintlich erfolgreicher Preisseitentest führte tatsächlich zu Problemen im weiteren Verlauf des Funnels. Durch die Umstellung auf eine kundenorientierte Messung konnte die Conversion-Rate gesteigert werden.

Wichtige Kennzahlen für den Kaufprozess:

• Interaktionsmuster über verschiedene Seiten hinweg, die zeigen, wie Nutzer Ihr Produkt tatsächlich nutzen
• Abbruchpunkte in komplexen Abläufen, insbesondere bei mehrstufigen Prozessen wie Checkout oder Onboarding
• Veränderungen im Verhalten wiederkehrender Besucher, die auf langfristige Auswirkungen auf das Engagement hinweisen
• Attributierung mehrerer Touchpoints, um zu verstehen, welche Kombinationen die Conversion steigern

Kombinierte Kennzahlen

Sie können Kennzahlen auch auf unerwartete Weise kombinieren. Anstatt die Warenkorbabbruchrate isoliert zu betrachten, können Sie sie mit Daten zum Kundenlebenszeitwert kombinieren. Potenzielle Kunden vergleichen oft verschiedene Optionen, bevor sie größere Entscheidungen treffen. Hier sind Beispiele für kombinierte Kennzahlen, die eine größere Wirkung erzielen: Die Kundenakquisitionskosten in Verbindung mit dem Kundenwert zeigen den tatsächlichen ROI von Experimenten. Die Nutzung neuer Funktionen in Kombination mit Kundenbindungskennzahlen zeigt, welche Produktänderungen sich durchsetzen. Die Analyse der Preissensibilität zusammen mit der Kaufhäufigkeit identifiziert Ihre wertvollsten Optimierungsmöglichkeiten. Beachten Sie, dass die wichtigsten Kennzahlen je nach Branche variieren, da sich Ziele, Prioritäten und Tracking-Möglichkeiten unterscheiden.

Quelle: Optimizely Evolution of Experimentation Report

Mehr Tests = mehr Wert. Selbst die Daten belegen das Gegenteil.

Ist es wirklich so einfach, dass mehr Tests gleichbedeutend mit mehr Wert sind?

Wenn Sie Ihr Programm aufbauen und in Gang bringen, beispielsweise in den ersten 12–18 Monaten, ja – führen Sie so viele Tests wie möglich durch. Das hilft Ihnen, eine Datenbank mit Erfolgsgeschichten zu erstellen, um mehr Ressourcen zu gewinnen und eine Kultur des Experimentierens zu etablieren.

Der nächste Schritt bedeutet jedoch nicht unbedingt mehr Geschwindigkeit. Es geht darum, sich auf die Komplexität zu konzentrieren und über kosmetische Änderungen hinauszugehen. Kleine Anpassungen führen meist nur zu geringfügigen Verbesserungen. Unsere Forschung hat gezeigt, dass die Experimente mit dem größten Nutzenzuwachs zwei Gemeinsamkeiten aufweisen: Sie nehmen größere Codeänderungen vor, die sich stärker auf die Nutzererfahrung auswirken. Sie testen gleichzeitig eine größere Anzahl von Varianten. Komplexere Experimente, die wesentliche Änderungen an der Nutzererfahrung vornehmen (z. B. Preisgestaltung, Rabatte, Checkout-Prozess, Datenerfassung usw.), erzielen mit höherer Wahrscheinlichkeit einen größeren Nutzenzuwachs. Die Rolle von Analysen Um Kennzahlen zur Customer Journey zu erfassen und zusammengesetzte Kennzahlen zu erstellen, müssen Ihre Daten miteinander verknüpft sein. Die meisten Experimentierprogramme stehen jedoch vor einem grundlegenden Problem: Ihre Daten liegen in Datensilos vor. Webanalyse an einem Ort, Kundendaten an einem anderen und Experimentergebnisse ganz woanders.

Hier revolutioniert die Data-Warehouse-basierte Analyse die Spielregeln.

• Testen Sie beliebige Kennzahlen in Ihrem Data Warehouse – vom Umsatz bis zum Kundenwert – ohne komplexe Datenpipelines.
• Beantworten Sie anspruchsvolle Geschäftsfragen in Minuten statt Tagen. Generieren Sie Kohorteneinblicke im Handumdrehen.
• Führen Sie Experimente im Web, in E-Mails und im CRM mit Stats Engine durch – alle Ergebnisse werden zentral analysiert.
• Bewahren Sie sensible Daten in Ihrem Data Warehouse auf, während Sie komplexe Experimente durchführen.
• Verhindern Sie Diskussionen über Kennzahlen, indem Sie alle mit denselben Data-Warehouse-Daten arbeiten.

Erfahren Sie, warum Data-Warehouse-native Analytics die Gegenwart und die Zukunft datengetriebener Experimente ist.

Ihre Analysefunktionen sollten zudem über die reine Datenkonsolidierung hinausgehen. Die Liste umfasst:

1. Heatmapping:Vergleichen Sie die einfache Klickverfolgung und verstehen Sie, wie sich Nutzerinteraktionen entlang der gesamten Customer Journey in Umsatz umwandeln.
2. Benutzerdefinierte Ereignisse:Verabschieden Sie sich von vordefinierten Ereignissen und verfolgen Sie jedes für Ihr Unternehmen relevante Nutzerverhalten, einschließlich komplexer Interaktionssequenzen und mehrstufiger Konversionspfade.
3. Attribution über mehrere Touchpoints:Verstehen Sie, wie sich Experimente auf die gesamte Customer Journey auswirken, verfolgen Sie geräteübergreifende Pfade und messen Sie die Auswirkungen verzögerter Konversionen.
4. Statistische Signifikanz: Führen Sie anspruchsvolle Analysen durch, ohne an Geschwindigkeit einzubüßen. Nutzen Sie automatisierte Tests und sequentielle Analysen für schnellere und präzisere Entscheidungen.

Diese Funktionen verwandeln Ihre Analyse-Engine von einem passiven Berichtssystem in einen aktiven Erkenntnisgenerator.

Wie Sie Metriken in verschiedenen Programmen auswählen Phasen

Jedes erfolgreiche Experimentierprogramm durchläuft verschiedene Phasen. Hier erfahren Sie, wie Sie Ihre Metrikstrategie in jeder Phase weiterentwickeln und erkennen, wann Sie bereit für den nächsten Schritt sind.

1. Frühphase: Die Grundlage schaffen

In dieser Phase geht es primär darum, die Wirksamkeit von Experimenten nachzuweisen. Sie können mit zwei oder drei Kernmetriken und einem einfachen Dashboard beginnen.

Schwerpunkte:

• Grundlegende Konversionskennzahlen mit direktem Bezug zum Umsatz
• Testgeschwindigkeit zur Darstellung der Programmdynamik
• Einfache Gewinn-/Verlustquoten für die Stakeholder-Kommunikation

Erfolgsindikatoren:

• Konsistente statistische Signifikanz der Ergebnisse
• Klare Dokumentation der Testergebnisse
• Grundlegende ROI-Berechnungen für wichtige Erfolge
• Steigendes Interesse der Stakeholder an den Ergebnissen

Beispiel: Konversionsrate, Testgeschwindigkeit, einfache Gewinn-/Verlustquoten

2. Wachstumsphase: Ausweitung der Wirkung

Hier beginnt Ihr Programm, einen bedeutenden geschäftlichen Wandel herbeizuführen. Die Kennzahlen, die Sie hierher gebracht haben, werden Sie nicht auf die nächste Stufe bringen.

Wichtige Übergänge:

• Vom Zählen von Tests zur Messung der Geschäftsauswirkungen
• Beginnen Sie mit der Erfassung des Umsatzes pro Experiment
• Führen Sie Kennzahlen basierend auf der Customer Journey ein
• Gewinnen Sie tiefere Einblicke in das Nutzerverhalten

Warnzeichen, dass Sie feststecken:

• Zu viele kleine, oberflächliche Tests
• Schwierigkeiten, Ergebnisse mit Umsatz zu verknüpfen
• Eingeschränkte Transparenz der Customer Journeys
• Stakeholder stellen den Wert des Programms in Frage

Beispiel: Umsatzsteigerung, Auswirkungen auf die Customer Journey, Konversionsraten über mehrere Touchpoints

3. Fortgeschrittene Phase: Strategischer Treiber

In dieser Phase wird Experimentieren zu einem zentralen Geschäftstreiber. Ihre Kennzahlen müssen diese strategische Rolle widerspiegeln.

Fortgeschrittene Kennzahlen umfassen:

• Zusammengesetzte Kennzahlen, die verborgene Potenziale aufdecken
• Teamübergreifende Lerngeschwindigkeit
• Kennzahlen zur Ressourceneffizienz
• Rate der Vermeidung strategischer Risiken

Beispiel: Lerngeschwindigkeit, Ressourceneffizienz, Rate der Vermeidung strategischer Risiken

Implementierungsleitfaden

Fünf Schritte zur Bewertung Ihrer Kennzahlen:

1. Machen Sie Ihre Kennzahlenhierarchie übersichtlich: Unterscheiden Sie zwischen Input-Kennzahlen (Nutzeraktionen) und Output-Kennzahlen (Geschäftsergebnisse). Ein Einzelhandelskunde stellte fest, dass seine „erfolgreichen“ Tests zwar die Klicks optimierten, aber die Käufe beeinträchtigten. Mehr dazu Wie Sie Ihre KPIs optimieren.
2. Hinterfragen Sie jede Kennzahl: Fragen Sie sich bei jeder einzelnen: „Warum gibt es diese Kennzahl?“ Ein B2B-Kunde reduzierte seine Kennzahlen von 47 auf 10 Kernmessgrößen und konnte die Einbindung der Stakeholder verdoppeln.
3. Prüfen Sie Ihre Datenquellen: Prüfen Sie, woher die Daten jeder Kennzahl stammen und wie sie erhoben werden. Häufige Fehlerquellen sind isolierte Datensilos und inkonsistente Datenerfassung.
4. Überprüfen Sie die statistische Aussagekraft: Überprüfen Sie die Stichprobengrößen und Signifikanzraten. Warten Sie zu lange auf Ergebnisse oder treffen Sie Entscheidungen zu schnell?
5. Überprüfen Sie die Geschäftsausrichtung: Verknüpfen Sie jede Kennzahl mit einem spezifischen Geschäftsziel. Entfernen Sie Kennzahlen, die keinen direkten Einfluss auf Entscheidungen haben.

So ging Carl Ras von der Erfassung grundlegender Konversionskennzahlen zur Messung vollständiger Customer Journeys über und deckte dabei unerwartete Zusammenhänge zwischen Produktsuche und Kaufverhalten auf. Das Ergebnis: 35 % mehr Online-Umsätze und 10 % höherer durchschnittlicher Bestellwert.

Checkliste für die Implementierung von Kennzahlen:

1. Schaffen Sie die Grundlage für Ihre Kennzahlen

• Wählen Sie 2–3 primäre Output-Kennzahlen aus
• Definieren Sie unterstützende Input-Kennzahlen
• Legen Sie klare Überwachungsschwellenwerte fest

2. Teamübergreifenden Erfolg ermöglichen

• Gemeinsame Dashboards erstellen
• Reviewprozesse etablieren
• Teamspezifische Auswirkungen verfolgen
  
  
  
  

Drei wichtige Erkenntnisse auf einen Blick

Zusammenfassend drei wichtige Erkenntnisse:

1. Eine Hypothese auf Daten stützen und die richtigen Kennzahlen messen
   beeinflussen die Ideenfindung und das Design der Teams. Gehen Sie zur Journey-basierten Messung über, die die gesamte Kundenerfahrung erfasst.
2. Konzentrieren Sie sich auf zusammengesetzte Kennzahlen, die verschiedene Datenpunkte kombinieren, um tiefere Einblicke zu gewinnen, z. B. die Kundenakquisitionskosten mit dem Kundenwert zu verknüpfen.
3. Passen Sie die Kennzahlen dem Reifegrad Ihres Programms an. Beginnen Sie mit den wichtigsten Konversionsraten, erweitern Sie diese dann auf Kennzahlen entlang der Customer Journey und gehen Sie schließlich zu strategischen Messgrößen über, die Geschäftsentscheidungen unterstützen.