Nutzung von Verhältniskennzahlen für verbesserte Erkenntnisse aus Experimenten

Bei der Durchführung von Experimenten ist die Auswahl der geeigneten Metrik wahrscheinlich einer der wichtigsten Faktoren für den Erfolg Ihres Experiments. Metriken sind der Kompass, der Teams zu Erkenntnissen führt, die für bessere Geschäftsentscheidungen im Rahmen Ihres Experimentierprogramms genutzt werden können. Die Präzision dieser Orientierung hängt von der Relevanz und Genauigkeit der gewählten Metriken ab. Verhältnismetriken erweitern Ihre Messmöglichkeiten, indem sie es Ihnen ermöglichen, Aggregationen zweier verschiedener Ereignisse in einer einzigen Metrik zu kombinieren. Diese Flexibilität ermöglicht es Ihnen, in Ihrer Experimentierplattform Metriken zu erstellen, die direkt mit den KPIs übereinstimmen, die Ihr Unternehmen bereits in anderen Systemen erfasst. Während einfache Metriken auf einem einzelnen Ereignis basieren, bieten Ihnen Verhältnismetriken die Möglichkeit, komplexere Messungen zu erstellen, die Ihre tatsächlichen Geschäftskennzahlen besser widerspiegeln. So können Sie Entscheidungen auf Basis derselben KPIs treffen, die Ihre gesamte Geschäftsstrategie bestimmen. Hinweis: Verhältnismetriken sind verfügbar in Web Experimentation (WX),Feature Experimentation (FX) und Optimizely Analytics Produkte.

Bildquelle: Optimizely

Wie unterscheiden sich Verhältniskennzahlen von einfachen Kennzahlen?

Einfache Kennzahlen sind leichter zu analysieren und zu interpretieren. Beginnen Sie daher immer mit einer aussagekräftigen einfachen Kennzahl. Wir empfehlen, einfache Kennzahlen zu verwenden, wann immer sie das Messobjekt adäquat erfassen, da sie klarere und verlässlichere Daten liefern.

Verhältniskennzahlen bieten jedoch wertvolle Flexibilität, wenn Sie Ihre Experimente an etablierten KPIs ausrichten müssen. Viele Unternehmen verwenden bereits verhältnisbasierte Kennzahlen in ihrem Tagesgeschäft, darunter Kennzahlen wie „Umsatz pro Sitzung“, „Käufe pro Konto“ oder „durchschnittlicher Bestellwert“. Verhältniskennzahlen ermöglichen es Ihnen, diese Messungen in Ihr Experimentprogramm zu integrieren.

Beachten Sie bei der Verwendung von Verhältniskennzahlen die folgenden Richtlinien für eine korrekte Interpretation:

1. Berücksichtigen Sie immer die Komponentenkennzahlen: Fügen Sie Zähler und Nenner als separate, einfache Kennzahlen im selben Experiment hinzu. Dies liefert den notwendigen Kontext für die Interpretation von Verhältnisänderungen.
2. Achten Sie auf irreführende Signale: Eine Kennzahl kann sich verbessern, wenn der Nenner sinkt, während der Zähler unverändert bleibt. Beispielsweise könnte der „Umsatz pro Besuch“ steigen, nur weil die Besuche zurückgegangen sind, nicht weil der Umsatz gestiegen ist.
3. Analysieren Sie im Kontext: Nutzen Sie Ihr Analyse-Dashboard, um das Gesamtbild zu erfassen. Betrachten Sie das Verhalten von Zähler und Nenner, um die Ursachen für die Veränderungen Ihrer Verhältniszahl zu verstehen.

Hier ein Einblick in die Optimizely-Ergebnisse mit einer Verhältniszahl.

Wann eignen sich Verhältniskennzahlen für A/B-Tests und Experimente?

Verhältniskennzahlen sind besonders hilfreich, wenn Sie Ihre Kennzahl mit einem anderen Nenner als dem üblicherweise verwendeten anpassen möchten.

Anstatt beispielsweise den Umsatz pro Nutzer zu erfassen (eine einfache Kennzahl), könnten Sie den Umsatz den Klicks auf den Warenkorb zuordnen.

Diese Kennzahl „Umsatz pro Klick in den Warenkorb“ ermöglicht es Ihnen, die Effizienz Ihrer Warenkorb-Hinzufügungen hinsichtlich der Umsatzgenerierung zu messen. Sie können auch die durchschnittliche Wiedergabezeit pro Konto erfassen. Anstatt pro Nutzer zu messen, hilft dies Streaming-Diensten mit Abonnement, das Nutzungsverhalten auf Haushaltsebene zu verstehen. Weitere Beispiele: E-Commerce-Produktoptimierung: Anstatt den Umsatz pro Nutzer zu erfassen, messen Sie den Umsatz pro Klick in den Warenkorb (Umsatz / Klicks in den Warenkorb). Diese Kennzahl hilft Ihnen zu verstehen, ob Ihre Produktseiten-Optimierungen zu höherwertigen Käufen führen, wenn Nutzer interagieren, selbst wenn die Klickraten stabil bleiben. B2B-SaaS-Plattform: Bei Unternehmenssoftware mit mehreren Nutzern pro Unternehmen erfassen Sie die Funktionsnutzung pro Konto (Gesamtzahl der Funktionsnutzungen / Anzahl der Konten) anstatt pro Nutzer. Dies hilft Ihnen, die Nutzungsmuster in Organisationen anstatt auf individueller Ebene zu verstehen.

Strategie für Streaming-Dienste: Anstatt die Wiedergabezeit pro Nutzer zu messen, erfassen Sie die Gesamtwiedergabezeit pro Haushaltskonto (Gesamtminuten / Anzahl der Konten). Diese Verhältnismetrik liefert Einblicke in die Content-Nutzung auf Abonnementebene, was sich direkt auf die Kundenbindung auswirkt.

Verhältnismetriken ermöglichen es Ihnen insgesamt, Messungen zu erstellen, die besser zu Ihrer Unternehmensbewertung passen und die Lücke zwischen Experimentdaten und Ihren etablierten KPIs schließen.

Erstellung von trichterförmigen Metriken

Wenn Verbindung und Reihenfolge von Ereignissen wichtig sind...

Da Optimizely Verhältnismetriken pro Einheit berechnet, können Sie diese auch zur Analyse der Verbindung zwischen zwei aufeinanderfolgenden Ereignissen verwenden.

Sie können beispielsweise eine Verhältnismetrik erstellen, die den Prozentsatz der Nutzer misst, die ein Formular absenden (Zählerereignis), nachdem sie auf ein Werbebanner geklickt haben (Nennerereignis). Dadurch entsteht eine Art „trichterförmige Metrik“, da sowohl im Zähler als auch im Nenner Zählereignisse enthalten sind.

Dieser Ansatz hilft Ihnen, die Conversion-Effizienz an spezifischen Touchpoints zu bewerten – beispielsweise, wie effektiv Ihre Werbeelemente die gewünschten Aktionen auslösen. Sie erhalten Einblicke in die bedingten Zusammenhänge zwischen diesen verbundenen Ereignissen, die eine einfache Kennzahl (wie z. B. die Gesamtzahl der Formularübermittlungen) nicht aufzeigen würde. Es ist jedoch wichtig zu beachten, dass diese Anwendung zwar in bestimmten Szenarien nützlich ist, aber dem Hauptzweck von Verhältniskennzahlen untergeordnet ist: der Erstellung flexibler Messgrößen, die mit Ihren etablierten KPIs übereinstimmen. Zusammenfassend lässt sich sagen: Verhältniskennzahlen bieten wertvolle Flexibilität in Ihrem Experimentierprogramm, da Sie Messgrößen erstellen können, die direkt mit den KPIs übereinstimmen, die Ihr Unternehmen bereits verwendet. Diese Abstimmung schließt die Lücke zwischen Experimentdaten und den Kennzahlen, die Ihren Stakeholdern am wichtigsten sind.

Beachten Sie diese wichtigen Prinzipien bei der Arbeit mit Verhältniskennzahlen:

• Wählen Sie Kennzahlen, die mit Ihren festgelegten Geschäftszielen und KPIs übereinstimmen.
• Prüfen Sie stets die einzelnen Komponenten der Kennzahlen (Zähler und Nenner), um den vollständigen Kontext zu verstehen.
• Nutzen Sie die statistischen Funktionen von Plattformen wie Optimizely, um zuverlässige Ergebnisse zu gewährleisten.

Die erfolgreichsten Experimentierprogramme wählen strategisch zwischen einfachen und Verhältniskennzahlen.

Einfache Kennzahlen liefern klare und verlässliche Daten zu einzelnen Ereignissen, während Verhältniskennzahlen die Flexibilität bieten, sich an die etablierten KPIs Ihres Unternehmens anzupassen. Die Wahl des richtigen Kennzahlentyps schafft einen Messansatz, der Ihre Experimentergebnisse direkt mit Kennzahlen verknüpft, die Geschäftsentscheidungen beeinflussen.