Verhältnismetriken

Was sind Verhältnismetriken?

Verhältnismetriken sind berechnete Metriken, die das Verhältnis zwischen zwei verschiedenen Ereignissen in einer einzigen Metrik messen. Im Gegensatz zu einfachen Metriken, die automatisch nach der Anzahl der Nutzer in einer Variante normalisieren, ermöglichen Verhältnismetriken die Definition eines benutzerdefinierten Nenners. So erhalten Sie die Flexibilität, Messungen zu erstellen, die direkt mit der Leistungsbewertung Ihres Unternehmens übereinstimmen.

Indem Sie die Gesamtanzahl, die eindeutige Anzahl, den Gesamtumsatz oder den Gesamtwert eines Ereignisses durch die entsprechende Aggregation eines anderen Ereignisses dividieren, können Sie mit Verhältnismetriken erweiterte Messungen erstellen – beispielsweise „Umsatz pro Klick auf ‚In den Warenkorb‘“, „Feature-Adoption pro Konto“ oder „durchschnittlicher Bestellwert“.

Verhältnismetriken bieten die Flexibilität, Messungen zu erstellen, die besser widerspiegeln, wie Ihr Unternehmen Leistung bewertet. Sie ermöglichen es Ihnen, benutzerdefinierte Metriken zu erstellen, die mit etablierten KPIs übereinstimmen und Geschäftslogik direkt in Ihre Plattform für das Experimentieren einbringen.

Diese Ausrichtung schließt die Lücke zwischen Experimentier-Daten und den Metriken, die für Stakeholder am wichtigsten sind, und macht Ihre Experiment-Ergebnisse handlungsrelevanter und geschäftlich aussagekräftiger.

Hinweis: Verhältnismetriken sind in Web Experimentation (WX), Feature Experimentation (FX) und Optimizely Analytics verfügbar.

Bildquelle: Optimizely

Aber gibt es einen Unterschied zwischen Verhältnismetriken und einfachen Metriken?

Einfache Metriken sind unkomplizierter zu analysieren und zu interpretieren und eignen sich ideal, wenn sie das, was Sie messen möchten, ausreichend erfassen. Verhältnismetriken bieten wertvolle Flexibilität, wenn Sie das Experimentieren mit etablierten Geschäfts-KPIs in Einklang bringen müssen, die bereits als Verhältnisse ausgedrückt werden.“

Wie Verhältnismetriken funktionieren

Verhältnismetriken bieten wertvolle Flexibilität, wenn Sie Messungen benötigen, die Ihre etablierten Geschäfts-KPIs widerspiegeln. Viele Unternehmen verwenden bereits verhältnisbasierte Metriken in ihrem Tagesgeschäft, und Verhältnismetriken ermöglichen es Ihnen, dieselben Messungen in Ihr Experimentier-Programm zu integrieren.

Der Berechnungsprozess folgt einer bestimmten Methodik. Zunächst prüft das System, ob ein Nutzer das Nenner-Ereignis abgeschlossen hat. Falls das Nenner-Ereignis eingetreten ist, sucht es anschließend nach Zähler-Ereignissen desselben Nutzers innerhalb eines 48-Stunden-Fensters. Es zählt auf Nutzerebene und aggregiert dann das Verhältnis aus einem nutzerbezogenen Verhältnis. Das System aggregiert die Werte der Zähler-Ereignisse, indem es Werte für numerische Ereignisse summiert oder Vorkommen für zählbasierte Ereignisse erfasst. Anschließend berechnet es das Verhältnis pro Einheit und bildet den Durchschnitt über alle qualifizierenden Einheiten.

Darüber hinaus können Verhältnismetriken in Ihren Experimenten als primäre, sekundäre oder überwachende Metriken eingesetzt werden – je nachdem, wie gut sie mit Ihren Geschäftszielen und Experimentier-Zielen übereinstimmen.

Wann Verhältnismetriken eingesetzt werden sollten

Verhältnismetriken sind in mehreren Szenarien besonders wirkungsvoll. Setzen Sie sie ein, wenn Sie Effizienz oder Wert pro Ereignis statt pro Nutzer messen möchten, wenn Ihr Key Performance Indicator bereits als Verhältnis ausgedrückt wird (z. B. Umsatz pro Sitzung oder Käufe pro Konto) oder wenn Sie Trichter-ähnliche Metriken erstellen möchten, um sequenzielle Ereignisbeziehungen zu analysieren.

Diese Metriken eignen sich hervorragend, um die Lücke zwischen Experimentier-Daten und etablierten Geschäfts-KPIs zu schließen. Anstatt beispielsweise den einfachen Umsatz pro Nutzer zu verfolgen, könnten Sie den Umsatz pro Klick auf „In den Warenkorb“ messen, um die Effizienz Ihrer Warenkorb-Ergänzungen bei der Umsatzgenerierung zu verstehen.

Bildquelle: Optimizely

Beispiele für Verhältnismetriken

1. E-Commerce-Optimierung: Verfolgen Sie „Umsatz pro Klick auf ‚In den Warenkorb‘“ anstelle von Umsatz pro Nutzer. So erkennen Sie, ob Verbesserungen auf Produktseiten zu höherwertigen Käufen führen, wenn Nutzer interagieren – selbst wenn die Klickraten stabil bleiben.

2. B2B-SaaS-Plattformen: Messen Sie bei Unternehmenssoftware mit mehreren Nutzern pro Firma die „Feature-Adoption pro Konto“ statt pro Nutzer. So werden organisatorische Adoptionsmuster statt individueller Nutzung sichtbar.

3. Streaming-Dienste: Anstatt die Wiedergabezeit pro Nutzer zu messen, verfolgen Sie die „Gesamte Wiedergabezeit pro Haushaltskonto“. Dies liefert Einblicke in das Content-Engagement auf Abonnementebene und beeinflusst direkt Entscheidungen zur Kundenbindung.

4. Marketing-Trichter: Erstellen Sie Metriken wie „Formular-Einsendungen pro Banner-Klick“, um die Conversion-Effizienz an bestimmten Touchpoints zu bewerten und die bedingte Beziehung zwischen verknüpften Ereignissen zu verstehen.

Statistische Überlegungen zu Verhältnismetriken

Verhältnismetriken erfordern aufgrund ihrer Komplexität eine sorgfältige statistische Behandlung. Da sie zwei Ereignisse umfassen, muss die statistische Signifikanz durch Schätzung der Varianz der Metrik mittels einer Taylor-Reihen-Approximation erster Ordnung (Delta-Methode) bestimmt werden.

Die statistische Methodik berücksichtigt die Tatsache, dass die beiden Ereignisse einer Verhältnismetrik nicht unabhängig sein müssen – ihre Werte können statistisch abhängig sein, was bedeutet, dass Veränderungen bei einem Ereignis mit Veränderungen beim anderen korrelieren können. Diese Abhängigkeit wird in der Varianzberechnung erfasst, um akkurate statistische Schlussfolgerungen zu gewährleisten.

Best Practices für die Implementierung von Verhältnismetriken

1. Komponentenmetriken immer einbeziehen: Fügen Sie Zähler und Nenner als separate einfache Metriken im selben Experiment hinzu. Dies liefert den notwendigen Kontext zur Interpretation von Verhältnisänderungen und hilft zu erkennen, wenn Verhältnisse durch drastische Veränderungen nur einer Komponente verzerrt werden.

2. Auf irreführende Signale achten: Sie können das Verhältnis verbessern, indem der Nenner sinkt, während der Zähler unverändert bleibt. Beispielsweise könnte „Umsatz pro Besuch“ eine Verbesserung zeigen, weil die Besuche zurückgegangen sind – nicht weil der Umsatz gestiegen ist.

3. Den richtigen Metriktyp wählen: Beginnen Sie mit einfachen Metriken, wenn diese Ihr Ziel ausreichend erfassen. Verwenden Sie Verhältnismetriken, wenn ein benutzerdefinierter Nenner für die Ausrichtung auf Geschäfts-KPIs unerlässlich ist.

4. Im Kontext analysieren: Nutzen Sie Ihr Analytics-Dashboard, um das Verhalten von Zähler und Nenner zu verstehen und nachzuvollziehen, was die Veränderungen Ihrer Verhältnismetrik antreibt.

Zusammenfassung

Verhältnismetriken schließen die Lücke zwischen Experimentier-Daten und tatsächlicher Geschäftsleistung, indem sie es Ihnen ermöglichen, das zu messen, was für Ihr Unternehmen am wichtigsten ist.

Wenn sie durchdacht implementiert werden – mit sorgfältiger Berücksichtigung der Komponentenmetriken und Ausrichtung auf etablierte KPIs – verwandeln sie experimentelle Erkenntnisse in handlungsrelevante Business Intelligence.

Der Schlüssel liegt darin, den richtigen Metriktyp für Ihre spezifischen Ziele zu wählen und die Ergebnisse im breiteren Kontext Ihrer Geschäftsziele zu interpretieren.