Ratio-Metriken

Was sind Verhältnismetriken?

Verhältnismetriken sind berechnete Metriken, die das Verhältnis zwischen zwei verschiedenen Ereignissen in einer einzigen Metrik messen. Im Gegensatz zu einfachen Metriken, die automatisch nach der Anzahl der Nutzer in einer Variation normalisiert werden, können Sie bei Verhältnismetriken einen benutzerdefinierten Nenner festlegen und erhalten so die Flexibilität, Messwerte zu konstruieren, die direkt darauf abgestimmt sind, wie Ihr Unternehmen die Leistung bewertet.

Indem Sie die Gesamtzahl, die Anzahl der Unikate, den Gesamtumsatz oder den Gesamtwert eines Ereignisses durch die entsprechende Aggregation eines anderen Ereignisses teilen, können Sie mit Hilfe von Verhältnismetriken fortgeschrittene Messungen wie "Umsatz pro Add-to-Cart-Klick", "Annahme von Funktionen pro Konto" oder "durchschnittlicher Bestellwert" erstellen.

Verhältnismetriken bieten Ihnen die Flexibilität, Messungen zu erstellen, die besser widerspiegeln, wie Ihr Unternehmen die Leistung bewertet. Sie ermöglichen es Ihnen, benutzerdefinierte Metriken zu erstellen, die mit etablierten KPIs übereinstimmen, und bringen so die Geschäftslogik direkt in Ihre Plattform zum Experimentieren ein.

Diese Anpassung überbrückt die Kluft zwischen den Daten des Experimentierens und den Metriken, die den Stakeholdern am wichtigsten sind, und macht die Ergebnisse Ihrer Experimente besser verwertbar und relevant für geschäftliche Entscheidungen.

Hinweis: Ratio-Metriken sind in den Produkten Web Experimentation (WX), Feature Experimentation (FX) und Optimizely Analytics verfügbar.

Bildquelle: Optimizely

Aber gibt es einen Unterschied zwischen Ratio-Metriken und einfachen Metriken?

Einfache Metriken sind einfacher zu analysieren und zu interpretieren. Sie sind ideal, wenn sie das, was Sie messen, angemessen erfassen. Verhältnismetriken bieten wertvolle Flexibilität, wenn Sie das Experimentieren mit etablierten Geschäfts-KPIs abstimmen müssen, die bereits als Verhältniszahlen ausgedrückt sind."

Wie Ratio-Metriken funktionieren

Ratio-Metriken bieten wertvolle Flexibilität, wenn Sie Messungen benötigen, die Ihre etablierten Geschäfts-KPIs widerspiegeln. Viele Unternehmen verwenden bereits verhältnisbasierte Kennzahlen in ihren täglichen Abläufen, und mit Hilfe von Verhältniskennzahlen können Sie diese Messungen in Ihr Programm zum Experimentieren integrieren.

Der Berechnungsprozess folgt einer bestimmten Methodik. Zunächst prüft das System, ob ein Benutzer das Ereignis im Nenner abschließt. Wenn das Nenner-Ereignis eingetreten ist, sucht es anschließend nach Zähler-Ereignissen für denselben Benutzer innerhalb eines Zeitfensters von 48 Stunden. Es zählt sie auf der Ebene des einzelnen Benutzers und aggregiert dann das Verhältnis aus einem Verhältnis pro Benutzer. Das System aggregiert die Werte für die Zählerereignisse, indem es die Werte für die auf Zahlen basierenden Ereignisse addiert oder die Ereignisse für die auf Zählungen basierenden Ereignisse zählt. Anschließend berechnet es das Verhältnis pro Einheit und den Durchschnitt über alle in Frage kommenden Einheiten.

Ratio-Metriken können auch als primäre, sekundäre oder Überwachungsmetriken in Ihren Experimenten dienen, je nachdem, wie gut sie mit Ihren Geschäftszielen und Experimentierzielen übereinstimmen.

Wann Sie Verhältnismetriken verwenden sollten

Ratio-Metriken sind in verschiedenen Szenarien besonders leistungsfähig. Verwenden Sie sie, wenn Sie die Effizienz oder den Wert pro Ereignis und nicht pro Benutzer messen müssen, wenn Ihr Hauptleistungsindikator bereits als Verhältnis ausgedrückt wird (z. B. Umsatz pro Sitzung oder Käufe pro Konto) oder wenn Sie trichterähnliche Metriken erstellen möchten, um die Beziehungen zwischen aufeinander folgenden Ereignissen zu analysieren.

Diese Metriken eignen sich hervorragend, um die Lücke zwischen den Daten des Experimentierens und den etablierten Geschäfts-KPIs zu schließen. So können Sie z.B. anstelle des einfachen Umsatzes pro Benutzer den Umsatz pro Klick auf den Einkaufswagen messen, um die Effizienz Ihrer Einkaufswagenerweiterungen bei der Umsatzgenerierung zu verstehen.

Hier sehen Sie einen Blick auf die Ergebnisse von Optimizely mit einer Verhältniskennzahl.

Bildquelle: Optimizely

Beispiele für Ratio-Metriken

1. E-Commerce Optimierung: Verfolgen Sie den "Umsatz pro Add-to-Cart-Klick" anstelle des Umsatzes pro Benutzer. Dies hilft Ihnen zu verstehen, ob Verbesserungen auf der Produktseite zu höherwertigen Käufen führen, wenn die Benutzer sich engagieren, selbst wenn die Klickraten stabil bleiben.

2. B2B-SaaS-Plattformen: Bei Unternehmenssoftware mit mehreren Benutzern pro Unternehmen messen Sie die "Feature-Adoption pro Konto" statt pro Benutzer. Dies gibt Aufschluss über die Akzeptanz im Unternehmen und nicht über die individuelle Nutzung.

3. Streaming-Dienste: Anstatt die Sehdauer pro Benutzer zu messen, verfolgen Sie die "Gesamtsehdauer pro Haushaltskonto". Dies gibt Aufschluss über das Engagement für Inhalte auf Abonnementebene und wirkt sich direkt auf Entscheidungen zur Kundenbindung aus.

4. Marketing Trichter: Erstellen Sie Kennzahlen wie "Formularanmeldungen pro Banner-Klick", um die Effizienz der Conversion an bestimmten Berührungspunkten zu bewerten und die bedingte Beziehung zwischen verbundenen Ereignissen zu verstehen.

Statistische Überlegungen für Verhältnismetriken

Ratio-Metriken erfordern aufgrund ihrer komplexen Natur eine sorgfältige statistische Handhabung. Da es sich um zwei Ereignisse handelt, erfordert die Bestimmung der statistischen Signifikanz eine Schätzung der Varianz der Kennzahl mit Hilfe einer Taylorreihen-Approximation erster Ordnung (Delta-Methode).

Die statistische Methodik berücksichtigt die Tatsache, dass die beiden Ereignisse in einer Verhältniskennzahl möglicherweise nicht unabhängig sind - ihre Werte können statistisch voneinander abhängig sein, was bedeutet, dass Änderungen bei einem Ereignis mit Änderungen beim anderen Ereignis korrelieren könnten. Diese Abhängigkeit wird in der Varianzberechnung berücksichtigt, um genaue statistische Rückschlüsse zu gewährleisten.

Erfolgsmethoden für die Implementierung von Verhältnismetriken

1. Beziehen Sie immer Komponentenmetriken ein: Fügen Sie den Zähler und den Nenner als separate einfache Metriken im selben Experiment hinzu. Dies liefert einen wichtigen Kontext für die Interpretation von Verhältnisänderungen und hilft zu erkennen, wenn die Verhältnisse aufgrund dramatischer Änderungen in nur einer Komponente verzerrt werden.

2. Achten Sie auf irreführende Signale: Sie können das Verhältnis verbessern, indem Sie den Nenner verkleinern, während der Zähler unverändert bleibt. Zum Beispiel könnte der "Umsatz pro Besuch" eine Verbesserung anzeigen, weil die Besuche abgenommen haben, nicht weil der Umsatz gestiegen ist.

3. Wählen Sie den richtigen Kennzahlentyp: Beginnen Sie mit einfachen Metriken, wenn sie Ihr Ziel angemessen erfassen. Verwenden Sie Verhältniskennzahlen, wenn ein benutzerdefinierter Nenner für die Abstimmung mit den geschäftlichen KPIs unerlässlich ist.

4. Analysieren Sie im Kontext: Nutzen Sie Ihr analytisches Dashboard, um zu verstehen, wie sich sowohl der Zähler als auch der Nenner verhalten, um zu begreifen, was die Veränderungen in Ihrer Verhältniskennzahl bewirkt.

Zusammenfassend...

Verhältniskennzahlen schließen die Lücke zwischen Experimentieren und echter Unternehmensleistung, indem sie Ihnen ermöglichen, das zu messen, was für Ihr Unternehmen am wichtigsten ist.

Wenn sie mit Bedacht implementiert werden, mit sorgfältiger Beachtung der Komponentenmetriken und Ausrichtung auf etablierte KPIs, verwandeln sie experimentelle Erkenntnisse in umsetzbare Business Intelligence.

Der Schlüssel liegt in der Auswahl der richtigen Metrik für Ihre spezifischen Ziele und der Interpretation der Ergebnisse im breiteren Kontext Ihrer Geschäftsziele.