Veröffentlicht am 21. August 2019

Wie das Wall Street Journal Tests für einen höheren ROI beim Experimentieren priorisiert

Experimente sind ein wichtiges Instrument zur Umsatzsteigerung, aber woher wissen Sie, welche Tests Sie durchführen sollten? Die Priorisierung von Tests ist der Schlüssel zu einer höheren und schnelleren Rendite, wenn Sie sich für die Investition in Experimente entschieden haben. Für neue Experimentierer kann es jedoch entmutigend sein, herauszufinden, welchen Tests man den Vorrang geben sollte. Bei Hunderten von potenziellen Tests und

Steven Schuler
von Steven Schuler
decorative yellow lines on background

diagram Experimente sind ein wichtiges Instrument zur Umsatzsteigerung, aber woher wissen Sie, welche Tests Sie durchführen sollten? Die Priorisierung von Tests ist der Schlüssel zu einer höheren und schnelleren Rendite, wenn Sie sich für die Investition in Experimente entschieden haben. Für neue Experimentierer kann es jedoch entmutigend sein, herauszufinden, welchen Tests man den Vorrang geben sollte. Wie können Teams mit Hunderten von potenziellen Tests und wenig Daten zu Beginn herausfinden, welche Tests sich am meisten lohnen?

In diesem Artikel geben wir Ihnen Tipps von Olivia Simon, Optimization Manager beim Wall Street Journal. Ihr Team ist für das Experimentieren bei The Wall Street Journal und Barron's verantwortlich. Gemeinsam mit den Stakeholdern des Unternehmens experimentiert das Optimierungsteam in den Bereichen Akquise, Engagement, Produkt und Mitgliederbindung - und leitet den Prozess von der Testidee über den Start bis hin zu den Auswirkungen nach Abschluss.

Olivia teilte ihr Wissen mit uns in einem aktuellen Webinar, Optimizing Membership at The Wall Street Journal. Wir erläutern die Schritte zur Priorisierung von Tests und wie die Priorisierung den ROI des Experimentierens bei WSJ verbessert hat.

Schritt 1. Finden Sie einen Test mit einem erwarteten Uplift von mehr als 3%.

Der erste Schritt von WSJ besteht darin, einen Test zu finden, bei dem das Team einen Uplift von mehr als 3 % erwartet: "Wenn wir glauben, dass etwas weniger als 3 % Wirkung haben könnte, schließen wir es aus." Woher wissen Sie, was eine Auswirkung von mehr als 3% haben wird? Olivia sagt: "Wir ziehen frühere Tests und Daten vor Ort heran, um eine fundierte Vermutung anzustellen. Die Daten, die wir haben, helfen uns, eine fundierte Prognose zu erstellen, was passieren könnte."

Um herauszufinden, welche Tests die größte Wirkung haben könnten, denkt sich das Team zunächst viele potenzielle Experimente aus. Bei WSJ können Testideen von "jedem und jeder" kommen. Wenn mehr Mitarbeiter und Abteilungen an dem Prozess beteiligt sind, wird nicht nur eine Kultur des Experimentierens gefördert. Es sorgt auch für eine größere Vielfalt bei den Tests.

Schritt 2. Multiplizieren Sie den erwarteten Uplift mit dem Traffic, dem Geldwert und der Conversion Rate.

Sobald das Team eine Vorstellung vom potenziellen Uplift eines Experiments hat, multipliziert es diesen Uplift mit den Besucherzahlen, die durch das Erlebnis fließen. Wenn zum Beispiel täglich 100.000 Benutzer auf Ihren Warenkorb klicken, multiplizieren Sie den erwarteten Uplift mit 100.000.

Als nächstes multipliziert WSJ diesen Traffic mit dem Geldwert des KPI. Wenn Sie also die Klicks auf Ihren Warenkorb optimieren, müssen Sie den Wert dieser Klicks bestimmen, indem Sie ihnen einen Dollarbetrag zuweisen. Lassen Sie uns die Zuweisung eines Dollarbetrags zu einem KPI durchgehen.

Analysieren Sie zunächst die Ihnen vorliegenden Daten:

  • Wie hoch ist Ihr durchschnittlicher Wert beim Checkout? Nehmen wir an, er beträgt 100 $.
  • Wie viele Klicks gibt es im Checkout-Prozess? Für unser Beispiel gehen wir von 4 Klicks aus.
  • Wie viel wertvoller ist der letzte Klick im Vergleich zu den anderen Klicks? Nehmen wir an, dass der 3. Klick 2X wertvoller ist als die ersten 3 Klicks, da es der letzte Schritt im Checkout-Prozess ist. Sie können aber auch jeden Klick als gleichwertig betrachten.

Als Nächstes verwenden wir eine einfache Formel, um den Dollarwert des Klicks (KPI) zu bestimmen:

  • Wenn wir jedem Klick den gleichen Wert zuweisen, dann ist ein Klick $25 wert (100/4).
  • Wenn wir dem letzten Klick den 2fachen Wert zuweisen, dann ist der letzte Klick $40 wert und die vorherigen 3 Klicks sind $20 wert.

Beispiel

Nehmen wir an, wir erwarten einen Anstieg der Besucherzahlen um 5% für einen neuen Checkout-Prozess, der derzeit 100.000 Klicks erhält. Und wir möchten jedem Klick in unserem Checkout-Prozess (4 Klicks) den gleichen Wert für unseren durchschnittlichen Einkaufspreis von $100 zuweisen.

(100.000 x 5%) x $25 = $125.000

Schritt 3. Ziehen Sie die Höhe des Aufwands als Dollarbetrag ab.

Da wir nun wissen, dass wir von unserem Experiment einen Anstieg des Checkouts in Höhe von $125.000 erwarten, ist es an der Zeit, die Kosten für die Durchführung des Experiments abzuziehen. Dazu ziehen wir den Dollarbetrag des "Aufwands" oder der menschlichen Zeit, die in das Experiment investiert wurde, ab. Lassen Sie uns ein Beispiel für die Berechnung des Aufwands betrachten.

Nehmen wir an, Sie haben ein 4-köpfiges Team, das für die Durchführung des Experiments verantwortlich ist: 2 Ingenieure, die 100.000 Dollar pro Jahr verdienen, und 2 Experimentierer, die 100.000 Dollar pro Jahr verdienen. Wenn wir davon ausgehen, dass jeder von ihnen 40 Stunden pro Woche arbeitet, dann liegen die Kosten pro Stunde bei etwa 48 $.

Für dieses Beispiel gehen wir davon aus, dass jedes Teammitglied 3 Stunden Zeit für das Experiment benötigt.

3 Stunden x 4 Personen x $48 = $576 Gesamtaufwand

Schritt 4. Bewerten Sie die Rendite.

Der letzte Schritt besteht darin, den Gesamtaufwand von den erwarteten Gesamteinnahmen aus dem Uplift zu subtrahieren.

$125.000 - $576 = $124.424 Gesamt-ROI für diesen Test

Anhand unseres Beispiels würden wir einen Test durchführen, für dessen Durchführung unser Team insgesamt 12 Arbeitsstunden benötigen würde. Und wir würden schätzungsweise 124.424 $ einnehmen. Dieser Test wäre also unsere Zeit absolut wert. Es sei denn, es gäbe einen anderen Test, den wir mit einem höheren Gewinn durchführen könnten. Aber dies wäre tatsächlich ein schneller Gewinn und eine Durchführung wert.

WSJ hat frühe Tests für schnelle Erfolge bevorzugt.

Einer der ersten Erfolge von WSJ war ein visueller Test. Man beschloss, die Hinzufügung des Hinweises "Sie können jederzeit kündigen" auf der Checkout-Seite zu testen. Dieser erste Test führte zu einem Anstieg der Abonnementzahlen um 10 %.

text

VARIANTE (RECHTS) FÜGTE EINE EINFACHE KÜNDIGUNGSMELDUNG HINZU

In einem weiteren Test wurden die Checkout-Schritte von 20 auf 15 reduziert. Durch die Eliminierung von 5 Schritten verringerte sich die durchschnittliche Checkout-Zeit um 15 Sekunden und die Conversions stiegen um 13%.

Wichtige Erkenntnisse

Stellen Sie sicher, dass Sie sich auf die Tests konzentrieren, die den höchsten Ertrag bringen, insbesondere wenn Sie mit dem Experimentieren beginnen. Beachten Sie den Rat des WSJ, keine Zeit mit Tests zu verschwenden, die nicht mehr als 3% Uplift bringen. Und schließlich sollten Sie Ihre Daten in den Prozess einfließen lassen, den wir Ihnen vorgestellt haben, um den Ertrag jedes möglichen Tests zu ermitteln und zu wissen, welche Tests Sie am besten durchführen sollten.