Veröffentlicht am 09. Mai 2018

Fallstricke beim Experimentieren mit Produkten, Beitrag #2: Experimentieren ohne ausreichenden Traffic

Dies ist der zweite Beitrag in unserer Blogserie über die Fallstricke des Experimentierens mit Produkten, geschrieben vom Director of Product Management von Optimizely, Jon Noronha. Weitere Informationen zu dieser 5-teiligen Serie finden Sie hier. Ein Experiment ist wie ein Metalldetektor. Wenn ein wertvoller Schatz nahe an der Oberfläche liegt, ist es ein unglaubliches Werkzeug, das Sie direkt zum Gold führen kann.

Jon Noronha
von Jon Noronha
a blue line graph

Ein Experiment ist wie ein Metalldetektor. Wenn sich ein wertvoller Schatz nahe der Oberfläche befindet, ist er ein unglaubliches Werkzeug, das Sie direkt zum Gold führen kann. Aber um Erfolg zu haben, müssen Sie einen Detektor haben, der stark genug ist, um die Signale aufzuspüren. Andernfalls wird ein gut gemeinter Versuch des Experimentierens Sie nur im Kreis führen.

Das Experimentieren mit Produkten kann besonders schwierig sein, weil sie oft weniger Traffic erhalten als ein Marketing- oder E-Commerce Trichter. Bei Optimizely führen wir Hunderte von Experimenten mit unseren Landing Pages und dem Anmeldefluss durch, aber selbst wir müssen die Tests, die wir innerhalb unseres Produkts durchführen, gut durchdenken. Als B2B-Anwendung müssen wir darauf achten, die richtigen Metriken auszuwählen und Tests durchzuführen, die die Kraft haben, sie zu bewegen.

Wie viel Traffic ist genug? Ich empfehle, mit einem Rechner wie diesemzu spielen , um ein Gefühl für die Zahlen zu bekommen. Im Allgemeinen sollten Sie in der Lage sein, Tausende von Nutzern auf jede Ihrer Varianten zu schicken. Mit weniger können Sie nur die drastischsten Auswirkungen feststellen. Mit mehr können Sie subtilere Verhaltensänderungen feststellen oder viel schneller Antworten erhalten.

graphical user interface, text, application, email

Meine grobe Richtlinie lautet: Wenn Sie weniger als 10.000 monatlich aktive Nutzer haben, sollten Sie sich gar nicht erst mit einem herkömmlichen A/B-Testing befassen. Sie sind besser dran, wenn Sie qualitative Forschung betreiben. Das Feedback, das Sie aus einem persönlichen Gespräch erhalten, ist unendlich viel wertvoller als die schwachen Signale, die Sie von einem A/B-Testing erhalten.

In diesem Fall können Sie auch von einer schrittweisen Einführung profitieren, bei der Sie den Traffic schrittweise erhöhen und die Kennzahlen überwachen, um sicherzustellen, dass nichts kaputt geht. Bei einer schrittweisen Einführung können Sie die Signifikanzgrenzen herabsetzen und den kleinsten nachweisbaren Effekt erhöhen, um schon bei 1.000 Benutzern Probleme zu erkennen.

Wenn Sie dagegen mehr als 10.000 Nutzer pro Monat haben, sollten Sie unbedingt experimentieren. Bei Millionen von Besuchern können Sie verrückt werden und jedes Detail jeder Interaktion testen, aber auch bei wesentlich weniger Besuchern können Sie aussagekräftige Erkenntnisse gewinnen - und Sie erweisen Ihren Nutzern einen schlechten Dienst, wenn Sie diese Daten ignorieren.

Wenn Sie mit geringem Traffic testen, konzentrieren Sie sich auf extreme Änderungen und finden Sie leichtgewichtige Proxys für größere Belastungen. Mein Lieblingsbeispiel ist das invertierte Performance-Testing. Nehmen wir an, Sie erwägen, einen Dienst umzugestalten, um ihn um 5% schneller zu machen, was einige Wochen Entwicklungszeit kosten würde. Bevor Sie sich auf diese Reise begeben, sollten Sie eine klare Vorstellung davon haben, wie viel Sie diese 5 % Leistung an Conversions und Kundenbindung kosten. Aber wie können Sie die Auswirkungen testen, ohne es tatsächlich zu bauen? Versuchen Sie den umgekehrten Weg. Es ist schwer, Ihre Site schneller zu machen, aber sehr einfach, sie langsamer zu machen. Versuchen Sie also, Ihre Site künstlich um 5% zu verlangsamen, und sehen Sie, wie stark die Conversions zurückgehen. Wenn Sie kein klares Signal erhalten, gehen Sie noch weiter - versuchen Sie es mit einer Verlangsamung um 10% und 20% in verschiedenen Varianten. Sie können die genauen Auswirkungen dieser Änderungen messen und sie nutzen, um die Leistungskurve im Vergleich zu den zugrundeliegenden Metriken, die Ihnen wichtig sind, darzustellen - alles mit dem Ziel, den Wert einer Verbesserung vorherzusagen.

Wie dieses Beispiel zeigt, ist es von enormem Nutzen, mehrere Varianten zu testen und sie bis zum Äußersten zu treiben, um Ihre Komfortzone zu verlassen. Selbst wenn Sie diese extremen Varianten nie ausliefern würden, zwingen sie Sie dazu, kreativ zu sein, und sie generieren viel mehr Informationen, als Sie sonst bei einer konservativen Einführung erhalten würden.

Die Daten von Optimizely zeigen, dass Sie Ihre Gewinnrate tatsächlich verdoppeln können, wenn Sie vier Behandlungen anstelle von nur einer testen, und zwar von durchschnittlich 14% auf 28%. Sie könnten versucht sein, diese Varianten mit geringem Traffic auszulassen, aber es lohnt sich, sich die Zeit zu nehmen. Und Sie können einen Großteil dieser zusätzlichen Kosten durch Techniken wie das adaptive Sampling abmildern, um den Datenverkehr im Laufe eines Experiments neu zu verteilen.

Alles in allem hoffen wir, dass einige dieser Tipps bei der Planung Ihrer Experimente hilfreich sind. Vergessen Sie nicht, mit ausreichend Traffic zu testen und Ihre wichtigsten Kennzahlen zu ermitteln.