The Guardian steigert dank Tests die Zahl der Anmeldungen auf seiner Onlinedating-Website

Mehr Abonnements dank Optimierung von Landing Pages, Navigation und Homepage
  • Branche
    Medien
  • Standort
    London, Vereinigtes Königreich

Mit mehr als 6 Millionen Lesern pro Woche ist The Guardian die drittbeliebteste Zeitung der Welt. Die Stärke der Zeitung liegt in ihrer Konzentration auf digitale Inhalte und ihre datengestützte Kultur. Seit Anfang 2012 testet The Guardian mit Optimizely, um seine Leserschaft online zu erweitern.

The Guardian nutzt das A/B-Testing für viele Websites und Inhalte. Produktmanager wie Kerstin Exner werden ermutigt, immer dann A/B-Tests durchzuführen, wenn der jeweilige Test das Geschäft voranbringt.

Ein Inhalt, den The Guardian häufig optimiert, ist „Soulmates“, die Dating-Website der Zeitung. Soulmates ging 2004 online und finanziert sich über kostenpflichtige Monatsabonnements, in deren Rahmen Mitglieder Kontakt zueinander aufnehmen können.

Herausforderung

Als Dating-Website zielt Soulmates primär darauf ab, Besucher zu zahlenden Abonnenten zu machen. Ein Großteil des Traffics wird direkt über Anzeigen auf den Nachrichtenseiten von The Guardian erzielt. Kerstin fand jedoch heraus, dass diese Anzeigen zwar insgesamt viele Klicks erzielen, die meisten Benutzer jedoch keine Abonnenten werden

Kerstin fragte sich, welche Änderungen auf der Website mehr Besucher dazu bewegen könnten, die Dating-Services von Soulmates zu abonnieren. Sie wollte durch eine Kombination aus qualitativen Daten aus Benutzerumfragen und quantitativen Daten aus A/B-Testings Erkenntnisse gewinnen.

Hypothese

In enger Zusammenarbeit mit dem UX-Team führt Kerstin häufig Benutzerumfragen durch, um ihre Hypothesen im A/B-Testing zu stützen. Anhand der Erkenntnisse aus den Umfragen stellte Kerstin die Hypothese auf, dass mehr Abonnements erzielt werden könnten, wenn vorab mehr Informationen einsehbar wären – z. B. das Anzeigen von mehr Profilen und Informationen zu vorhandenen Benutzern.Kerstin bezeichnete diesen Ansatz als „personenorientierte“ Strategie. Zum Testen führte sie mehrere Optimizely-Experimente durch.

Test 1 – Optimieren der Landing Page

Kerstin entschied sich, mit einem der wichtigsten Elemente von Soulmates zu beginnen – den Landing Pages, auf die Besucher durch Klicken auf Anzeigen auf der Website von The Guardian geleitet werden. In den Anzeigen werden Bilder verschiedener Soulmates-Benutzer angezeigt. Wenn ein Benutzer auf ein Foto klickt, wird er direkt auf eine Landing Page mit dem Profil des Benutzers und dem Call-to-Action (CTA) „Heute noch kostenlos anmelden“ weitergeleitet.

Kerstin fragte sich, ob die aktuelle Landing Page bei neuen Besuchern nicht für Verwirrung sorgt. Mit Optimizely testete sie ihre „personenorientierte“ Strategie auf diesen Landing Pages, die Benutzern mehr Optionen und eine größere Fülle an Informationen ermöglichte. Auf den alternativen Landing Pages wurde nach wie vor das Profil aus der Anzeige angezeigt, jedoch um weitere ähnliche Profile desselben Alters und Geschlechts ergänzt. Auf den alternativen Seiten wurde zudem eine Seitenleiste mit Suchfunktionen und Kundenstimmen angezeigt.

Auf der ursprünglichen Landing Page wurde das Profil des Benutzers mit einem großen gelben CTA-Feld auf der Mitte der Seite angezeigt. Auf der alternativen Seite erhielten Besucher durch die Anzeige des Benutzerprofils, ähnliche Profile, Suchfunktionen und Benutzerstimmen mehr Möglichkeiten.

Durch die alternative Landing Page mit Suchfunktionen, Benutzerstimmen und ähnlichen Profilen konnte die Konversion um mehr als 46 % gesteigert werden. Als Kerstin klar wurde, dass sie einen Gewinner mit statistischer Signifikanz gefunden hatte, nutzte sie die Traffic-Zuweisungsfunktion von Optimizely, um den gesamten Website-Traffic auf die Gewinnerseite zu lenken, während die Programmierer die Änderungen im Code der Website vornahmen.

Test 2 – Testen der Navigation

Nach dem erfolgreichen ersten Test der „personenorientierten“ Strategie bei Soulmates entschied sich Kerstin, einen zweiten Test an der Navigationsleiste der Website durchzuführen.

Auf der ursprünglichen Navigationsleiste wurden standardmäßig sechs Registerkarten angezeigt. Da sich die „Top Matches“ der Webseitenbesucher nicht häufig ändern, stellte Kerstin die Hypothese auf, dass die Webseite bei Besuchern einen langweiligen, trostlosen Eindruck hinterlässt.Sie überlegte, ob durch die Änderung der „Top Matches“ in „Neue Mitglieder“ mehr Klicks auf die einzelnen Profile generiert werden könnten.

Die Variante, bei der „Top Matches“ durch „Neue Mitglieder“ ersetzt wurden, steigerte die Konversion um 137 %.

Nachdem der Test einige Tage lief, <em>verzeichnete Soulmates auf der alternativen Seite mit der Anzeige „Neue Mitglieder“ bereits 137 % mehr Klicks.

Test 3 – Optimieren der Homepage

Weitere Benutzerumfragen zu Kerstins „personenorientierter“ Hypothese ergaben, dass sich viele Besucher der Website weitere Informationen auf der Homepage von Soulmates wünschten. Auf dieser wurden bisher Fotos und Kurzbeschreibungen von Single-Männern und Frauen angezeigt.

Kerstin tauschte das ursprüngliche Design der Homepage mit Kurzbeschreibungen gegen das neue Design mit Alter und Ort der vorgestellten Benutzer.

Auf der ursprünglichen Homepage wurden Fotos und Kurzbeschreibungen für mehrere Männer und Frauen auf der Website angezeigt. Auf der alternativen Homepage wurden die Kurzbeschreibungen durch Alter und Ort der vorgestellten Benutzer ersetzt.

Der Test der Homepage offenbarte einige überraschende Erkenntnisse. Nachdem der Test einige Tage lief, fand sie heraus, dass bei der neuen Variante noch weniger Abonnements auf der Website abgeschlossen wurden und das primäre Konversionsziel somit verfehlt wurde. Zudem war der Unterschied bei den Profilaufrufen zwischen der ursprünglichen und der alternativen Website so gering, dass niemals eine statistische Signifikanz erreicht werden könnte.

Auch wenn in diesem Test die alternative Version nicht als Gewinner hervorging, fand Kerstin die Erkenntnisse jedoch ebenso nützlich wie die aus den ersten beiden ExperimenteDie Ergebnisse halfen Kerstin, zukünftige Tests zum Steigern der Konversion vorzubereiten.

Erkenntnisse

Vor dem Testen Hypothese und Ziele festlegen

Setting a hypothesis before building each test makes executing and interpreting experiment results much easier. According to Kerstin, agreeing on clear goals upfront helps remove the debate aspect when her team looks at test results and also influences ideas for future experiments.

Man lernt mit jedem A/B-Test

“Of the 14 tests we have run so far on Soulmates, seven have been successful, three have been negative, and four have been inconclusive, in that the differences did not generate big enough changes to reach statistical significance. To know what doesn’t work has been just as informative as to know what does work. A negative test is just a challenge to improve on what has failed and test it again,” says Kerstin.