Multivariate Tests verglichen mit A/B-Tests

Der Unterschied zwischen einem Multivariate-Test und einem A/B-Test

Was ist der Unterschied zwischen Multivariate-Testing und A/B-Testing? Lassen Sie uns einen Blick auf Methodik, gebräuchliche Anwendung, Vorteile und Grenzen dieser Testmethoden werfen.

A/B-Tests

A/B-Tests, die Ihnen vielleicht auch als Split-Tests bekannt sein könnten, sind eine Methode der Website-Optimierung, bei welcher die Conversion Rates von zwei Versionen einer Seite (Version A und Version B) unter Live Traffic Bedingungen miteinander verglichen werden. Die Seitenbesucher werden dabei entweder zu der einen oder der anderen Version geleitet. Durch Aufzeichnung und Auswertung der Informationen, wie die Besucher mit der ihnen angezeigten Seite interagieren (z. B. welche Videos sie sich anschauen, welche Schaltflächen sie anklicken oder ob sie sich für den Newsletter anmelden), kann ermittelt werden, welche der beiden Versionen effektiver ist.

Gebräuchliche Anwendung

A/B-Tests bilden die einfachste Methode zum Auswerten eines Seitendesigns und sind in einer Vielzahl von Situationen nützlich.

Einer der gebräuchlichsten Anwendungsfälle des A/B-Testings besteht darin, zwei sehr unterschiedliche Design-Ansätze gegeneinander zu testen. So sind z. B. auf der aktuellen Version einer Firmen-Homepage die Handlungsaufrufe (Call-to-Action) im Text platziert, während die neue Version kaum noch Text enthält und dafür aber im Seitenkopf mit dem neusten Produkt wirbt. Nachdem ausreichend viele Besucher die beiden Seiten angezeigt bekamen, kann die Anzahl der Besucher, die der Handlungsaufforderung nachgekommen sind, verglichen werden. Es ist wichtig darauf hinzuweisen, dass, auch wenn viele Design-Elemente der Seite geändert wurden, bei dieser Art von A/B-Test nur bewertet wird, wie das gesamte Seitendesign die Erfüllung des eigentlichen Ziels der Seite beeinflusst. Der Einfluss der individuellen Elemente kann hingegen nicht ermittelt werden.

A/B-Testing bietet sich auch für die Optimierung von Seiten an, auf denen nur ein Element zur Diskussion steht. So könnte z. B. eine Zoohandlung mittels A/B-Tests herausfinden, dass ein Newsletter von 85 % mehr Nutzern abonniert wird, wenn der Link zur Anmeldung von einer Comic-Maus hochgehalten wird und nicht den Windungen einer Boa Constrictor entspringt. Wenn A/B-Tests zu diesem Zweck genutzt werden, wird oft auch eine dritte oder gar vierte Version der Seite mit in den Test einbezogen. In dem Zusammenhang wird häufig vom A/B/C/D-Tests gesprochen. Dies bedeutet allerdings, dass sich der Gesamttraffic der Website auf 3 oder 4 Seiten aufteilt und sich der Anteil an Besuchern pro Seitenversion verringert.

Vorteile

Dank seines schlüssigen Konzepts und einfachen Designs ist der A/B-Test eine leistungsstarke und häufig eingesetzte Test-Methode.

Da die Anzahl der erfassten Variablen klein und kein großer Traffic erforderlich ist, können diese Tests sehr schnell zuverlässige Daten liefern. Dies ist insbesondere dann hilfreich, wenn Ihre Seite nur von wenigen Besuchern frequentiert wird. In diesem Fall wäre es schwierig, aussagekräftige Testergebnisse zu erzielen, wenn man den Traffic auf mehr als 3 oder 4 Segmente splittet. In der Tat ist das A/B-Testing so schnell und einfach zu interpretieren, dass selbst einige große Seiten es als ihre primäre Testmethode nutzen und mehrere Testzyklen nacheinander durchlaufen, anstatt komplexere Multivariate-Tests durchzuführen.

A/B-Testing kann sich außerdem dann als hilfreich erweisen, wenn es darum geht, skeptische Mitarbeiter von den Vorteilen der Test-basierten Website-Optimierung zu überzeugen, da mit A/B-Tests schnell die nachweisbaren Auswirkungen einer einfachen Designänderung demonstriert werden können.

Einschränkungen

A/B-Tests sind ein vielseitiges Werkzeug. Wenn sie mit einem intelligenten Testdesign und der Bereitschaft zu mehreren Testzyklen und Redesigns einhergehen, lassen sich damit erhebliche Verbesserungen an einer Website herbeiführen. Es gilt sich allerdings immer wieder vor Augen zu führen, dass sich die Einschränkungen dieser Test-Methode allein schon aus dem Namen ergeben. A/B-Testing eignet sich perfekt dafür, die Auswirkung von 2 bis 4 Variablen auf die Nutzung der Website zu messen. Tests mit einer größeren Anzahl an Variablen erfordern mehr Zeit. Ebenso werden A/B-Tests keinerlei Aufschluss auf die Wechselwirkungen verschiedener Variablen auf einer einzelnen Seite zulassen.

Wenn Sie Informationen darüber benötigen, wie viele verschiedene Elemente sich gegenseitig beeinflussen, müssen Sie Multivariate-Tests nutzen!

Multivariate-Testing

Multivariate-Testing bedient sich derselben Grundmechanismen wie A/B-Testing, vergleicht dabei aber eine größere Anzahl an Variablen und liefert mehr Informationen darüber, wie sich diese Variablen gegenseitig beeinflussen. Wie auch bei A/B-Tests wird der Traffic auf der Website zwischen verschiedenen Design-Variationen einer Seite aufgeteilt. Der Zweck eines Multivariate-Tests besteht darin, die Effektivität der verschiedenen Element-Kombinationen bei der Erreichung des eigentlichen Ziels zu messen.

Wenn eine Seite über ausreichend Traffic für die Durchführung eines solchen Tests verfügt, so lässt sich mit den Daten der einzelnen Variationen nicht nur feststellen, welches das erfolgreichste Design ist, sondern eventuell auch bestimmen, welche Elemente einen besonders positiven oder negativen Effekt auf das Verhalten der Besucher haben.

Gebräuchliche Anwendung

Der am häufigsten genannte Einsatzfall für Multivariate-Testing ist eine Seite, auf der mehrere Elemente zur Diskussion stehen, z. B. eine Seite, die ein Anmeldeformular, einen einprägsamen Text im Header und eine Fußzeile enthält. Um auf dieser Seite einen Multivariate-Test durchzuführen, sollten nicht wie bei einem A/B-Test zwei deutlich verschiedene Designs der Seite miteinander verglichen werden, sondern stattdessen z. B. zwei verschiedene Layouts des Anmeldeformulars, drei verschiedene Headlines und zwei verschiedene Fußzeilen entworfen werden. Im Anschluss müssen die Besucher auf Seiten umgeleitet werden, die sich aus allen möglichen Kombinationen dieser Elemente zusammensetzen. Diese Aufteilung ist auch als faktorielles Testen bekannt und ist der Hauptgrund dafür, dass Multivariate-Testing nur für Seiten mit sehr hohem Traffic empfohlen wird. Umso mehr Variationen getestet werden müssen, umso länger dauert es, bis aussagekräftige Testergebnisse vorliegen.

Nachdem der Test durchgeführt wurde, werden die Variablen auf jeder Variation der Seite miteinander verglichen und auf Ihre Performance im Vergleich zu den anderen Seitenversionen des Tests bewertet. Daraus ergibt sich ein klares Bild darüber, welche Seitenversion die beste Performance erzielt und welche Elemente am meisten dazu beitragen. So kann es z. B. sein, dass eine Änderung an der Fußzeile fast keinen Einfluss auf die Performance der Seite hat, während sich eine Anpassung an der Größe des Anmeldeformulars sehr stark auswirkt.

Vorteile

Multivariate-Tests entfalten ihr volles Potential insbesondere dann, wenn es darum geht, die Elemente Ihrer Seite zu identifizieren, bei welchen Sie mit einem Redesign die größte Wirkung erzielen können. Dies ist besonders beim Design von Landing Pages hilfreich, da die ermittelten Daten über den Einfluss des Designs eines bestimmten Elements z. B. auch für spätere Kampagnen genutzt werden können, auch wenn der Kontext des Elements dann ein anderer ist.

Einschränkungen

Die mit Abstand größte Einschränkung beim Multivariate-Testing stellt der für diese Art von Tests notwendige Traffic dar. Da alle Versuche vollständig faktoriell sind, können zu viele sich gleichzeitig ändernde Elemente zu einer sehr großen Anzahl von möglichen und zu testenden Kombinationen führen. Selbst für eine Seite mit relativ hohem Traffic ist es schwierig, einen Test mit mehr als 25 Kombinationen in einem angemessenen Zeitraum abzuschließen.

Bei der Nutzung von Multivariate-Tests gilt es auch zu berücksichtigen, wie sich die Tests grundsätzlich in Ihren Test- und Redesign-Zyklus eingliedern. Selbst wenn Sie mit Informationen über die Auswirkungen eines bestimmten Elements ausgestattet sind, möchten Sie möglicherweise zusätzliche A/B-Testzyklen durchführen, um weitere, radikal andere Ideen zu sondieren. In manchen Fällen lohnt es sich auch einfach nicht, die zusätzliche Zeit zu investieren, die ein vollständiger Multivariate-Test erfordert, wenn mehrere gut konzipierte A/B-Tests die Aufgabe genauso gut erfüllen.

Fazit

Sie sollten aufgrund der Unterschiede zwischen A/B-Tests und Multivariate-Tests nicht glauben, dass es sich um gegensätzliche Testmethoden handelt. Sehen Sie sie stattdessen als zwei leistungsstarke Optimierungsmethoden, die sich gegenseitig ergänzen. Sie können sich sowohl für eine der beiden Methoden entscheiden als auch beide Methoden gemeinsam nutzen, um das Optimum aus Ihrer Seite herauszuholen.