A/B-Testing: So starten Sie perfekte Experimente.

31. Mai 2023

Je größer ein Unternehmen ist und je mehr Führungskräfte beteiligt sind, desto eher zögern die Mitarbeiter, zu experimentieren. Um eine Experimentierkultur zu etablieren, müssen Sie Ihren Ansatz überdenken. In diesem Artikel erfahren Sie mehr über die Wissenschaft perfekter Experimente und welche A/B-Tests Ihnen zu aussagekräftigen Ergebnissen verhelfen können.

Bei der Gestaltung digitaler Erlebnisse glauben wir oft, zu wissen, was das Beste für unsere Nutzer ist. Wir überarbeiten Websites, optimieren Benutzeroberflächen und formulieren Marketingbotschaften voller Überzeugung. Doch hier ist eine ernüchternde Erkenntnis: Nur 12 % aller Experimente sind tatsächlich erfolgreich. Diese Statistik ist nicht nur überraschend, sondern ein Weckruf. Sie offenbart ein grundlegendes Missverständnis darüber, wie Nutzer mit digitalen Produkten und Dienstleistungen interagieren. In Wahrheit versuchen wir, etwas zu verstehen, das weder rational noch logisch ist: menschliches Verhalten. Die meisten Nutzerinteraktionen werden von unbewussten Prozessen gesteuert, nicht von dem bewussten, rationalen Denken, das wir uns vorstellen. Wenn wir uns ausschließlich auf unsere Intuition oder Erfahrung verlassen, projizieren wir oft unsere eigenen Vorurteile, anstatt unsere vielfältige Nutzerbasis zu verstehen. Hier erweisen sich A/B-Tests und Experimente als unschätzbar wertvoll. Sie sind nicht nur ein Werkzeug zur Optimierung, sondern ein Fenster zum wahren Wesen des Nutzerverhaltens. Durch die Durchführung kontrollierter Experimente können wir Annahmen hinterfragen und unsere Entscheidungen auf realen Daten basieren lassen. In diesem Artikel erfahren Sie, wie Sie Annahmen infrage stellen, datenbasierte Entscheidungen treffen und eine Experimentierkultur aufbauen, die Unsicherheit akzeptiert und aus Fehlern lernt. Der Wert von Experimenten und die Rolle der Führung Der Aufbau einer Experimentierkultur ist für Unternehmen von enormem Wert. Die Harvard Business School führte eine Studie durch, in der sie den Nutzen von A/B-Tests für Startups, insbesondere im E-Commerce, untersuchte. Sie fanden heraus, dass Investoren bereit waren, 10 % mehr Geld in Unternehmen zu investieren, die experimentierten, als in solche, die dies nicht taten. Warum Experimente wichtig sind: Risikominimierung: Sie können kostspielige Fehler vermeiden, indem Sie eine Idee zunächst testen, anstatt sie zu einem vollwertigen Erlebnis, Produkt oder Feature auszubauen. Kontinuierliche Verbesserung: Durch ständige Optimierung können Sie die bereits funktionierenden Elemente Ihrer Website verbessern. Kundenorientierung: Sie können sich an den tatsächlichen Kundenpräferenzen orientieren und ihnen personalisierte Erlebnisse bieten, die sie sich wünschen. Wettbewerbsvorteil: Sie können Ihre Wettbewerber bei der Erfüllung der Marktanforderungen übertreffen. Und falls Sie sich Sorgen über negative Eingriffe der Führungsebene machen… Wenn Sie ein Team haben, sollte die Meinung der bestbezahlten Person nicht immer das Wichtigste sein. Als Führungskraft sollten Sie stattdessen Folgendes beachten:
  • Beteiligung fördern: Ermutigen Sie alle, Ideen beizusteuern und Experimente durchzuführen.
  • Fehler akzeptieren: Betrachten Sie gescheiterte Experimente als Lernchancen.
  • Mit gutem Beispiel vorangehen: Hinterfragen Sie Ihre eigenen Annahmen durch Tests.

    • Wirksame Experimente gestalten

    Viele Organisationen tappen in die Falle, zu viel zu analysieren und zu wenig zu experimentieren und nehmen aus Vorsicht nur minimale Änderungen vor. Dieser Ansatz: Dauert zu lange, um aussagekräftige Ergebnisse zu liefern Führt oft zu geringen Effekten, um signifikant zu sein Kann mit dem sich ändernden Konsumverhalten nicht Schritt halten Setzen Sie stattdessen auf mutige Experimente: Größere Änderungen vornehmen: Testen Sie umfangreiche Modifikationen Mehrere Elemente kombinieren: Testen Sie umfassende Neugestaltungen statt einzelner Anpassungen Wirkung priorisieren: Konzentrieren Sie sich auf Experimente mit dem Potenzial für signifikante Verbesserungen der Kennzahlen Tatsächlich… Aus den Erkenntnissen aus 127.000 Experimenten (siehe href="/127000-experiments/">Lessons learned from 127,000 experiments) haben wir festgestellt, dass Experimente mit größeren Änderungen und mehr als drei Varianten eine 10 % höhere Wirkung erzielten.

    Verstehen Sie den Reifegrad Ihres Programms

    Um zu verstehen, wo Ihre Organisation steht und wie Sie Ihre Experimentierreise fortsetzen können, sollten Sie das folgende Reifegradmodell für Experimente berücksichtigen:

    1. Ad-hoc-Tests

    Sporadische Tests, kein formaler Prozess, geringe Akzeptanz.

    • Herausforderungen: Inkonsistente Ergebnisse, Ressourcenmangel.
    • Nächste Schritte: Regelmäßigen Testplan erstellen, Unterstützung der Geschäftsleitung sichern.

    2. Strukturierte Experimente

    Engagiertes Testteam, definierte Prozesse, regelmäßige Tests.

    • Herausforderungen: Informationssilos, eingeschränkte funktionsübergreifende Zusammenarbeit.
    • Nächste Schritte: Zentrale Wissensdatenbank implementieren, teamübergreifende Experimente fördern.

    3. Datengetriebene Kultur

    Tests sind in alle wichtigen Entscheidungen integriert, funktionsübergreifende Zusammenarbeit

    • Herausforderungen: Geschwindigkeit und Gründlichkeit in Einklang bringen, Experimente priorisieren
    • Nächste Schritte: Fortschrittliche Priorisierungsframeworks entwickeln, in eine schnellere Testinfrastruktur investieren

    4. Prädiktive Optimierung

    KI-gestütztes Testen, automatisierte Personalisierung, prädiktive Modellierung

    • Herausforderungen:Ethische Überlegungen, Aufrechterhaltung der menschlichen Aufsicht
    • Nächste Schritte: Ethische Richtlinien festlegen, KI-Modelle kontinuierlich überprüfen und verfeinern

    Die Wissenschaft eines guten Experiments

    Angenommen, Ihr Unternehmen beschließt, neue Filter als neue Funktion auf den Produktseiten einzuführen. Ein Entwickler erstellt den Code für einen Filter und bereitet dessen Implementierung am Seitenanfang vor. Es gibt nur eine einzige Version dieses Filters. Wenn dieser fehlschlägt, wissen wir nicht, ob die Besucher keine Filter wünschen oder ob die Benutzerfreundlichkeit des Filters einfach schlecht ist.

    Daher ist es ideal, wenn Sie einen Filter anbieten möchten, aber verschiedene Versionen davon bereitstellen. Sie können es oben auf der Seite, links und an anderen Stellen ausprobieren. Sie können es fixieren oder frei positionieren und sogar die Reihenfolge der Filter ändern.

    Der Vorteil dieses Experiments ist, dass – wenn Sie diesen Test durchgeführt haben und beispielsweise alle Varianten Ihres Filters verlieren – Sie nun eindeutig wissen, dass Filter für Ihre Kunden nicht notwendig sind. Es ist Zeit, sich auf etwas anderes zu konzentrieren. Oder falls eine der getesteten Filtervarianten gewinnt, implementieren Sie diese umgehend. Die alleinige Verwendung eines Filters ohne Alternativen kann zu Fehlinterpretationen der Ergebnisse führen.

    Um den größtmöglichen Nutzen aus multivariaten Tests zu ziehen, gehen Sie strukturiert und systematisch vor. Dies beinhaltet:

    1. Hypothesen definieren:Bevor Sie mit dem Experimentieren beginnen, sollten Sie sich darüber im Klaren sein, was Sie testen, welche Zielgruppe Sie ansprechen und was Sie erreichen möchten. Definieren Sie in Ihrer Vorlage eine Hypothese – eine Aussage, die beschreibt, was Sie als Ergebnis Ihres Experiments erwarten.
    2. Experimentplanung:Sobald Sie eine Hypothese aufgestellt haben, müssen Sie ein Experiment entwerfen, das diese überprüft. Dazu gehört die Identifizierung der zu testenden Variablen,die Berechnung der Stichprobengröße und die Festlegung der Messmethoden.
    3. Experimentdurchführung:Nachdem das Experiment entworfen ist, kann es durchgeführt werden. Dies beinhaltet die Umsetzung der zu testenden Änderungen und die Erfassung quantitativer Daten.
    4. Ergebnisanalyse:Nach Abschluss des Experiments werden die Ergebnisse des A/B-Tests analysiert. Dabei geht es darum, die gesammelten Daten auszuwerten und zu prüfen, ob Ihre Testhypothese bestätigt wurde oder nicht.
    5. Iterativ lernen:Nutzen Sie die Erkenntnisse aus dem Experiment, um Ihren Ansatz zu optimieren. Das bedeutet, die Daten für fundierte Entscheidungen über das weitere Vorgehen zu verwenden und kontinuierlich zu experimentieren und daraus zu lernen.

    Ideen für A/B-Tests

    Hier sind einige Beispiele für Ideen, die Sie testen können.

    • E-Commerce: Testen Sie Layouts, Bildgrößen und die Platzierung des „In den Warenkorb“-Buttons. Experimentieren Sie mit einseitigen und mehrstufigen Checkout-Prozessen. Beispielsweise konnte Quip die Bestellkonversionsrate durch Tests auf den Produktseiten um 4,7 % steigern. Finanzen: Optimieren Sie Risikobewertungsmodelle und testen Sie Segmentierungsstrategien für Produktempfehlungen. Die RAKBANK konnte beispielsweise die Website-Interaktion um 37 % verbessern. Medien: Testen Sie Empfehlungsalgorithmen. Experimentieren Sie mit Paywall-Triggern und Messaging. Beispielsweise hat Channel 4 innerhalb eines Jahres über 150 wirkungsvolle Tests durchgeführt. Und falls Sie weitere Ideen benötigen, haben wir eine Liste mit 101 Ideen für A/B-Tests zusammengestellt, die Ihnen hilft, Ihre digitalen Erlebnisse umfassend zu optimieren. So starten Sie Ihre Experimentierreise Daten sind entscheidend, um die Wirkung Ihrer Experimente zu messen und datenbasierte Entscheidungen zu treffen. Es ist wichtig, die Kennzahlen, mit denen Sie den Erfolg bewerten, genau zu verstehen und alles zu messen, was möglich ist, um den größtmöglichen Nutzen aus Ihren Experimenten zu ziehen. Zunächst sehen wir uns an, was Sie vermeiden sollten. Wenn die meisten Leute mit Experimenten beginnen, gehen sie davon aus, dass es nur um eine kleine Anpassung geht. Wenn wir beispielsweise die Farbe von Rot auf Blau ändern, regt das psychologisch dazu an, dass mehr Besucher kaufen und die Conversion-Rate steigt. Der Vorteil eines Farbtests für Schaltflächen ist: Wenn er erfolgreich ist, verdienen Sie Geld, und wenn er erfolglos ist, verlieren Sie vielleicht 15 Minuten Ihrer Zeit. Er ist sehr einfach durchzuführen. Um jedoch einen echten Einfluss auf das Nutzerverhalten zu haben, müssen Sie etwas Grundlegendes ändern, das die Nutzererfahrung beeinflusst und ein signifikantes Ergebnis liefert. In den meisten Unternehmen spielen Experimente bei Entscheidungen oft nur eine untergeordnete Rolle. Jemand wählt dann lediglich die Lackierung für ein bereits vollständig designtes und montiertes Auto aus. Oder es wird von der Geschäftsleitung initiiert. VPs und Führungskräfte der C-Ebene treffen alle Entscheidungen, und ein Team vor Ort muss lediglich deren Vorgaben umsetzen, hat aber gleichzeitig die Freiheit zu experimentieren.

    Erfolgreiches Experimentieren vereint all diese Aspekte. Es schafft Raum, in dem jeder das Recht hat, Anpassungen vorzunehmen. Die Mitarbeiter haben das Recht, an der Gestaltung des Systems mitzuwirken und sind Partner der Führungskräfte im Entscheidungsprozess. Führungskräfte bringen großartige Ideen ein und dürfen diese weiterentwickeln. Sie sind nicht nur dazu da, die Ideen anderer auszuführen und zu bewerten.

    Folgen Sie diesen Schritten für den Einstieg:

    • Klein anfangen: Versuchen Sie nicht, alles auf einmal zu ändern. Beginnen Sie stattdessen mit kleinen Experimenten, die Ihnen helfen, in Echtzeit zu lernen und Dynamik aufzubauen.
    • Den Kunden in den Mittelpunkt stellen: Die Experimentierfunktion sollte darauf ausgerichtet sein, dem Kunden einen Mehrwert zu bieten. Stellen Sie sicher, dass Sie Ideen testen, die einen echten Einfluss auf die Nutzererfahrung haben.
    • Alles messen: Um ausreichend Daten und Nutzen aus Ihren Experimenten zu gewinnen, ist es wichtig, alles Messbare zu erfassen. Das bedeutet, nicht nur die Ergebnisse, sondern auch den Prozess und die Basiskennzahlen zu verfolgen, anhand derer Sie den Erfolg bewerten.
    • Eine Kultur des Experimentierens schaffen: Schließlich ist es wichtig, ein A/B-Testing-Tool zu haben, das Experimentierfreude und Innovation fördert. Das bedeutet, den Nutzern die Freiheit zu geben, Neues auszuprobieren, Risikobereitschaft zu belohnen und Erfolge (und Misserfolge) gemeinsam zu feiern.

    Zusammenfassend…

    Ein Testprogramm ist ein entscheidendes Werkzeug für die digitale Transformation und die Conversion-Rate-Optimierung (CRO). Durch den Aufbau einer Experimentierkultur können Unternehmen herausfinden, was funktioniert und was nicht, und dieses Wissen nutzen, um Veränderungen voranzutreiben und ihren Kunden ein erstklassiges Nutzererlebnis zu bieten. Eine detaillierte Anleitung für digitale Experimente finden Sie im „Big Book of Experimentation“. Es enthält über 40 branchenspezifische Anwendungsfälle von Unternehmen, die erfolgreiche Experimente durchgeführt haben.