Testen + Lernen 2025: 6 wichtige Erkenntnisse für Experimentier- und Digitalteams

Es ist offiziell: Test + Learn 2025 war erneut ein voller Erfolg und findet 2026 wieder statt. Dieses Jahr, am 17. Juni, tauchen wir tiefer in die Welt der KI-Agenten im Experiment ein. Elena Verna wird erneut die Keynote halten. Sichern Sie sich Ihren Platz! Zunächst ein Rückblick auf 2025: Mit führenden Experten für Experimente und digitale Optimierung aus aller Welt hielt das diesjährige virtuelle Event Test + Learn sein Versprechen: praxisnahe Erkenntnisse, die Sie schneller umsetzen können, als Sie „3, 2, 1 … Start!“ sagen können. 🚀 Genau darum ging es dieses Jahr: die heutigen Tests in die Umsätze von morgen zu verwandeln. Wir haben gesehen, wie Marken wie Virgin Media O2, Vimeo, Chase, Yelp, ClassPass und andere Tipps dazu gaben, wie man Experimentierprogramme aufbaut, die nicht nur Tests durchführen, sondern auch nachhaltiges Geschäftswachstum generieren. Für alle, die die Veranstaltung verpasst haben, ihr Wissen auffrischen möchten oder einfach nicht genug davon bekommen können, hier die sechs wichtigsten Erkenntnisse der diesjährigen Sessions: 1) ☄️ Ihre Experimentierstrategie ist veraltet … aber so gehen Sie in die Offensive (nicht nur in die Defensive) Die Anzahl der durchgeführten Experimente ist im Vergleich zu vor zwei Jahren um 55 % gestiegen. Allein im letzten Jahr wurden auf der Optimizely-Plattform beeindruckende 900 Milliarden Testimpressionen verzeichnet. Das sind ungefähr zwei Testimpressionen pro Woche für jeden Menschen auf der Erde!

Elena Verna (ja, die Wachstumsmarketing-Expertin) spricht mit Shafqat Islam, dem Präsidenten von Optimizely, über ein bahnbrechendes Framework, das wir uns alle sofort zu eigen machen: „defensives“ versus „offensives“ Testen.

Defensives Testen? Das ist, wenn Ihre Conversion-Rate sinkt und Sie hektisch versuchen, das Problem zu beheben. Offensive Analysen helfen Ihnen, zukünftige Umsatzpotenziale zu erschließen, indem sie die Erfolgsfaktoren leistungsstarker Teams aufdecken und diese Erkenntnisse weitergeben. Das Problem? Die meisten Teams verbringen über 90 % ihrer Zeit mit defensiven Analysen, was den Nutzen für Ihre Ergebnisse deutlich verringert. Elena stellte außerdem den gesamten Produktentwicklungszyklus infrage. Traditionelle Teams veröffentlichen ihre Produkte nach dem Prinzip „Ausliefern bis zur Veröffentlichung“, während experimentelle Teams ihre Produkte validieren sollten. Das bedeutet, unnötige Design-Reviews und übermäßiges Nachdenken zu vermeiden und einfach schneller zu testen.

Bildquelle: Optimizely

Wie sie es ausdrückte: „Es geht nicht darum, die richtige Entscheidung zu treffen. Es geht darum, die schnellste Entscheidung zu treffen, und der Test wird Ihnen sagen, ob es die richtige ist oder nicht.“

➡️ Elena ist am 17. Juni wieder bei Test + Learn 2026 dabei und wird ihre ehrliche Meinung zu KI in Experimenten teilen. Sichern Sie sich Ihren Platz.

2) 🛸 Die KI-Revolution ist da (und wird Menschen zu besseren Testern machen)

Laut Deborah O'Malley, Gründerin von GuessTheTest, stehen wir kurz vor einem Paradigmenwechsel im Bereich der KI-Experimente.

Deborah erläuterte alle acht Phasen des Experimentierens – von der Ideenfindung bis zur Optimierung – und erklärte, wie KI jede einzelne verbessern wird.

Die Zeiten, in denen man sich über statistische Signifikanz den Kopf zerbrach, sind vorbei.

Signifikanz? Verschwunden. Stundenlang Hypothesen manuell formulieren? Automatisiert. Nachts wach liegen und sich fragen, ob die Testimplementierung fehlerhaft ist? KI erledigt das. Die spannendste Prognose? Wir werden uns nicht mehr über mickrige Steigerungen der Konversionsrate von 1–2 % freuen. Dank KI-Experimenten, die die erfolgreichsten Varianten kontinuierlich optimieren, sprechen wir von potenziellen Verbesserungen von 15–20 % bei validen, statistisch signifikanten Stichproben. Der menschliche Faktor bleibt jedoch entscheidend. Unsere Intuition, Empathie und ethische Verantwortung werden unsere Stärken sein. Wie Deborah es ausdrückte, könnten wir uns von „Experimentierern oder CRO-Auditoren“ zu „KI-Verhaltensarchitekten“ entwickeln, die „die ethischen und emotionalen Grenzen von KI-Vorschlägen definieren“. Ihr direkter Rat? Hören Sie auf, an der Aussage „Es ist noch nicht so weit“ festzuhalten und begrüßen Sie das Kommende. „Wenn Sie optimierungsorientiert denken und bereit sind, sich anzupassen, zu lernen und zu wachsen“, wird KI Sie nicht ersetzen; Es wird dich stärken.

3) 🌠 Erwarte Misserfolge, lerne daraus: Wie Virgin Media von 50 auf 600 Experimente skalierte

Wer hätte gedacht, dass die Erziehung einer sechs Monate alten Tochter und die Leitung eines Experimentierprogramms so viel gemeinsam haben?

Doychin Sakutov von Virgin Media O2 drückte es so aus: „Alles mit ihr ist ein Experiment. Man probiert etwas aus, es funktioniert, und dann versucht man dasselbe, und es funktioniert nicht.“ Die Stichprobe ist zu klein, um Schlussfolgerungen zu ziehen! 👶

GIF-Quelle: Make a gif dot com

Die Experimentiergeschichte von Virgin Media hätte eine eigene Netflix-Serie verdient. Vor fünf Jahren? Traurige 40–50 Tests pro Jahr, für die die Finanzabteilung ihre Zustimmung verlangte (ein Graus!). Heute? Sie sind unglaublich erfolgreich: 600 Varianten im Jahr 2024 und bereits 200 allein im ersten Quartal 2025.

Ihr „Automation Intelligence“-Algorithmus (ja, Doychin lässt sich den Namen markenrechtlich schützen) für Produktempfehlungen ist das perfekte abschreckende Beispiel. Auf einer Seite funktionierte er hervorragend und erreichte die Leistung menschlicher Händler. Natürlich weiteten sie ihn auf weitere Seiten aus und … ein totaler Reinfall! Der Algorithmus konnte mit dem Beginn und Ende von Verkaufsperioden nicht umgehen und verhielt sich auf verschiedenen Geräten unterschiedlich.

Aber hier ist Doychins Erkenntnis: „Man geht nicht davon aus, gleich beim ersten Mal zu gewinnen. Man versucht es einfach und lernt jedes Mal dazu.“

4) 💫 Was nützt die Klickrate, wenn sie sich nicht in höheren Umsätzen niederschlägt?

Madison Hajeb von Tapestry (dem globalen Markenhaus hinter Coach, Kate Spade und Stuart Weitzman) hat gerade einige fantastische Erkenntnisse darüber veröffentlicht, wie Daten mit Umsatz verknüpft werden können.

Bisher konnte ihr Team zwar sagen: „Die Konversionsrate ist um zwei Prozent gestiegen“, aber nicht, welche Auswirkungen das auf das gesamte Unternehmen hatte. Mit Warehouse-native Analytics kann ihr Team nun direkt auf ihr Data Warehouse zugreifen und die Auswirkungen digitaler Experimente auf alles – von Retourenquoten bis hin zum Verhalten im Geschäft – analysieren.

Beim Testen schnellerer Versandoptionen sehen sie jetzt beispielsweise nicht nur die Auswirkungen auf die Conversion-Rate, sondern auch die Lieferkosten: „Hat diese Änderung dem Unternehmen konkret genutzt oder geschadet?“

Und das Beste daran? Manuelle SQL-Berichte gehören der Vergangenheit an. „Früher mussten wir Tests mit hoher Sichtbarkeit durchführen … die Leute wollten 24 Stunden nach dem Start wissen, wie es läuft, wir wollten sichergehen, dass die Performance nicht rapide abstürzt.“ Die Aktualisierung erfolgt nun automatisch alle 15 Minuten, sodass Madisons Team Zeit hat, Tests in stationären Geschäften und andere Innovationen zu entwickeln.

Ihr Rat für alle, die mit Warehouse-nativen Lösungen beginnen?

„Verstehen Sie die Feinheiten Ihrer Daten … aber lassen Sie sich nicht einschüchtern. Für uns war es in vielerlei Hinsicht Plug-and-Play … Wer erst denkt, dann handelt, handelt manchmal nie.“

5) 🪐 Von oberflächlichen Kennzahlen zum Geschäftserfolg: Was ClassPass und Chase UK jetzt messen

Wenn es um wirklich wichtige Kennzahlen geht, sind Nina Bayatti (ClassPass) und

Bildquelle: Optimizely

Die Entwicklung von Chase UK verlief in klar abgegrenzten Phasen: Im ersten Jahr stand die Kundengewinnung im Vordergrund, im zweiten Jahr wurde die Frage gestellt: „Führen diese Kunden die gewünschten Aktionen aus?“, und im dritten Jahr lag der Fokus darauf, „gute Geschäftsmöglichkeiten für sie zu schaffen, die zur Erreichung unserer Geschäftsziele beitragen.“

ClassPass durchlief einen ähnlichen Wandel und entwickelte sich von einem marketingorientierten Programm, das „optimale Botschaften und Bilder“ testete, hin zur Zusammenarbeit mit Produkt-, Entwicklungs-, Preis-, Bestands- und Kundenerlebnisteams. Heute nutzt das Unternehmen SQL, um „Down-Funnel-Metriken“ zu analysieren, die die Produktnutzung und die Auswirkungen auf den Umsatz nach der Anmeldung aufzeigen.

Alexander betonte die Wichtigkeit der Standardisierung: „Wir haben schließlich unsere eigene interne Statistikbibliothek erstellt … eine eigene Metrikbibliothek, die so standardisiert ist, dass wir eine einheitliche Sicht auf die richtigen Metrikdefinitionen haben.“ Warum? „Sobald man unterschiedliche Definitionen verwendet und unterschiedliche Zahlen angibt, entsteht Verwirrung.“ Nina teilte außerdem ihren Ansatz: „Wir haben uns von der Frage, wie viele Tests wir durchführen können, zu einer Vielzahl durchdachter Aufgaben entwickelt, die direkt auf die Unternehmensziele ausgerichtet sind. Und wenn dies nicht der Fall ist, fragen wir uns: Warum tun wir das überhaupt?“ 6) 🚀 10 wirkungsvolle Schritte zur Transformation Ihres Experimentierprogramms (die Sie sofort umsetzen können) Sid Arora, Leiter der Produkt-Experimente bei Yelp, präsentierte 10 wirkungsvolle Tipps, um Ihr Experimentierprogramm von statisch zu strategisch zu transformieren. Hier sind sie: Machen Sie es immer einfach Führt Experimente durch. Wenn euer Team das Testen als schwierig empfindet, wird es das nicht tun. Messt, was zählt. Stellt sicher, dass euer Team nicht nur oberflächlichen Experimentierkennzahlen hinterherjagt. Verknüpft Experimente immer mit übergeordneten Unternehmenszielen. Jeder Test sollte die Frage beantworten: „Was wollen wir erreichen?“ Beginnt mit einer Geschichte, nicht mit Statistiken. Fragt euch: „Welche Geschichte wird uns dieses Experiment erzählen?“ Schafft ein Experimentgedächtnis im Unternehmen. Dokumentiert, was funktioniert hat und was nicht. Stellt das Lernen immer in den Vordergrund. Experimente sollen nicht beweisen, dass ihr Recht habt – sie sollen euch klüger machen. Gestaltet entscheidungsorientiert. Führe Tests nur durch, wenn sie zu einer klaren und fundierten Entscheidung beitragen. Schaffe stets eine transparente und sichere Umgebung, in der Fehler erlaubt sind. Teams gehen keine Risiken ein, wenn ein Scheitern Schuldzuweisungen bedeutet. Verwandle „Ich denke“ in „Lasst uns testen“. Das beseitigt Meinungen und konzentriert sich auf Fakten. Bring Teams bei, ungeeignete Tests frühzeitig zu beenden. Wenn ein Test fehlerhaft oder unklar ist, brechen Sie ihn sofort ab.

Mit Blick auf die Zukunft prognostiziert Sid drei wesentliche Veränderungen durch KI: den Übergang von einfachen A/B-Tests zu komplexen multivariaten Tests, den Einsatz von KI als „Experimentierstratege“, um vergangene Tests nach Mustern zu durchsuchen, und die Verlagerung des Fokus von der Testgeschwindigkeit hin zu dem Team, das „am schnellsten lernt und diese Erkenntnisse im Laufe der Zeit verstärkt“.

Test + Learn 2026 ist da!

Die diesjährige Veranstaltung findet am 17. Juni statt. Zwei Stunden, fünf Sessions – jede Phase des Experimentierprozesses wird durch KI beschleunigt. Elena Verna kehrt als Keynote-Speakerin zurück, begleitet von Teams der BBC, Salesforce, Huel, ASOS und Kingfisher.

Sichern Sie sich Ihren Platz