Ein führender nationaler Fernsehsender

Channel 4 ist ein erster britischer öffentlich-rechtlicher Fernsehsender, der 1982 ins Leben gerufen wurde. Der Sender ist bekannt für sein unverwechselbares Programm, das oft Grenzen überschreitet und kontroverse Themen aufgreift. Channel 4 ist für den Start mehrerer einflussreicher und bahnbrechender Fernsehsendungen und Dokumentationen bekannt.

Channel 4 wird kommerziell finanziert und gehört der Channel Four Television Corporation, einer von der britischen Regierung gegründeten öffentlichen Einrichtung.
Die Popularität von Channel 4 geht über das terrestrische Fernsehen hinaus. Der Fernsehsender bietet seinen Zuschauern auch die Möglichkeit, seine Programme online über seinen kostenlosen Video-on-Demand-Service, über SMART TV oder über eine spezielle Mobile App anzusehen.

Um das Erlebnis für die Kunden auf seinen verschiedenen Kanälen zu verbessern, die Nutzer zu ermutigen, mehr Inhalte zu sehen und Experimente zu testen und zu validieren, um die Werbeeinnahmen zu maximieren, ging Channel 4 2017 eine Partnerschaft mit Optimizely ein.

Mangelnde Klarheit führt zu einer einschneidenden Veränderung

Intern bewegen sich die Teams für Produktmanagement und Experimentieren bei Channel 4 auf einem schwierigen Drahtseilakt. Die Teams müssen die On-Demand-Plattform und die Apps sorgfältig innovieren und optimieren, um Nutzer mit einem begrenzten Budget anzusprechen und zu binden. Gleichzeitig müssen sie sicherstellen, dass neue Funktionen und Änderungen mit minimalem Risiko und minimaler Unterbrechung sowohl für die Nutzer als auch für die Werbepartner veröffentlicht werden.

Andrew Jackson, Senior Product Manager bei Channel 4, erläutert: "Wir wollten die Möglichkeit haben, verschiedene Dinge kostengünstig auszuprobieren und letztlich die Risiken bei der Einführung neuer Funktionen zu reduzieren und zu minimieren."

Vor der Nutzung der Optimizely Web- und Feature Experimentation-Plattformen fehlte es Channel 4 an Klarheit beim Experimentieren mit neuen Ideen. Zwar lieferten Benutzertests in kleinen Gruppen einen gewissen Einblick, aber den internen Teams von Channel 4 fehlte die Möglichkeit, Annahmen wirklich in großem Umfang zu testen und zu validieren.

Außerdem war es zu dieser Zeit schwierig, die Auswirkungen einzelner Funktionen zu messen und die Auswirkungen von Produktänderungen von denen des Zeitplans zu unterscheiden. Laura Shelton, Optimisation Manager bei Channel 4, erklärte: "Als Medienunternehmen kann man Features herausbringen und versuchen, deren Wirkung zu messen, aber die Nutzung unserer Dienste wird davon beeinflusst, welche beliebten Sendungen gerade laufen."

Daher entschied sich Channel 4 für die komplette Optimizely Experimentier-Suite, die sowohl Optimizely Web Experimentation- als auch Optimizely Feature Experimentation-Produkte enthält, um den Fernsehsender bei seinem A/B-Testing zu unterstützen.

Hinter den Kulissen der Strategie für das Web Experimentieren von Channel 4

Nach einem reibungslosen Onboarding-Prozess begann Channel 4 mit Unterstützung des Testpartners Good Growth schnell damit, die Experimentierplattformen von Optimizely zu nutzen, um verschiedene Hypothesen zu testen.

Bei der Durchführung von Tests arbeiten die internen Teams von Channel 4 in multidisziplinären 'Squads', die jeweils für eine bestimmte Strategie zuständig sind. Um den Fokus und die Richtung dieser Teams zu bestimmen, werden Workshops über einen Zeitraum von zwei Wochen abgehalten.

Daten und Erkenntnisse von Nutzern, Kundenpanels und Wettbewerbsforschung werden gesammelt, um Ideen zu entwickeln und zu testen. Anhand dieser Erkenntnisse wird eine 'Experiment Card' erstellt, die den technischen Aufbau des Experiments beschreibt.

Die Experiment Card wird dann von den Lieferteams zum Aufbau und zur Qualitätssicherung (QA) von Experimenten verwendet, wobei das Experimentier-Team das Targeting und die Segmentierung anleitet. Bei Experimenten, die die Feature Experimentation-Plattform von Optimizely nutzen, müssen die Experimente in der Regel über einen App-Store veröffentlicht werden, bevor das Experiment beginnt. Ansonsten müssen alle Tests im Allgemeinen große Inhaltseinführungen vermeiden.

Der Web-Testing-Partner von Channel 4, Good Growth, arbeitet mit internen Entwicklern zusammen, um die Tests auf der Website zu unterstützen. Sie arbeiten eng mit dem Experimentieren-Team von Channel 4 zusammen, um sicherzustellen, dass die Tests reibungslos und wirkungsvoll durchgeführt werden.

Channel 4 wechselt das Kundenerlebnis mit Optimizely

Anwendungsfall 1 - AutoPlay Experiment

Ein Ziel der On-Demand-Plattform von Channel 4 ist es, die Nutzer zu binden und ihnen das Anschauen von Inhalten so einfach wie möglich zu machen.

Channel 4 stellte die Hypothese auf, dass eine Verringerung der Zeit, die für die automatische Wiedergabe der nächsten Episode benötigt wird, die Zuschauer dazu bringen würde, sich mehr Inhalte anzusehen.

Das Team nutzte die Optimizely Feature Experimentation Plattform, um einen variablen Feature-Test durchzuführen, der verschiedene Countdown-Timer-Längen ausprobierte, darunter auch solche, bei denen das Unternehmen befürchtete, sie könnten zu kurz sein.

Der Test war ein fantastischer Erfolg, denn er beseitigte die Reibung zwischen den Episoden und lieferte überraschende Ergebnisse. Die optimale Länge des Countdown-Timers zwischen den einzelnen Episoden war kürzer als erwartet und erwies sich als der ideale Zeitpunkt, um die Zuschauer zu fesseln.

Anwendungsfall 2 - Bild-im-Bild-Betrachtung

Picture in Picture (PiP) ist eine Funktion, mit der Benutzer ein Video in einem kleinen schwebenden Fenster ansehen können, während sie andere Anwendungen nutzen oder im Internet surfen.

Nachdem das Produktteam von Channel 4 immer wieder Rückmeldungen über das Fehlen der PiP-Ansicht erhalten hatte, wollte es diese Funktion in seine Mobile App einbauen. Allerdings gab es sowohl intern als auch bei den Interessenvertretern Bedenken, dass die Werbeunterbrechungen in einem kleineren Fenster weniger wirkungsvoll wären.

Um dies zu testen, führte Channel 4 mit Optimizely Feature Experimentation einen Feature Flag-Test durch, um zu verfolgen, wann die Nutzer den Bildschirm verkleinern und ob diese Zeiten mit Werbeunterbrechungen zusammenfallen. Die Ergebnisse des Experiments zeigten, dass die Nutzer den Bildschirm in regelmäßigen Abständen minimierten, während sie Inhalte ansahen, und nicht nur, wenn Werbeunterbrechungen gezeigt wurden.

Indem sie ein Experiment vorschlugen, um die Auswirkungen von PiP zu erforschen, konnte das Produktteam von Channel 4 zeigen, dass die Funktion das Erlebnis der Kunden so sehr verbesserte, dass sie mehr Inhalte ansahen und somit auch mehr Werbeeinblendungen generierten. Indem das Team für die Erlebnisse der Kunden bürgte und gleichzeitig die geschäftlichen Anforderungen im Auge behielt, konnte es das Experiment und die Nachverfolgung so gestalten, dass beide Seiten ihre Fragen beantworten konnten.

Einsatz von Optimizely zum Testen und Optimieren von Website- und App-Funktionen

Die Produkt- und Experimentierteams von Channel 4 konnten mehrere positive Effekte aus der Nutzung der Funktionen von Optimizely für das Experimentieren ziehen. Durch den Einsatz der Stats Engine von Optimizely können die internen Teams von Channel 4 Experimente schnell und effizient überwachen, während sie live sind. Laura Shelton merkte an, dass ihr Team sowohl die Einfachheit als auch die Genauigkeit der Optimizely-Plattform schätzt und gleichzeitig die Möglichkeit hat, tiefer in die Ergebnisse einzudringen und die Konvergenz über die Zeit zu beobachten, bevor die Experimente statistische Signifikanz erreichen.

Die größere Flexibilität, die Channel 4 nun bei der Durchführung komplexer Experimente, der Verfolgung von Ereignissen und der Definition von Zielgruppen hat, ist den Mitarbeitern des Unternehmens nicht verborgen geblieben. Laura Shelton kommentierte: "Weil das Web-Testing von Optimizely so schnell, einfach und flexibel ist, können wir zumindest Ideen erforschen und sehen, ob es sich lohnt, damit in komplizierteren Bereichen zu experimentieren."

Shelton teilte mit, dass die Plattform von Optimizely es Channel 4 ermöglicht, Funktionen einzuführen, die dabei helfen, Änderungen zu isolieren und der vorgenommenen Änderung einen Wert zuzuweisen. Dadurch kann Channel 4 auch leichtere Tests durchführen, da die isolierte Funktion geändert, experimentiert und bei einem Fehlschlag des Experiments beendet werden kann.

Die Nutzung der Optimizely-Produkte für Web- und Feature Experimentation ermöglicht es Channel 4, sowohl einfache als auch komplexe Experimente auf seinen verschiedenen Plattformen schnell und effektiv durchzuführen. Die Funktion Events in Optimizelys Web Experimentation, die die Aktionen der Benutzer auf der Website von Channel 4 verfolgt, hat dem Produktteam Flexibilität und Spielraum gegeben, um Experimente durchzuführen, wenn eine Variable falsch interpretiert oder falsch implementiert wurde.

Was die Benutzerverwaltung betrifft, so haben die internen Teams von Channel 4 die Funktion für Umgebungsberechtigungen zu schätzen gelernt. Die Funktion steuert, welche Mitarbeiter die Berechtigung haben, Experimente in einer Umgebung zu starten und zu beenden. Dadurch konnte das Produktteam von Channel 4 die Anzahl der Personen begrenzen, die den Status von Experimenten ändern oder sie von einer Umgebung in eine andere verschieben können. Dies erwies sich als besonders wichtig für die Entwicklungsteams bei Full-Stack-Experimenten.

Andrew Jackson erklärte, dass diese Funktion dazu beitrug, gleichzeitig stattfindende Experimente zu rationalisieren und zu verstehen, da Experimente zuvor über mehrere Projekte hinweg dupliziert werden mussten.

Innerhalb des Unternehmens hat sich ein Kulturwandel und ein Umdenken in Richtung Experimentieren vollzogen. Früher wurden die Funktionen und Versionen durch Vor- und Nachanalysen gesteuert, manchmal unterstützt durch kleine Forschungsaufgaben mit Benutzergruppen. Jetzt gibt es eine breitere Nachfrage von der Unternehmensleitung an die Produkt- und Marketingteams, die sicherstellt, dass Hypothesen validiert und getestet werden, um Risiken zu mindern, die Auswirkungen auf KPIs zu beweisen und die richtige Richtung für die Einführung neuer Funktionen zu finden.

Die Zahl der von Channel 4 durchgeführten Experimente ist mit mehr als 150 A/B-Tests, die im letzten Jahr gestartet und dokumentiert wurden, rapide gestiegen. Alle Experimente werden jetzt in einem einzigen Repository dokumentiert. Um dieses Repository herum wurde eine Community zum Experimentieren aufgebaut, die Kommentare und Ratschläge zu Experimenten anbietet. Dadurch erhalten die Experimentierer mehr Feedback und haben die Möglichkeit, zu lernen. Es gibt auch anderen die Möglichkeit, an der Peripherie zu lernen.

Fazit
Durch die Nutzung der Experimentierplattform von Optimizely und die Partnerschaft mit Good Growth zur Skalierung ihres A/B-Testing-Programms hat Channel 4 das volle Potenzial ausgeschöpft, das die Implementierung eines umfassenden Programms zum Experimentieren für ein Unternehmen bedeuten kann. Jetzt können Hypothesen getestet und Ideen validiert werden.

In Zukunft möchte das Produktteam von Channel 4 die Funktionen zur Personalisierung seiner Plattformen weiter verbessern, um maßgeschneiderte und individuelle Erlebnisse für seine Nutzer zu schaffen.