Ett nationellt TV-bolag i toppklass

Channel 4 är en brittisk public service-tv-kanal som först lanserades 1982. Kanalen är känd för sin särpräglade programverksamhet, som ofta tänjer på gränserna och tar upp kontroversiella ämnen. Channel 4 har fått äran av att ha lanserat flera inflytelserika och banbrytande tv-program och dokumentärer.

Channel 4 är kommersiellt finansierad och ägs av Channel Four Television Corporation, ett offentligt organ som inrättats av den brittiska regeringen.
Channel 4:s popularitet sträcker sig bortom marksänd TV; TV-bolaget låter också sina tittare se sina program online genom sin kostnadsfria video-on-demand-tjänst, streama via användarnas SMART TV eller titta via en särskild mobilapp.

För att förbättra kundupplevelsen i sina olika kanaler, uppmuntra användarna att titta på mer innehåll och testa och validera experiment för att maximera annonsintäkterna, ingick Channel 4 partnerskap med Optimizely under 2017.

Bristande tydlighet leder till stor förändring

Internt går Channel 4:s team för produkthantering och experimentering en svår balansgång. Teamen måste noggrant förnya och optimera sin on-demand-plattform och sina appar för att locka och engagera användare med en budget, samtidigt som de måste se till att funktioner och ändringar som görs släpps med minimal risk och störning för både användare och reklampartners.

Som Andrew Jackson, Senior Product Manager på Channel 4, beskriver det: "Vi ville ha möjlighet att prova olika saker billigt och i slutändan minska och minimera riskerna med att lansera nya funktioner."

Innan Channel 4 använde Optimizely's Web och Feature Experimentation plattformar kunde Channel 4 sakna tydlighet när de testade nya idéer. Användartester i små grupper gav viss insikt, men de interna teamen på Channel 4 saknade förmågan att verkligen testa och validera antaganden i skala upp.

På den tiden var det också svårt att mäta effekten av enskilda funktioner och göra skillnad mellan effekten av produktförändringar och schemaändringar. Laura Shelton, Optimisation Manager på Channel 4, förklarade att "som medieföretag kan du släppa funktioner och försöka mäta effekten av dem, men användningen av våra tjänster påverkas av vilka populära program som visas vid en viss tidpunkt."

Därför valde Channel 4 Optimizelys hela experimenteringssvit, som innehåller både Web Experimentation och Feature Experimentation-produkter, för att stödja TV-bolaget med sin A/B-testning.

Bakom kulisserna av Channel 4:s strategi för Web Experimentation

Efter en smidig onboarding-process började Channel 4, med stöd av testningspartnern Good Growth, snabbt att utnyttja Optimizelys plattformar för experimentering för att testa olika hypoteser.

När de genomför tester arbetar Channel 4:s interna team i multidisciplinära "squads" som var och en äger en viss strategi. För att bestämma fokus och riktning för dessa grupper hålls workshops under en tvåveckors sprintperiod.

Data och insikter från användare, kundpaneler och konkurrensundersökningar samlas in för att forma idéer för testning. Dessa insikter används för att ta fram ett "Experiment Card", som beskriver den tekniska uppbyggnaden av experimentet.

Experimentkortet används sedan av leveransteamen för att bygga och kvalitetssäkra (QA) experiment, med Experimentering-teamets vägledning om målgruppsinriktning och segmentering. För experiment som använder Optimizelys Feature Experimentation-plattform kräver tester vanligtvis en release via en appbutik innan experimentet börjar. Annars måste alla tester i allmänhet undvika stora innehållslanseringar.

Channel 4:s partner för webbtestning, Good Growth, samarbetar med interna utvecklare för att tillhandahålla teststöd på webbplatsen. De har ett nära samarbete med Channel 4:s experimenteringsteam för att säkerställa att testerna genomförs på ett smidigt och effektivt sätt.

Channel 4 byter kundupplevelse med Optimizely

Användningsfall 1 - AutoPlay Experiment

Ett mål med Channel 4:s on-demand-plattform är att engagera sina användare och göra det så enkelt som möjligt att titta på innehåll.

Channel 4 antog att en minskning av tiden det tar för innehåll att autoplaya till nästa avsnitt skulle få tittarna att titta på mer innehåll.

Teamet använde Optimizelys Feature Experimentation-plattform för att köra ett test av funktionsvariabler som testade olika nedräkningstimerlängder, inklusive några som företaget var nervös för att vara för korta.

Testet var en fantastisk framgång, tog bort friktion mellan episoder och levererade överraskande resultat. Den optimala nedräkningstimerns längd mellan varje avsnitt var kortare än väntat, vilket visade sig vara den perfekta tiden för att engagera tittarna på bästa sätt.

Användningsfall 2 - Bild i bild-visning

Bild i bild-visning (PiP) är en funktion som gör det möjligt för användare att titta på en video i ett litet flytande fönster medan de använder andra applikationer eller surfar på webben.

Efter att ha fått återkommande användarrecensioner och feedback om bristen på PiP-visning ville produktteamet på Channel 4 införa funktionen i sin mobilapp. Det fanns dock farhågor både internt och från intressenter om att reklamavbrotten skulle bli mindre effektfulla i en mindre vy.

För att testa detta använde Channel 4 Optimizely Feature Experimentation för att köra ett test av feature flags för att spåra och övervaka när användarna minimerade skärmen och om dessa tider sammanföll med annonsavbrott. Resultaten av experimentet visade att användarna minimerade skärmen med jämna mellanrum medan de tittade på innehåll, inte bara när annonsavbrott visades.

Genom att föreslå ett experiment för att utforska effekten av PiP kunde Channel 4:s produktteam visa att funktionen förbättrade kundernas upplevelse så mycket att de tittade på mer innehåll och därför också genererade fler reklamvisningar. Genom att gå i god för kundernas upplevelse, samtidigt som man hade företagets behov i åtanke, kunde teamet utforma det experiment och den spårning som behövdes för att svara på frågor från båda sidor.

Utnyttja Optimizely för att testa och optimera funktioner på webbplatsen och i appen

Channel 4:s produkt- och experimenteringsteam noterade flera positiva fördelar med att använda Optimizelys funktioner för experimentering. Genom att använda Optimizely's Stats Engine kan Channel 4's interna team snabbt och effektivt övervaka experiment medan de är live. Laura Shelton noterade att hennes team uppskattade både enkelheten och noggrannheten i Optimizelys plattform samtidigt som de hade möjlighet att gräva djupare i resultaten och se konvergera över tid innan experimenten når statistisk signifikans.

Den ökade flexibiliteten som Channel 4 nu har för att köra komplexa experiment, spåra upplevelser och definiera målgrupper har inte gått obemärkt förbi av dem inom organisationen. Laura Shelton kommenterade att "eftersom Optimizelys webbtester är så snabba, enkla och smidiga kan vi åtminstone utforska idéer och se om det är värt att ta det vidare till de mer komplicerade områdena att experimentera med."

Shelton berättar att Channel 4 med Optimizely's plattform kan lansera funktioner som hjälper till att isolera förändringar och tilldela värde till den förändring som gjorts. Detta gör det också möjligt för Channel 4 att testa på ett mer lättviktigt sätt eftersom den isolerade funktionen kan ändras, experimenteras med och avslutas om experimentet misslyckas.

Genom att använda Optimizelys Web och Feature Experimentation produkter kan Channel 4 snabbt och effektivt köra både enkla och komplexa experiment på sina olika plattformar. Händelsefunktionen i Optimizelys Web Experimentation-produkt, som spårar de åtgärder som användarna vidtar på Channel 4: s webbplats, har gett produktteamet flexibilitet och utrymme att köra experiment när en variabel har tolkats felaktigt eller implementerats felaktigt.

När det gäller användarhantering har Channel 4:s interna team haft stor nytta av funktionen för miljöbehörigheter. Funktionen kontrollerar vilka medarbetare som har behörighet att starta och stoppa experiment i en miljö. Detta gjorde det möjligt för Channel 4:s produktteam att begränsa antalet personer som kan ändra status för experiment eller flytta dem från en miljö till en annan. Detta visade sig vara av särskild betydelse för utvecklingsteamen för full stack-experiment.

Andrew Jackson förklarade att den här funktionen hjälpte till att effektivisera och förstå experiment som pågick samtidigt, eftersom experiment tidigare hade behövt dupliceras över flera projekt.

Det har skett ett kulturskifte och en förändring av tankesättet inom organisationen när det gäller experimentering. Tidigare styrdes funktioner och releaser av analyser före och efter lansering, ibland med stöd av forskningsuppgifter för små användargrupper. Nu finns det en bredare efterfrågan från ledande befattningshavare till produkt- och marknadsföringsteam som säkerställer att hypoteser valideras och testas för att minska risken, samt bevisa påverkan på KPI:er och hitta rätt riktning för att lansera nya funktioner.

Antalet experiment som används av Channel 4 har ökat snabbt med mer än 150 A/B-testningar som lanserats och dokumenterats under det senaste året. Alla experiment dokumenteras nu i ett enda arkiv. Ett experimenteringssamhälle har byggts upp runt detta arkiv, med kommentarer och råd om experiment som uppmuntras. Detta ger experimenterarna mer feedback och därmed möjligheter att lära sig. Det ger också andra möjlighet att lära sig i periferin.

Slutsats
Genom att använda Optimizelys experimenteringsplattform och samarbeta med Good Growth för att skala upp sitt program för A/B-testning har Channel 4 insett den fulla potentialen som implementering av ett omfattande program för experimentering kan ge en organisation. Nu kan hypoteser testas och idéer kan valideras.

Framöver strävar Channel 4:s produktteam efter att finslipa plattformarnas funktioner för personalisering för att skapa skräddarsydda och anpassade upplevelser för sina användare.