Channel 4 A/B-testar sig till primetime-framgång med Optimizely

Channel 4 är en ledande brittisk public service-kanal som lanserades 1982. Kanalen är känd för sin distinkta programmering, som ofta utmanar gränser och tar sig an kontroversiella ämnen. Channel 4 har fått erkännande för att ha lanserat flera inflytelserika och banbrytande tv-program och dokumentärer.

Channel 4 är kommersiellt finansierat och ägs av Channel Four Television Corporation, ett offentligt organ som inrättats av den brittiska regeringen.
Channel 4:s popularitet sträcker sig bortom marksänd tv; tv-kanalen låter även sina tittare se program online via sin kostnadsfria video on-demand-tjänst, streama via användarnas SMART TV eller titta via en dedikerad mobilapp. 

För att förbättra kundupplevelsen över sina flera kanaler, uppmuntra användare att titta på mer innehåll samt testa och validera experiment för att maximera annonsintäkter, inledde Channel 4 ett samarbete med Optimizely 2017.   

Brist på tydlighet leder till storskalig förändring

Internt balanserar Channel 4:s produkthanterings- och experimenteringsteam på en svår lina. Teamen måste noggrant innovera och optimera sin on-demand-plattform och sina appar för att attrahera och engagera användare med begränsad budget, samtidigt som de säkerställer att funktioner och förändringar lanseras med minimal risk och störning för både användare och annonspartners.

Som Andrew Jackson, Senior Product Manager på Channel 4, beskrev: "vi ville ha möjligheten att kunna prova olika saker kostnadseffektivt och i slutändan minska och minimera riskerna med att lansera nya funktioner." 

Innan Channel 4 började använda Optimizelys Web och Feature Experimentation-plattformar kunde det saknas tydlighet vid testning av nya idéer. Även om användartester i små grupper gav viss insikt, saknade de interna teamen på Channel 4 möjligheten att verkligen testa och validera antaganden i stor skala. 

Det var också vid den tiden svårt att mäta effekten av enskilda funktioner och skilja effekten av produktförändringar från schemaförändringar. Laura Shelton, Optimisation Manager på Channel 4, förklarade att "som medieföretag kan man lansera funktioner och försöka mäta deras påverkan, men användningen av våra tjänster påverkas av vilka populära program som sänds vid en given tidpunkt." 

Därför valdes Optimizelys fullständiga experimenteringssvit, som innehåller både Web Experimentation och Feature Experimentation, av Channel 4 för att stödja tv-kanalen i dess A/B-testningsresa.

Efter en smidig onboardingprocess började Channel 4, med stöd av testpartnern Good Growth, snabbt använda Optimizelys experimenteringsplattformar för att testa olika hypoteser.

Vid genomförande av tester arbetar Channel 4:s interna team i tvärfunktionella "squads" som var och en äger en viss strategi. För att bestämma fokus och riktning för dessa squads hålls workshops under en tvåveckors sprintperiod. 

Data och insikter från användare, kundpaneler och konkurrensanalys samlas in för att forma idéer för testning. Dessa insikter används för att ta fram ett "Experiment Card", som beskriver experimentets tekniska uppbyggnad. 

Experiment Card används sedan av leveransteamen för att bygga och kvalitetssäkra (QA) experiment, med experimenteringsteamets vägledning kring målgruppsanpassning och segmentering. För experiment som använder Optimizelys Feature Experimentation-plattform krävs vanligtvis en release via en appbutik innan experimentet startar. I övrigt bör alla tester generellt undvika stora innehållslanseringar.

Channel 4:s webbtestpartner, Good Growth, samarbetar med interna utvecklare för att ge teststöd på webbplatsen. De arbetar nära Channel 4:s experimenteringsteam för att säkerställa att tester genomförs smidigt och med stor effekt.

Channel 4 förändrar kundupplevelsen med Optimizely

Användningsfall 1 – AutoPlay-experiment

Ett mål med Channel 4:s on-demand-plattform är att engagera användare och göra det så enkelt som möjligt att titta på innehåll.

Channel 4 ställde upp hypotesen att en kortare tid innan innehållet automatiskt spelar nästa avsnitt skulle få tittare att titta på mer innehåll.

Teamet använde Optimizelys Feature Experimentation-plattform för att köra ett feature variable-test som prövade olika nedräkningstidslängder, inklusive sådana som verksamheten var orolig kunde vara för korta.

Testet var en fantastisk framgång som eliminerade friktion mellan avsnitt och levererade överraskande resultat. Den optimala nedräkningstiden mellan varje avsnitt var kortare än förväntat och visade sig vara den idealiska tiden för att bäst engagera tittarna.

Användningsfall 2 – Bild-i-bild-visning

Bild-i-bild (PiP) är en funktion som gör det möjligt för användare att titta på video i ett litet flytande fönster medan de använder andra applikationer eller surfar på webben.

Efter att ha fått konsekvent feedback och användarrecensioner om avsaknaden av PiP-visning ville Channel 4:s produktteam integrera funktionen i sin mobilapp. Det fanns dock oro både internt och bland intressenter att reklampauser skulle bli mindre effektiva i en mindre visningsyta.

För att testa detta använde Channel 4 Optimizelys Feature Experimentation för att köra ett feature flag-test som spårade och övervakade när användare minimerade skärmen och om dessa tidpunkter sammanföll med reklampauser. Resultaten av experimentet visade att användare minimerade skärmen vid konsekventa intervall under tittandet, inte bara under reklampauserna.

Genom att föreslå ett experiment för att utforska effekten av PiP kunde Channel 4:s produktteam visa att funktionen förbättrade kundupplevelsen så mycket att tittarna tittade på mer innehåll och därmed också genererade fler annonsvisningar. Genom att värna om kundernas upplevelse, samtidigt som affärsbehoven hölls i åtanke, kunde teamet utforma experimentet och den spårning som behövdes för att besvara frågor från båda sidor.

Channel 4:s produkt- och experimenteringsteam noterade flera positiva fördelar med att använda Optimizelys experimenteringsfunktioner. Genom att använda Optimizelys Stats Engine kan Channel 4:s interna team snabbt och effektivt övervaka experiment medan de pågår. Laura Shelton noterade att hennes team uppskattade både enkelheten och precisionen i Optimizelys plattform, samtidigt som de hade möjligheten att gräva djupare i resultaten och se konvergens över tid innan experimenten når statistisk signifikans. 

Den ökade flexibiliteten som Channel 4 nu har för att köra komplexa experiment, spåra händelser och definiera målgrupper har inte gått obemärkt förbi inom organisationen. Laura Shelton kommenterade att "eftersom Optimizelys webbtestning är så snabb, enkel och agil kan vi åtminstone utforska idéer och se om det sedan är värt att ta det vidare till mer komplicerade områden att experimentera på." 

Shelton delade med sig av att Optimizelys plattform gjorde det möjligt för Channel 4 att lansera funktioner som hjälper till att isolera förändringar och tilldela värde till den förändring som gjordes. Detta gör det också möjligt för Channel 4 att testa på ett mer lättviktigt sätt, eftersom den isolerade funktionen kan ändras, experimenteras med och avslutas om experimentet misslyckas.

Genom att använda Optimizelys Web och Feature Experimentation-produkter kan Channel 4 snabbt och effektivt köra både enkla och komplexa experiment på sina olika plattformar. Events-funktionen i Optimizelys Web Experimentation-produkt, som spårar de åtgärder som användare utför på Channel 4:s webbplats, har gett produktteamet flexibilitet och utrymme att köra experiment när en variabel har feltolkats eller implementerats felaktigt.

Ur ett användarhanteringsperspektiv fann Channel 4:s interna team värde i funktionen för miljöbehörigheter. Funktionen styr vilka medarbetare som har behörighet att starta och stoppa experiment i en miljö. Detta gjorde det möjligt för Channel 4:s produktteam att begränsa antalet personer som kan ändra status på experiment eller flytta dem från en miljö till en annan. Detta visade sig vara särskilt viktigt för utvecklingsteamen vid full stack-experiment.

Andrew Jackson förklarade att denna funktion hjälpte till att effektivisera och förstå experiment som pågick parallellt, eftersom experiment tidigare hade behövt dupliceras över flera projekt.

Det har skett en kulturförändring och ett förändrat tankesätt inom organisationen gällande experimentering. Tidigare styrdes funktioner och lanseringar av för/efter-analyser, ibland med stöd av forskning i mindre användargrupper. Nu finns det ett bredare krav från ledningen till produkt- och marknadsteam att hypoteser valideras och testas för att minska risker, samt att bevisa påverkan på KPI:er och hitta rätt riktning för att lansera nya funktioner.

Antalet experiment som Channel 4 genomfört har vuxit snabbt, med mer än 150 A/B-tester lanserade och dokumenterade under det senaste året. Alla experiment dokumenteras nu i ett enda arkiv. En experimenteringscommunity har byggts upp kring detta arkiv, där kommentarer och råd om experiment uppmuntras. Detta ger experimenterare mer feedback och därmed fler möjligheter att lära sig. Det ger även andra möjligheten att lära sig i periferin.

Slutsats
Genom att använda Optimizelys experimenteringsplattform och samarbeta med Good Growth för att skala sitt A/B-testningsprogram har Channel 4 insett den fulla potentialen som ett omfattande experimenteringsprogram kan tillföra en organisation. Nu kan hypoteser testas och idéer valideras.

Framåt siktar Channel 4:s produktteam på att förfina sina plattformars personaliseringsförmågor för att skapa skräddarsydda och anpassade upplevelser för sina användare.