Channel 4 A/B-tester seg til suksess i beste sendetid med Optimizely

Channel 4 er en ledende britisk allmennkringkaster som ble lansert i 1982. Kanalen er kjent for sitt særegne programtilbud, som ofte utfordrer grenser og tar opp kontroversielle temaer. Channel 4 har fått æren av å ha lansert flere innflytelsesrike og banebrytende TV-programmer og dokumentarer.

Channel 4 er kommersielt finansiert og eies av Channel Four Television Corporation, et offentlig organ opprettet av den britiske regjeringen.
Channel 4s popularitet strekker seg utover bakkenett-TV; kringkasteren lar også seerne se programmer på nett gjennom sin gratis strømmetjeneste, via brukernes SMART-TV eller gjennom en dedikert mobilapp. 

For å forbedre kundeopplevelsen på tvers av sine mange kanaler, oppmuntre brukere til å se mer innhold og teste og validere eksperimenter for å maksimere annonseinntektene, inngikk Channel 4 et samarbeid med Optimizely i 2017.   

Mangel på klarhet fører til storslått endring

Internt balanserer Channel 4s produktstyrings- og eksperimenteringsteam på en vanskelig line. Teamene må nøye innovere og optimalisere strømmeplattformen og appene for å tiltrekke og engasjere brukere innenfor et budsjett, samtidig som de sikrer at funksjoner og endringer lanseres med minimal risiko og forstyrrelse for både brukere og annonsepartnere.

Som Andrew Jackson, Senior Product Manager hos Channel 4, forklarte: «Vi ønsket muligheten til å prøve ulike ting på en kostnadseffektiv måte, og til syvende og sist redusere og minimere risikoen ved å lansere nye funksjoner.» 

Før Channel 4 tok i bruk Optimizelys Web og Feature Experimentation-plattformer, manglet de ofte klarhet når de testet nye ideer. Selv om brukertesting i små grupper ga noe innsikt, manglet de interne teamene hos Channel 4 evnen til å virkelig teste og validere antakelser i stor skala. 

Det var også vanskelig på den tiden å måle effekten av individuelle funksjoner og skille effekten av produktendringer fra programendringer. Laura Shelton, Optimisation Manager hos Channel 4, forklarte at «som et medieselskap kan du lansere funksjoner og forsøke å måle effekten av dem, men bruken av tjenestene våre påvirkes av hvilke populære programmer som sendes til enhver tid.» 

Derfor valgte Channel 4 Optimizelys komplette eksperimenteringspakke, som inneholder både Web Experimentation og Feature Experimentation, for å støtte kringkasteren på sin A/B-testingsreise.

Etter en smidig onboardingprosess begynte Channel 4, med støtte fra testpartneren Good Growth, raskt å utnytte Optimizelys eksperimenteringsplattformer for å teste ulike hypoteser.

Når Channel 4 gjennomfører tester, jobber de interne teamene i tverrfaglige «squads» som hver eier en bestemt strategi. For å bestemme fokus og retning for disse gruppene, holdes workshops over en to-ukers sprintperiode. 

Data og innsikt fra brukere, kundepaneler og konkurranseanalyser samles inn for å forme ideer til testing. Denne innsikten brukes til å produsere et «Experiment Card», som beskriver den tekniske oppbyggingen av eksperimentet. 

Experiment Card-et brukes deretter av leveringsteamene til å bygge og kvalitetssikre (QA) eksperimenter, med eksperimenteringsteamets veiledning om målretting og segmentering. For eksperimenter som bruker Optimizelys Feature Experimentation-plattform, krever tester vanligvis en lansering via en appbutikk før eksperimentet begynner. Ellers må alle tester generelt unngå store innholdslanseringer.

Channel 4s webtestpartner, Good Growth, samarbeider med interne utviklere for å gi teststøtte på nettstedet. De jobber tett med Channel 4s eksperimenteringsteam for å sikre at tester gjennomføres på en smidig og virkningsfull måte.

Channel 4 forbedrer kundeopplevelsen med Optimizely

Brukstilfelle 1 – AutoPlay-eksperiment

Et mål for Channel 4s strømmeplattform er å engasjere brukerne og gjøre det så enkelt som mulig å se innhold.

Channel 4 antok at å redusere tiden før innhold automatisk spilles videre til neste episode, ville få seerne til å se mer innhold.

Teamet brukte Optimizelys Feature Experimentation-plattform til å kjøre en funksjonsvariabeltest som prøvde ut ulike nedtellingstidslengder, inkludert noen som organisasjonen fryktet kunne være for korte.

Testen var en fantastisk suksess, fjernet friksjon mellom episoder og leverte overraskende resultater. Den optimale nedtellingstiden mellom hver episode var kortere enn forventet, og viste seg å være den ideelle tiden for å engasjere seerne best.

Brukstilfelle 2 – Bilde-i-bilde-visning

Bilde-i-bilde (PiP)-visning er en funksjon som lar brukere se en video i et lite flytende vindu mens de bruker andre applikasjoner eller surfer på nettet.

Etter å ha mottatt jevnlige brukeranmeldelser og tilbakemeldinger om mangelen på PiP-visning, ønsket Channel 4s produktteam å innlemme funksjonen i mobilappen. Det var imidlertid bekymring både internt og fra interessenter om at reklamepausene ville ha mindre effekt i en mindre visningsflate.

For å teste dette brukte Channel 4 Optimizelys Feature Experimentation til å kjøre en feature flag-test for å spore og overvåke når brukere minimerte skjermen og om disse tidspunktene sammenfalt med reklamepauser. Resultatene av eksperimentet viste at brukere minimerte skjermen med jevne mellomrom under visning av innhold, ikke bare under reklamepauser.

Ved å foreslå et eksperiment for å utforske effekten av PiP, kunne Channel 4s produktteam vise at funksjonen forbedret kundeopplevelsen så mye at seerne så mer innhold og dermed også genererte flere annonsevisninger. Ved å tale kundens sak, samtidig som de hadde forretningsbehovene i tankene, klarte teamet å utforme eksperimentet og sporingen som trengtes for å besvare spørsmål fra begge sider.

Channel 4s produkt- og eksperimenteringsteam registrerte flere positive fordeler ved å bruke Optimizelys eksperimenteringsmuligheter. Ved å benytte Optimizelys Stats Engine kan Channel 4s interne team raskt og effektivt overvåke eksperimenter mens de pågår. Laura Shelton bemerket at teamet hennes satte pris på både enkelheten og nøyaktigheten til Optimizelys plattform, samtidig som de hadde muligheten til å gå dypere inn i resultatene og se konvergens over tid før eksperimentene når statistisk signifikans. 

Den økte fleksibiliteten Channel 4 nå har til å kjøre komplekse eksperimenter, spore hendelser og definere målgrupper har ikke gått ubemerket hen internt i organisasjonen. Laura Shelton kommenterte at «fordi Optimizelys webtesting er så rask, enkel og smidig, kan vi i det minste utforske ideer og se om det er verdt å ta dem videre til de mer kompliserte områdene å eksperimentere på.» 

Shelton fortalte at Optimizelys plattform ga Channel 4 muligheten til å lansere funksjoner som bidrar til å isolere endringer og tilordne verdi til endringen som ble gjort. Dette lar også Channel 4 teste på en mer lettbeint måte, ettersom den isolerte funksjonen kan endres, eksperimenteres med og avsluttes dersom eksperimentet feiler.

Bruk av Optimizelys Web og Feature Experimentation-produkter gjør det mulig for Channel 4 å raskt og effektivt kjøre både enkle og komplekse eksperimenter på sine ulike plattformer. Events-funksjonen i Optimizelys Web Experimentation-produkt, som sporer handlingene brukere utfører på Channel 4s nettsted, har gitt produktteamet fleksibilitet og handlingsrom til å kjøre eksperimenter når en variabel har blitt feiltolket eller feil implementert.

Fra et brukeradministrasjonsperspektiv fant Channel 4s interne team verdi i funksjonen for miljøtillatelser. Funksjonen styrer hvilke samarbeidspartnere som har tillatelse til å starte og stoppe eksperimenter i et miljø. Dette ga Channel 4s produktteam muligheten til å begrense antall personer som kan endre statusen på eksperimenter eller flytte dem fra ett miljø til et annet. Dette var spesielt viktig for utviklingsteamene på full stack-eksperimenter.

Andrew Jackson forklarte at denne funksjonen bidro til å effektivisere og forstå eksperimenter som pågikk samtidig, ettersom eksperimenter tidligere måtte dupliseres på tvers av flere prosjekter.

Det har skjedd et kulturskifte og en mentalitetsendring i organisasjonen mot eksperimentering. Tidligere ble funksjoner og lanseringer styrt av før/etter-analyser, noen ganger støttet av forskning i små brukergrupper. Nå er det et bredere krav fra toppledelsen til produkt- og markedsføringsteam om at hypoteser valideres og testes for å redusere risiko, samt bevise innvirkning på KPI-er og finne riktig retning for å lansere nye funksjoner.

Antallet eksperimenter utført av Channel 4 har vokst raskt med over 150 A/B-tester lansert og dokumentert det siste året. Alle eksperimenter dokumenteres nå i ett enkelt repositorium. Et eksperimenteringsfellesskap er bygget rundt dette repositoriet, med kommentarer og råd om eksperimenter oppmuntret. Dette gir eksperimentørene mer tilbakemelding og dermed flere muligheter til å lære. Det gir også andre muligheten til å lære i periferien.

Konklusjon
Ved å bruke Optimizelys eksperimenteringsplattform og samarbeide med Good Growth for å skalere sitt A/B-testingsprogram, har Channel 4 realisert det fulle potensialet som implementering av et omfattende eksperimenteringsprogram kan bringe til en organisasjon. Nå kan hypoteser testes og ideer valideres.

Fremover har Channel 4s produktteam som mål å finslipe plattformens personaliseringsmuligheter for å skape skreddersydde og tilpassede opplevelser for brukerne.