En førsteklasses nasjonal TV-kringkaster

Channel 4 er en britisk allmennkringkaster som ble lansert i 1982. Kanalen er kjent for sine særegne programmer, som ofte er grensesprengende og tar opp kontroversielle temaer. Channel 4 har fått æren av å ha lansert flere innflytelsesrike og banebrytende TV-serier og dokumentarer.

Channel 4 er kommersielt finansiert og eies av Channel Four Television Corporation, et offentlig organ etablert av den britiske regjeringen.
Channel 4s popularitet strekker seg lenger enn til bakkenettet; TV-kringkasteren lar også seerne se programmene sine på nettet gjennom sin gratis video-on-demand-tjeneste, strømme via brukernes SMART TV eller se dem via en egen mobilapp.

For å forbedre kundeopplevelsen på tvers av sine mange kanaler, oppmuntre brukerne til å se mer innhold og teste og validere eksperimenter for å maksimere annonseinntektene, inngikk Channel 4 et samarbeid med Optimizely i 2017.

Mangel på klarhet fører til en storstilt endring

Internt balanserer Channel 4s produktledelse og eksperimenteringsteam på en vanskelig line. Teamene må nøye innovere og optimalisere on-demand-plattformen og appene for å tiltrekke seg og engasjere brukere på et budsjett, samtidig som de må sørge for at funksjoner og endringer som gjøres, lanseres med minimal risiko og forstyrrelser for både brukere og reklamepartnere.

Som Andrew Jackson, Senior Product Manager hos Channel 4, beskriver det: "Vi ville ha muligheten til å prøve ut forskjellige ting på en billig måte, og til syvende og sist redusere og minimere risikoen ved lansering av nye funksjoner."

Før Channel 4 tok i bruk Optimizelys web- og funksjonseksperimenteringsplattformer, kunne det være vanskelig å få oversikt når nye ideer skulle testes. Selv om brukertesting i små grupper ga en viss innsikt, manglet de interne teamene hos Channel 4 muligheten til å teste og validere antakelser i stor skala.

På den tiden var det også vanskelig å måle effekten av individuelle funksjoner og skille effekten av produktendringer fra endringer i tidsplanen. Laura Shelton, Optimisation Manager hos Channel 4, forklarte at "som medieselskap kan du lansere funksjoner og prøve å måle effekten av dem, men bruken av tjenestene våre påvirkes av hvilke populære programmer som går på skjermen til enhver tid."

Derfor valgte Channel 4 å bruke Optimizelys komplette eksperimenteringspakke, som inneholder både Web Experimentation- og Feature Experimentation-produkter, for å hjelpe TV-selskapet med A/B-testing.

Bak kulissene i Channel 4s strategi for webeksperimentering

Etter en smidig introduksjonsprosess begynte Channel 4, med støtte fra testpartneren Good Growth, raskt å utnytte Optimizelys eksperimenteringsplattformer til å teste ulike hypoteser.

Når Channel 4s interne team gjennomfører tester, jobber de i tverrfaglige "squads" som hver eier en bestemt strategi. For å bestemme fokus og retning for disse gruppene avholdes det workshops i løpet av en toukers sprintperiode.

Data og innsikt fra brukere, kundepaneler og konkurrentundersøkelser blir samlet inn for å forme ideer som skal testes. Denne innsikten brukes til å utarbeide et "eksperimentkort", som beskriver den tekniske oppbyggingen av eksperimentet.

Eksperimentkortet brukes deretter av leveranseteamene til å bygge og kvalitetssikre (QA) eksperimenter, med veiledning fra eksperimenteringsteamet om målretting og segmentering. For eksperimenter som bruker Optimizelys Feature Experimentation-plattform, krever testene vanligvis en utgivelse via en appbutikk før eksperimentet begynner. Ellers må alle tester generelt unngå store innholdslanseringer.

Channel 4s partner for webtesting, Good Growth, samarbeider med interne utviklere for å støtte testene på nettstedet. De jobber tett med Channel 4s eksperimenteringsteam for å sikre at testene kjøres på en smidig og effektiv måte.

Channel 4 bytter kundeopplevelse med Optimizely

Brukssak 1 - AutoPlay-eksperiment

Et av målene med Channel 4s on-demand-plattform er å engasjere brukerne og gjøre det så enkelt som mulig å se på innhold.

Channel 4 hadde en hypotese om at ved å redusere tiden det tar før innholdet spilles av automatisk til neste episode, ville seerne se på mer innhold.

Teamet brukte Optimizelys Feature Experimentation-plattform til å kjøre en test av ulike nedtellingstimerlengder, inkludert noen som virksomheten var nervøs for at kunne være for korte.

Testen var en fantastisk suksess, fjernet friksjon mellom episodene og leverte overraskende resultater. Den optimale nedtellingstiden mellom hver episode var kortere enn forventet, og viste seg å være det ideelle tidspunktet for å engasjere seerne på best mulig måte.

Brukssak 2 - Bilde i bilde-visning

Bilde i bilde-visning (PiP) er en funksjon som gjør det mulig for brukerne å se en video i et lite flytende vindu mens de bruker andre applikasjoner eller surfer på nettet.

Etter å ha mottatt jevnlige brukeranmeldelser og tilbakemeldinger om mangelen på PiP-visning, ønsket produktteamet i Channel 4 å innlemme funksjonen i mobilappen sin. Det var imidlertid bekymring både internt og fra interessenter om at reklamepauser ville ha mindre effekt i en mindre visningsport.

For å teste dette brukte Channel 4 Optimizelys Feature Experimentation til å kjøre en funksjonstest for å spore og overvåke når brukerne minimerte skjermen, og om disse tidspunktene sammenfalt med reklamepauser. Resultatene av eksperimentet viste at brukerne minimerte skjermen med jevne mellomrom mens de så på innhold, og ikke bare når det ble vist reklamepauser.

Ved å foreslå et eksperiment for å undersøke effekten av PiP, kunne Channel 4s produktteam vise at funksjonen forbedret kundeopplevelsen så mye at de så på mer innhold og dermed også genererte flere reklamevisninger. Ved å gå god for kundenes opplevelse, samtidig som de tok hensyn til bedriftens behov, kunne teamet utforme eksperimentet og sporingen som var nødvendig for å svare på spørsmål fra begge sider.

Utnytte Optimizely til å teste og optimalisere funksjoner på nettstedet og i appen

Channel 4s produkt- og eksperimenteringsteam så flere positive fordeler ved å bruke Optimizelys eksperimenteringsmuligheter. Ved å bruke Optimizelys statistikkmotor kan Channel 4s interne team raskt og effektivt overvåke eksperimenter mens de er live. Laura Shelton bemerket at teamet hennes satte pris på både enkelheten og nøyaktigheten til Optimizelys plattform, samtidig som de hadde muligheten til å grave dypere i resultatene og se konvergens over tid før eksperimentene når statistisk signifikans.

Den økte fleksibiliteten Channel 4 nå har fått til å kjøre komplekse eksperimenter, spore hendelser og definere målgrupper, har ikke gått upåaktet hen i organisasjonen. Laura Shelton kommenterte at "fordi Optimizelys webtester er så raske, enkle og smidige, kan vi i det minste utforske ideer og se om det er verdt å ta det videre til mer kompliserte områder å eksperimentere på."

Shelton forteller at Optimizelys plattform har gjort det mulig for Channel 4 å lansere funksjoner som bidrar til å isolere endringer og tildele verdi til endringene som er gjort. Dette gjør det også mulig for Channel 4 å teste på en mer lettvint måte, ettersom den isolerte funksjonen kan endres, eksperimenteres på og avsluttes hvis eksperimentet mislykkes.

Ved å bruke Optimizelys web- og funksjonseksperimenteringsprodukter kan Channel 4 raskt og effektivt kjøre både enkle og komplekse eksperimenter på sine ulike plattformer. Hendelsesfunksjonen i Optimizelys webeksperimenteringsprodukt, som sporer handlingene som brukerne utfører på Channel 4s nettsted, har gitt produktteamet fleksibilitet og spillerom til å kjøre eksperimenter når en variabel har blitt feiltolket eller implementert feil.

Når det gjelder brukeradministrasjon, har Channel 4s interne team hatt stor nytte av funksjonen for miljøtillatelser. Funksjonen kontrollerer hvilke medarbeidere som har tillatelse til å starte og stoppe eksperimenter i et miljø. Dette gjorde det mulig for Channel 4s produktteam å begrense antallet personer som kan endre statusen til eksperimenter eller flytte dem fra ett miljø til et annet. Dette viste seg å være spesielt viktig for utviklingsteamene som jobber med fullstackeksperimenter.

Andrew Jackson forklarte at denne funksjonen bidro til å effektivisere og forstå eksperimenter som foregikk samtidig, ettersom eksperimenter tidligere måtte dupliseres på tvers av flere prosjekter.

Det har skjedd et kulturskifte og en holdningsendring i organisasjonen når det gjelder eksperimentering. Tidligere ble funksjoner og utgivelser styrt av pre/post-analyser, noen ganger støttet av små brukergruppeundersøkelser. Nå er det et bredere krav fra toppledelsen til produkt- og markedsføringsteam som sikrer at hypoteser valideres og testes for å redusere risiko, samt bevise effekten på KPI-er og finne den riktige retningen å lansere nye funksjoner i.

Antallet eksperimenter som Channel 4 har tatt i bruk, har vokst raskt med mer enn 150 A/B-tester som er lansert og dokumentert det siste året. Alle eksperimenter er nå dokumentert i ett enkelt arkiv. Rundt dette depotet er det bygget opp et eksperimentfellesskap, og det oppfordres til å kommentere og gi råd om eksperimenter. Dette gir eksperimenterere flere tilbakemeldinger og dermed muligheter til å lære. Det gir også andre muligheten til å lære i periferien.

Konklusjon
Ved å bruke Optimizelys eksperimenteringsplattform og samarbeide med Good Growth for å skalere A/B-testprogrammet sitt, har Channel 4 realisert det fulle potensialet som implementering av et omfattende program for eksperimenteringstesting kan gi en organisasjon. Nå kan hypoteser testes og ideer valideres.

Fremover har Channel 4s produktteam som mål å finpusse plattformenes personaliseringsfunksjoner for å skape skreddersydde opplevelser for brukerne.