Quick & easy guide to multivariate testing

Å lage markedsføringsinnhold - annonser, e-post, blogger, brukergrensesnitt - uten referanse til en eller annen komparativ prestasjonsmåling er litt som å følge et veikart til et sted du aldri har vært før, uten å se ut av vinduet for å se hvor du er. Verden utenfor kan være mer komplisert og uforutsigbar enn du forventer, og det spiller ingen rolle hva som står på kartet hvis du ikke kommer frem til målet. For å lykkes med markedsføring er det nødvendig med interaksjon med den virkelige verden gjennom test og variasjon for å tilpasse innholdet til publikums subtile preferanser. Når du tester innhold med virkelige målgrupper, kan du bruke ulike grader av variasjon, fra enkle sammenligninger av to iterasjoner i split- og A/B-testing til mer komplekse multivariate tester som kjører mange variabler samtidig.

I en eller annen form gjør selskaper som tester markedsføringsinnhold det bedre enn sine konkurrenter. Av de 500 største e-handelsbedriftene kjører minst 75 % variable tester på det nye markedsføringsinnholdet de leverer. I denne guiden lærer du hva multivariate tester er, og hvordan de kan hjelpe deg med å forbedre store mengder innhold raskt og effektivt.

Det viktigste du kan lære

• Ved å kjøre sammenlignende tester av markedsføringsinnhold kan markedsførere skape mer engasjement og verdi.

• Markedsførere kaller sammenlignende tester som bare involverer to variabler - en kontrollversjon og en variabel - for A/B-testing. Tester som involverer mer enn to variabler som kjøres samtidig, kalles multivariate tester.

• Multivariate tester gir kontekstualisert innsikt i kombinasjoner av variabler i innhold som gir bedre resultater, i stedet for bare enkeltvariabler.

Hva er multivariat testing?

Multivariat testing er en teknikk for å teste ytelsen til flere variabler i markedsføringsinnhold. Multivariat testing har som mål å avgrense flere varianter av innhold samtidig for å finne den best mulige kombinasjonen for alle variabler.

bildekilde

Nettsteder, mobilapper og annonser inneholder mange modulære elementer som farger, skrifttyper, bilder, CTA-er, tekstbokser og andre strukturelle komponenter. Ved å kombinere disse elementene på én og samme nettside eller i én og samme annonse skaper man en unik brukeropplevelse eller -oppfatning. Det er umulig å forutsi nøyaktig hvilke kombinasjoner av estetiske og innholdsmessige komponenter som vil skape mest engasjement og fremkalle de mest positive brukeropplevelsene hos målgrupper på tusenvis til millioner. Multivariate tester fokuserer på å overvåke ytelsen i store variabelsett av enkeltkomponenter for å avdekke kombinasjoner med høyere ytelse gjennom reelt engasjement.

Multivariat testing og A/B-testing

Multivariat testing ligner A/B-testing ved at den er grunnleggende komparativ. Målgrupper interagerer med ulike versjoner av det samme innholdet, og markedsførere sammenligner resultatene for å finne ut hva som gir best resultater. A/B-tester involverer imidlertid bare en kontroll- og en testvariabel, og isolerer ytelsesverdien til variabelen.

bildekilde

Multivariate tester skiller seg ut ved at de involverer mer enn to variabler. Likevel er ikke denne forskjellen triviell. Snarere gir det en helt annen type innsikt. A/B-testing bidrar til å kvantifisere ytelsen til individuelle variabler. Multivariate tester identifiserer kombinasjoner som gir bedre resultater på en helhetlig måte, og avslører hvordan ulike estetiske og innholdsmessige variasjoner virker inn på helhetsinntrykket som skapes hos publikum.

Fordeler med multivariate tester

Sammenlignet med andre testmetoder har multivariat testing klare fordeler som gjør den til den optimale metoden under spesifikke omstendigheter.

1. Eliminerer behovet for sekvensielle A/B-tester

Selv om A/B-tester gir et presist bilde av ytelsen til spesifikke variabler, kan de være tidkrevende og ofte kreve flere iterasjoner på samme kampanje eller side for å nå de oppsatte ytelsesmålene. Multivariate tester kan håndtere disse iterasjonene samtidig, og gjøre mindre justeringer for å fortsette å skape engasjement gjennom hele testprosessen.

1. Multivariate tester skaper mer data

   En vellykket multivariat test av en annonse eller side vil involvere ytelsesmålinger på flere konfigurasjoner, noe som skaper lag med kontekstuelle data for hver variabel som er i spill. Multivariate tester for markedsføringsteam som jobber med kanaler med høy trafikk, vil skape større mengder handlingsrettet innsikt enn andre testmetoder.

2. Gir kontekstuell innsikt

   Enklere testmetoder som A/B- og splitt-testing kan raskt indikere hvilken av to versjoner av en enhet med markedsføringsinnhold som gjør det bedre enn den andre. Men uten mer informasjon og variasjon kan du ikke forstå hvorfor, eller om det er noe annet som har påvirket den underpresterende variabelen i hele innholdet. Med multivariate tester kan markedsføringsteam ofte se positive korrelasjoner mellom tilsynelatende urelaterte variabler, for eksempel en bestemt CTA sammen med et bestemt bilde, selv om ingen av dem presterte godt uavhengig av hverandre.

Potensielle begrensninger ved multivariate tester

Det er en grunn til at markedsførere bruker ulike moduser for innholdstesting. Hver av dem er best egnet til spesifikke omstendigheter og begrensninger. Multivariate tester er ikke noe unntak og er kanskje ikke det beste valget i alle situasjoner.

1. Krever mer tid

   I A/B-tester går 50 % av trafikken som møter innholdet, til hver versjon. På relativt kort tid vil hver variant dermed få nok trafikk til å være statistisk signifikant. I multivariate tester som kanskje inneholder flere titalls varianter, er den totale trafikkmengden som trengs for å generere meningsfulle data, direkte proporsjonal med antall variabler. Hvis du for eksempel introduserer 20 variasjoner, vil testen kreve 10 ganger så mye trafikk for å generere samme datakvalitet.

2. Kan indikere flere falske positiver

   Økningen i antall variabler og variabelrelasjoner i multivariate tester medfører en høyere forekomst av det statistikere kaller familievis feilrate (FWER). Familievise feil er falske konklusjoner som trekkes fra hypoteser som ikke er testet. Med andre ord har en variabel som isolert sett ville gitt dårligere resultater, en økt sjanse for å vise seg å gi bedre resultater når andre variabler tilfeldigvis er til stede. Ved å teste dypere i variasjonen vil FWER gå ned, men det koster mer tid og penger.

3. Multivariate tester er mer kostbare enn andre metoder

   Tiden og innsatsen som kreves for å utforme multivariate tester, den lengre varigheten de krever for å samle inn tilstrekkelige data og den økte tolkningsbyrden ved feileliminering, øker de samlede kostnadene sammenlignet med enklere innholdstester. Multivariate tester er kanskje ikke den beste løsningen for dine behov hvis tid og budsjett er viktige begrensninger.

Eksperimenter med A/B- og multivariate tester gjennom Optimizelys plattform for webeksperimenter

Dra nytte av Optimizelys raske og omfattende plattform for webeksperimenter for å avdekke verdifull kundeinnsikt og skape høytytende opplevelser på kort tid. Med Optimizely vil kundenes følelser og preferanser styre beslutningene dine, slik at du slipper å gjette deg frem.

Kontakt Optimizely i dag for å komme i gang.