Multivariate tester

Hva er multivariat test?

Multivariat testing (MVT) er en teknikk for å teste en hypotese der flere variabler modifiseres. Målet med multivariat testing er å finne ut hvilken kombinasjon av variasjoner som gir best resultater av alle de mulige kombinasjonene.

Nettsteder og mobilapper består av kombinasjoner av elementer som kan endres. En mvt-test vil endre forskjellige elementer, som å endre et bilde og en overskrift samtidig. Tre varianter av bildet og to varianter av overskriften kombineres for å skape seks varianter av innholdet, som testes samtidig for å finne den vinnende varianten.

Viktige egenskaper ved multivariate tester

Tester flere sideelementer samtidig
Krever større utvalgsstørrelser enn A/B-tester
Gir innsikt i interaksjonen mellom elementene
Best for optimalisering av kritiske sider uten fullstendig redesign
Nyttig for å forstå kompleks brukeratferd

Det totale antallet variasjoner i en multivariat test vil alltid være:

[antall variasjoner på element A] X [antall variasjoner på element B] ... = [totalt antall variasjoner]

Multivariate test combinations

Utfordringer ved multivariate tester

Når du kjører multivariate tester og prøver å øke konverteringen, kan du støte på noen utfordringer. Her er hvordan du kan løse dem:

Uklareresultater
Hvis testen ikke gir klare vinnere, kan du prøve å redusere antall variabler eller øke testens varighet.
Langsom datainnsamling eller mindretrafikk
Fokuser på sider med høy trafikk, eller forenkle testen ved å redusere antall variasjoner.
Motstridende resultater
Vurder å kjøre testen på nytt eller segmentere dataene for dypere analyse.
Tekniske problemer
Sørg for at variasjonene i testen er riktig implementert og kompatible på tvers av nettlesere.

Multivariate tester vs. A/B-testing

For å forstå multivariat testing bedre, la oss sammenligne den med A/B-testing:

Aspekt	A/B-testing	Multivariat testing
Variabler som testes	Én om gangen	Flere samtidig
Kompleksitet	Enkel A-versjon versus B-versjon	Mer kompleks
Utvalgsstørrelse	Mindre	Større
Testens varighet	Kortere	Lengre
Beste bruksområde	Test av ett enkelt element	Optimalisering av flere elementer på en side

Prosessen med å kjøre en multivariat test ligner på A/B-splitt-testing, men skiller seg fra A/B-testing ved at man bare tester én variabel. I en A/B-test testes minst én variabel for å finne ut hvilken effekt en endring i én variabel har. I en multivariat test testes flere variabler sammen for å avdekke den ideelle kombinasjonen som er effektiv når det gjelder å forbedre den primære målingen som ble valgt da testen ble satt opp.

Du kan for eksempel teste mange flere elementfunksjonaliteter på en hjemmeside eller en nettside. Dette gjør det utrolig viktig at du utformer hypotesen din nøye. Jo flere elementer du tester, desto større utvalg kreves det for å gjennomføre testen. Så for multivariate tester trenger du flere besøkende, eller så tar testene lenger tid for å oppnå statistisk signifikans.

Hvilken type test du bør bruke, avhenger av hvert enkelt brukstilfelle og bør vurderes fra sak til sak. Optimaliser alltid for å oppnå høyest mulig konvertering i markedsføringskampanjene dine. Bruk av multivariate tester kan bidra til å avdekke bedre brukeropplevelser, der A/B-tester kanskje ikke er i stand til det.

Les mer om multivariate tester kontra A/B-tester.

De beste indikatorene å fokusere på med multivariate tester

Når du skal sette opp en multivariat test, må du, på samme måte som ved en A/B-test, starte testprosessen med å definere variantene dine, sette opp en målside og målgruppe (valgfritt) og måleparameterne du tror vil bli påvirket av denne endringen.

Vår forskning viser at de fleste netthandelsselskaper har en tendens til å fokusere på inntekter, og B2B-selskaper på konverteringer. Selv om dette er de mest verdifulle konverteringene du kan ha, kan det å legge til andre konverteringsmålinger noen ganger bidra til å øke den statistiske signifikansen fordi det er mer data å jobbe med. Basert på våre funn hadde selskaper som fokuserte på disse alternative metodene, høyere avkastning og suksessrate i testene.

Eksempler på webberegninger du kan spore i MVT-tester er

Klikk på oppfordringer til handling - vanligvis knapper eller bannere, målt i CTR (klikkfrekvens)
Konverteringsrate (CVR) - Måling av trafikk/innsendte skjemaer eller salg. CVR er det vanligste målet.
Engasjementsrate (ER) - En blogg kan måle engasjementet til de besøkende på nettstedet / 75 % scrollet
View-through rate (VTR) - Besøkende på nettstedet eller spillhendelser / sett på 75 % eller 90 %.

Ved å sette opp en multivariat test med disse brukervennlighetsmålingene kan systemet velge den beste kombinasjonen av elementer for siden din, basert på den primære beregningen. De fleste verktøyene lar deg spore mer enn én metrikk, men bare den første (eller viktigste) vil bli brukt til å måle suksess.

Hvis du legger til alternative måleparametere til vanlige konverteringer, kan det også hjelpe deg med å optimalisere konverteringsfrekvensen og til og med bryte deg ut av et lokalt maksimum. Hvis du for eksempel sporer brukerengasjement før du kommer til et skjema, øker du datainntaket i den multivariate testen, og testverktøyet får mer data å jobbe med for å oppnå statistisk signifikans i testresultatene dine.

En merknad om statistisk signifikans i multivariate tester

Avhengig av hvor mye trafikk en gitt side har, og hvor stor innvirkning elementene du endrer, har på det primære målet, kan det ta en stund å oppnå statistisk signifikans.

Dette er det samme som med alle A/B-tester, der jo flere elementer du legger til (A/B/C/D), jo lenger tid kan det ta før testen når en konklusjon. Med multivariate tester er dette ekstra uttalt fordi hvert element som endres, må måles opp mot hverandre.

Et eksempel. Hvis jeg endrer et bilde A og B, og også en overskrift A og B, og til slutt en beskrivelse A og B, er formelen som følger:

Bilde A og B (2 alternativer) Overskrift A og B (2 alternativer) * Beskrivelse A og B (2 alternativer) = 8 kombinasjoner.

Selv om dette virker som en relativt enkel test, vil 8 varianter ta lang tid å teste, slik en A/B/C/D/E/F/G/H-splittest også vil gjøre (også kjent som en full faktoriell test). For å kompensere for dette kan du, på samme måte som med en A/B-test, fokusere på sideelementer som folk kan se umiddelbart på sider med høy trafikk.

Et annet alternativ for å forbedre resultatene i multivariate tester, kan være å redusere det totale antallet variabler. Hvis testene dine ikke oppnår signifikans i tide, kan du

Bruk færre ulike versjoner av elementer
Bruk ulike elementer som har større innvirkning på målingene
Fokuser på sider med mye trafikk - mer om det senere
Bruk tidligere data fra testene for å fastslå sannsynlig innvirkning på konverteringsraten
Redesign elementer for å gjøre endringene mer fremtredende. Dristigere tester har en tendens til å nå større testresultater

Når det gjelder trafikkmengden, trenger du minst nok trafikk til å oppnå statistisk signifikans, avhengig av hvilke endringer du gjør og hvor stor innvirkning du forventer at disse endringene vil ha på den primære måleparameteren. Med utgangspunkt i trafikkmengden og den minste påvisbare effekten kan du beregne den nøyaktige estimerte trafikken ved hjelp av utvalgsstørrelseskalkulatoren vår. Utvalgsstørrelsen er i dette tilfellet den nødvendige trafikken.

Fordeler med multivariate tester

Bruk av multivariate tester for konverteringsfrekvensoptimalisering (CRO) kan være nyttig når flere ulike elementer på samme side kan endres parallelt for å forbedre et enkelt konverteringsmål: påmeldinger, klikk, skjemautfyllinger eller sosiale delinger. Hvis en multivariat test utføres på riktig måte, kan den eliminere behovet for å kjøre flere sekvensielle A/B-tester på samme side med samme mål, og bidra til å finne den mest optimale av ulike kombinasjoner. Testene kjøres samtidig med et større antall variasjoner på kortere tid.

Multivariat testing kan sammen med andre testmetoder bidra til å gi sikkerhet for at endringene du gjør i appen eller på nettstedet ditt, har maksimal positiv innvirkning på konverteringsmålingene dine uten at du trenger å teste hver enkelt variasjon.

Vanlige ting som kan testes, og som egner seg spesielt godt for multivariate tester, er

Knappefarger - Forbedrer klikkfrekvensen (CTR)
Tekst på CTA-knapp - forbedrer også klikkfrekvensen (CTR)
Ulike design på oppfordringsknappene - som bannere eller knapper, for å forbedre CTR eller konverteringsraten (CVR)
Sideoppsett - engasjementsgrad (ER)
Interaktive elementer og medieelementer - engasjementsrate (ER) eller visningsrate (VTR)

Hvordan multivariate tester skiller seg fra en full faktoriell test

I statistikk er en full faktoriell test en variant av multivariat testing. Den skiller seg fra en typisk multivariat test ved at man i en fullfaktoriell test, som navnet tilsier, tar hensyn til alle alternativene. Mens vi i en multivariat test i de fleste A/B-testverktøy som Optimizely Web Experimentation, prøver vi å finne den beste kombinasjonen raskere før vi trekker en konklusjon.

La oss ta et eksempel. En full faktoriell test kan ta hensyn til de samme 8 individuelle elementene og endringene på siden din. Men vil teste og dele trafikken likt mellom dem. Det betyr at hvert av disse alternativene får like mye trafikk og data for å oppnå statistisk signifikans:

AAA, AAB, ABA, ABB, BAA, BAB, BBA og BBB blir alle testet likt for å komme frem til et så rent resultat som mulig. Alt fikk en rettferdig sjanse til å konkurrere om det høyeste resultatet.

Ved partiell faktoriell testing, som er den mest vanlige typen multivariat testing, testes bare visse kombinasjoner som har større sannsynlighet for å gi bedre resultater når en positiv endring oppdages tidlig. Hvis systemet for eksempel ser at testvarianter med variant B gir betydelig bedre resultater enn de med A, er det ikke nødvendig å fortsette å teste variant A.

For å ta det tilbake til eksempelet fra tidligere, trenger jeg bare å fortsette å teste BAA, BAB, BBA og BBB, noe som drastisk reduserer antallet varianter jeg trenger å teste, og jeg når statistisk signifikans raskere.

Ulemper med multivariate tester

Her er noen potensielle utfordringer ved multivariate tester:

Krever høy trafikk og sidevariasjon
Den vanskeligste utfordringen ved å utføre multivariate tester er mengden besøkstrafikk og sidevariasjoner som kreves for å oppnå meningsfulle resultater. På grunn av at disse testene er fullstendig faktorielle, kan antallet variasjoner i en test fort bli høyt. Resultatet av en test med mange variasjoner er at den tildelte trafikken til hver variasjon er lavere. I A/B-tester deles trafikken til et eksperiment i to, med 50 prosent av trafikken som besøker hver variasjon. I en multivariat test deles trafikken opp i fjerdedeler, sjettedeler, åttendedeler eller enda mindre segmenter, der variasjonene får en mye mindre del av trafikken enn i en enkel A/B-test.
Statistisk signifikans
Før du kjører en multivariat test, må du beregne hvor stort trafikkutvalg du trenger for hver variasjon for å oppnå et statistisk signifikant resultat. Hvis trafikken til siden du ønsker å teste, er lav, bør du vurdere å bruke en A/B-test i stedet for en multivariat test.
Mangel på målbar effekt
Noen ganger har en eller flere av variablene som testes, ikke en målbar effekt på konverteringsmålet. Hvis for eksempel variasjoner av et bilde på en landingsside ikke påvirker konverteringsmålet, mens endringer i en overskrift gjør det, ville det ha vært mer effektivt å kjøre testen som en A/B-test i stedet for en multivariat test.
Utviklende brukeratferd
Som med alle typer tester er det viktig å merke seg at brukeratferden kan være forskjellig på ulike sider, og det kan lønne seg å bruke multivariate tester på en annen side med de samme spesifikke elementene for å verifisere testresultatene. Denne metodikken vil bidra til å sikre at du tar de riktige datadrevne beslutningene med testdata, slik at du sikrer en optimal brukeropplevelse.

Eksempler på multivariate tester

Vanlige eksempler på multivariate tester inkluderer:

Test av tekst og visuelle elementer på en nettside sammen
Test av antall skjemafelt og CTA-tekst sammen
Teste teksten og fargen på en CTA-knapp sammen i stedet for å fokusere på ett enkelt element

Bruk av multivariate tester for å optimalisere nettstedet er en effektiv metode for å samle inn besøks- og brukerdata som gir detaljert innsikt i kompleks kundeatferd. Dataene som avdekkes i multivariate tester, fjerner tvil og usikkerhet fra optimalisering av nettstedet. Kontinuerlig testing, implementering av vinnende variasjoner og videreutvikling av innsikten fra testene kan føre til betydelige konverteringsgevinster.