Multivariate tester vs. A/B-testing

Forskjellen mellom en multivariat test og en A/B-test

Hva er forskjellen mellom A/B-testing og multivariate tester? La oss ta en titt på metodikken, vanlige bruksområder, fordeler og begrensninger ved disse testmetodene.

Forklaring av A/B-testing

A/B-testing, som du kanskje også har hørt omtalt som splitt-testing, er en metode for optimalisering av nettsteder der konverteringsraten for to versjoner av en side - versjon A og versjon B - sammenlignes med hverandre ved hjelp av live trafikk. Besøkende plasseres i den ene eller den andre versjonen. Ved å spore hvordan de besøkende interagerer med siden de blir vist - videoene de ser på, knappene de klikker på, eller om de melder seg på et nyhetsbrev eller ikke - kan du finne ut hvilken versjon av siden som er mest effektiv.

Vanlige bruksområder for A/B-tester

A/B-testing er den minst komplekse metoden for å evaluere et sidedesign, og er nyttig i en rekke situasjoner.

En av de vanligste måtene A/B-testing brukes på, er å teste to svært forskjellige designretninger opp mot hverandre. For eksempel kan den nåværende versjonen av et selskaps hjemmeside ha tekstbaserte oppfordringer til handling (CTA), mens den nye versjonen kan eliminere det meste av teksten, men inkludere en ny topplinje som reklamerer for det nyeste produktet. Etter at mange nok besøkende har blitt kanalisert til begge sidene, kan man sammenligne antall klikk på hver sides versjon av CTA-en. Det er viktig å merke seg at selv om mange designelementer endres i denne typen A/B-test, er det bare effekten av designet som helhet på hver sides forretningsmessige mål som spores, ikke enkeltelementer.

A/B-testing er også nyttig som et optimaliseringsalternativ for sider der bare ett element er oppe til debatt. En dyrebutikk som kjører en A/B-test på nettstedet sitt, kan for eksempel finne ut at 85 % flere brukere er villige til å registrere seg for et nyhetsbrev som holdes oppe av en tegneseriemus, enn de er for et nyhetsbrev som kommer ut av spolene til en boaorm. Når A/B-testing brukes på denne måten, inkluderes ofte en tredje eller til og med fjerde versjon av siden i testen, som noen ganger kalles en A/B/C/D-test. Dette betyr selvfølgelig at trafikken til nettstedet må deles i tre eller fire, med en mindre andel besøkende på hver side.

Fordeler med A/B-tester

A/B-tester er enkle i konsept og design, men er likevel en effektiv og mye brukt testmetode.

Ved å holde antallet variabler som spores, lavt, kan disse testene levere pålitelige data svært raskt, siden de ikke krever store mengder trafikk for å kjøre. Dette er spesielt nyttig hvis nettstedet ditt har et lite antall daglige besøkende. Å dele opp trafikken i mer enn tre eller fire segmenter ville gjøre det vanskelig å fullføre en test. A/B-testing er faktisk så raskt og enkelt å tolke at noen store nettsteder bruker det som sin primære testmetode, og kjører sykluser av tester etter hverandre i stedet for mer komplekse multivariate tester.

A/B-testing er også en god måte å introdusere konseptet optimalisering ved hjelp av test til et skeptisk team, ettersom det raskt kan demonstrere den kvantifiserbare effekten av en enkel designendring.

Begrensninger ved A/B-testing

A/B-testing er et allsidig verktøy, og når det kombineres med smart eksperimentdesign og en forpliktelse til iterative sykluser med testing og redesign, kan det hjelpe deg med å gjøre store forbedringer på nettstedet ditt. Det er imidlertid viktig å huske at begrensningene ved denne typen tester ligger i navnet. A/B-testing brukes best til å måle effekten av to til fire variabler på interaksjonen med siden. Tester med flere variabler tar lengre tid å kjøre, og A/B-testing vil ikke avsløre noe om interaksjonen mellom variabler på en enkelt side.

Hvis du trenger informasjon om hvordan mange ulike elementer samhandler med hverandre, er multivariate tester den optimale tilnærmingen.

Forklaring av multivariate tester

Multivariat testing bruker samme kjernemekanisme som A/B-testing, men sammenligner et større antall variabler, og avslører mer informasjon om hvordan disse variablene interagerer med hverandre. Som i en A/B-test deles trafikken til en side mellom ulike versjoner av designet. Formålet med en multivariat test er altså å måle hvor effektiv hver designkombinasjon er i forhold til det endelige målet.

Når et nettsted har fått nok trafikk til å kjøre testen, sammenlignes dataene fra hver variasjon for å finne det mest vellykkede designet, men også for å avdekke hvilke elementer som har størst positiv eller negativ innvirkning på de besøkendes interaksjon.

Vanlige bruksområder for multivariate tester

Det vanligste eksemplet på multivariate tester er en side der flere elementer er oppe til debatt - for eksempel en side som inneholder et påmeldingsskjema, en slags fengende topptekst og en bunntekst. For å kjøre en multivariat test på denne siden kan du, i stedet for å lage et radikalt forskjellig design som i A/B-testing, lage to forskjellige lengder på påmeldingsskjemaer, tre forskjellige overskrifter og to bunntekster. Deretter kan du sende besøkende til alle mulige kombinasjoner av disse elementene. Dette kalles også full faktoriell testing, og er en av grunnene til at multivariat testing ofte bare anbefales for nettsteder som har en betydelig mengde daglig trafikk - jo flere variasjoner som må testes, jo lenger tid tar det å få meningsfulle data fra testen.

Etter at testen er kjørt, sammenlignes variablene på hver sidevariant med hverandre, og med resultatene i forbindelse med andre versjoner av testen. Det gir et klart bilde av hvilken side som presterer best, og hvilke elementer som er mest ansvarlige for denne ytelsen. For eksempel kan det vise seg at det å variere bunnteksten på en side har svært liten effekt på sidens ytelse, mens det å variere lengden på påmeldingsskjemaet har stor innvirkning.

Fordeler med multivariate tester

Multivariate tester er en effektiv måte å målrette arbeidet med redesignet mot de elementene på siden der det har størst effekt. Dette er spesielt nyttig når du for eksempel utformer kampanjer for destinasjonssider, ettersom dataene om effekten av et bestemt elements design kan brukes i fremtidige kampanjer, selv om elementets kontekst har endret seg.

Begrensninger ved multivariate tester

Den største begrensningen ved multivariate tester er mengden trafikk som trengs for å gjennomføre testen. Siden alle eksperimenter er fullstendig faktorielle, kan for mange endringselementer på en gang raskt føre til et svært stort antall mulige kombinasjoner som må testes. Selv et nettsted med ganske høy trafikk kan ha problemer med å fullføre en test med mer enn 25 kombinasjoner på overkommelig tid.

Når du bruker multivariate tester, er det også viktig å vurdere hvordan de passer inn i test- og redesignsyklusen din som helhet. Selv når du sitter på informasjon om effekten av et bestemt element, kan det være lurt å gjennomføre flere A/B-tester for å utforske andre radikalt forskjellige ideer. Noen ganger kan det også være at det ikke er verdt den ekstra tiden det tar å kjøre en full multivariat test når flere veldesignede A/B-tester vil gjøre jobben godt.

Poenget med å sammenligne testformater

Ikke la forskjellene mellom A/B-testing og multivariate tester få deg til å tenke på dem som motsetninger. Tenk i stedet på dem som to effektive optimeringsmetoder som utfyller hverandre. Velg den ene eller den andre, eller bruk dem begge sammen for å få mest mulig ut av nettstedet ditt.