Multivariattesting vs A/B-testing

Forskjellen mellom en multivariattest og en A/B-test

Hva er forskjellen mellom A/B-testing og multivariattesting? La oss se nærmere på metodikken, vanlige bruksområder, fordeler og begrensninger ved disse testmetodene.

A/B-testing forklart

A/B-testing, som du kanskje også har hørt omtalt som splittesting, er en metode for nettstedsoptimalisering der konverteringsratene til to versjoner av en side – versjon A og versjon B – sammenlignes med hverandre ved hjelp av reell trafikk. Besøkende på nettstedet fordeles til den ene eller den andre versjonen. Ved å spore hvordan besøkende interagerer med siden de får vist – videoene de ser på, knappene de klikker på, eller om de melder seg på et nyhetsbrev – kan du finne ut hvilken versjon av siden som er mest effektiv.

Vanlige bruksområder for A/B-tester

A/B-testing er den minst komplekse metoden for å evaluere en sidedesign, og er nyttig i en rekke situasjoner.

En av de vanligste måtene A/B-testing brukes på, er å teste to svært forskjellige designretninger mot hverandre. For eksempel kan den nåværende versjonen av en bedrifts hjemmeside ha handlingsoppfordringer (CTA-er) i teksten, mens den nye versjonen fjerner det meste av teksten, men inkluderer en ny topplinje som reklamerer for det nyeste produktet. Etter at nok besøkende har blitt sendt til begge sidene, kan antall klikk på hver sides versjon av CTA-en sammenlignes. Det er viktig å merke seg at selv om mange designelementer endres i denne typen A/B-test, er det kun effekten av designet som helhet på hver sides forretningsmål som spores, ikke individuelle elementer.

A/B-testing er også nyttig som et optimaliseringsalternativ for sider der bare ett element er oppe til diskusjon. For eksempel kan en dyrebutikk som kjører en A/B-test på nettstedet sitt oppdage at 85 % flere brukere er villige til å melde seg på et nyhetsbrev holdt opp av en tegneseriemus enn et som dukker opp fra kveilene til enboa constrictor. Når A/B-testing brukes på denne måten, inkluderes ofte en tredje eller fjerde versjon av siden i testen, noe som noen ganger kalles en A/B/C/D-test. Dette betyr selvfølgelig at trafikken til nettstedet må deles i tredeler eller fjerdedeler, med en lavere andel besøkende til hver versjon.

Fordeler med A/B-tester

A/B-testing er enkel i konsept og design, men likevel en kraftig og mye brukt testmetode.

Ved å holde antallet sporede variabler lavt kan disse testene levere pålitelige data svært raskt, ettersom de ikke krever store mengder trafikk for å kjøre. Dette er spesielt nyttig hvis nettstedet ditt har et lavt antall daglige besøkende. Å dele trafikken i mer enn tre eller fire segmenter ville gjøre det vanskelig å fullføre en test. Faktisk er A/B-testing så rask og enkel å tolke at noen store nettsteder bruker den som sin primære testmetode, og kjører sykluser med tester etter hverandre i stedet for mer komplekse multivariattester.

A/B-testing er også en god måte å introdusere konseptet med optimaliseringstesting for et skeptisk team, ettersom det raskt kan demonstrere den kvantifiserbare effekten av en enkel designendring.

Begrensninger ved A/B-testing

A/B-testing er et allsidig verktøy, og når det kombineres med smart eksperimentdesign og en forpliktelse til iterative sykluser med testing og redesign, kan det hjelpe deg med å oppnå store forbedringer på nettstedet ditt. Det er imidlertid viktig å huske at begrensningene ved denne typen test oppsummeres i navnet. A/B-testing brukes best til å måle effekten av to til fire variabler på interaksjoner med siden. Tester med flere variabler tar lengre tid å kjøre, og A/B-testing vil ikke avdekke informasjon om samspillet mellom variabler på en enkelt side.

Hvis du trenger informasjon om hvordan mange forskjellige elementer samspiller med hverandre, er multivariattesting den optimale tilnærmingen.

Multivariattesting forklart

Multivariattesting bruker den samme kjernemekanismen som A/B-testing, men sammenligner et høyere antall variabler og avdekker mer informasjon om hvordan disse variablene samspiller med hverandre. Som i en A/B-test deles trafikken til en side mellom forskjellige versjoner av designet. Formålet med en multivariattest er altså å måle effektiviteten hver designkombinasjon har på det overordnede målet.

Når et nettsted har mottatt nok trafikk til å kjøre testen, sammenlignes dataene fra hver variasjon for å finne ikke bare det mest vellykkede designet, men også for å potensielt avdekke hvilke elementer som har størst positiv eller negativ innvirkning på en besøkendes interaksjon.

Vanlige bruksområder for multivariattesting

Det mest siterte eksempelet på multivariattesting er en side der flere elementer er oppe til diskusjon – for eksempel en side som inneholder et registreringsskjema, en iøynefallende overskriftstekst og en bunntekst. For å kjøre en multivariattest på denne siden, i stedet for å lage et radikalt annerledes design som ved A/B-testing, kan du lage to forskjellige lengder på registreringsskjemaet, tre forskjellige overskrifter og to bunntekster. Deretter sender du besøkende til alle mulige kombinasjoner av disse elementene. Dette kalles også full faktoriell testing, og er en av grunnene til at multivariattesting ofte bare anbefales for nettsteder med en betydelig mengde daglig trafikk – jo flere variasjoner som må testes, desto lengre tid tar det å få meningsfulle data fra testen.

Etter at testen er kjørt, sammenlignes variablene på hver sidevariant med hverandre og med ytelsen i konteksten av andre versjoner av testen. Det som fremkommer, er et tydelig bilde av hvilken side som presterer best, og hvilke elementer som har størst ansvar for denne ytelsen. For eksempel kan det vise seg at endring av en sidebunntekst har svært liten effekt på sidens ytelse, mens endring av lengden på registreringsskjemaet har en enorm innvirkning.

Fordeler med multivariattester

Multivariattesting er en kraftig måte å rette redesigninnsatsen mot de elementene på siden der de vil ha størst effekt. Dette er spesielt nyttig ved utforming av landingssidekampanjer, for eksempel, ettersom dataene om effekten av et bestemt elements design kan brukes i fremtidige kampanjer, selv om konteksten til elementet har endret seg.

Begrensninger ved multivariattesting

Den aller største begrensningen ved multivariattesting er mengden trafikk som trengs for å fullføre testen. Siden alle eksperimenter er fullt faktorielle, kan for mange endrede elementer samtidig raskt summere seg til et svært stort antall mulige kombinasjoner som må testes. Selv et nettsted med relativt høy trafikk kan ha problemer med å fullføre en test med mer enn 25 kombinasjoner innen en rimelig tidsramme.

Når du bruker multivariattester, er det også viktig å vurdere hvordan de passer inn i den samlede syklusen med testing og redesign. Selv når du har informasjon om effekten av et bestemt element, kan det være lurt å kjøre ytterligere A/B-tester for å utforske andre radikalt forskjellige ideer. Dessuten er det noen ganger ikke verdt den ekstra tiden det tar å kjøre en fullstendig multivariattest når flere veldesignede A/B-tester gjør jobben like godt.

Konklusjonen om sammenligning av testformater

Ikke la forskjellene mellom A/B-testing og multivariattesting få deg til å tenke på dem som motsetninger. Tenk i stedet på dem som to kraftige optimaliseringsmetoder som utfyller hverandre. Velg den ene eller den andre, eller bruk begge sammen for å hjelpe deg med å få mest mulig ut av nettstedet ditt.