Multivariattestning jämfört med A/B-testning

Skillnaden mellan ett multivariattest och ett A/B-test

Vad är skillnaden mellan A/B-testning och multivariattestning? Låt oss titta närmare på metodiken, vanliga användningsområden, fördelar och begränsningar hos dessa testmetoder.

Förklaring av A/B-testning

A/B-testning, som du kanske också har hört omnämnas som splittestning, är en metod för webbplatsoptimering där konverteringsgraden för två versioner av en sida – version A och version B – jämförs med varandra med hjälp av verklig trafik. Besökarna på webbplatsen fördelas till den ena eller den andra versionen. Genom att spåra hur besökarna interagerar med sidan de visas – vilka videor de tittar på, vilka knappar de klickar på eller huruvida de registrerar sig för ett nyhetsbrev – kan du avgöra vilken version av sidan som är mest effektiv.

Vanliga användningsområden för A/B-test

A/B-testning är den minst komplexa metoden för att utvärdera en siddesign och är användbar i en mängd olika situationer.

Ett av de vanligaste sätten att använda A/B-testning är att testa två helt olika designriktningar mot varandra. Till exempel kan den nuvarande versionen av ett företags startsida ha uppmaningar till handling (CTA) i texten, medan den nya versionen kanske eliminerar det mesta av texten men inkluderar en ny topprad som marknadsför den senaste produkten. Efter att tillräckligt många besökare har letts till båda sidorna kan antalet klick på respektive sidas version av CTA:n jämföras. Det är viktigt att notera att även om många designelement ändras i den här typen av A/B-test, spåras bara designens övergripande påverkan på varje sidas affärsmål, inte enskilda element.

A/B-testning är också användbart som optimeringsalternativ för sidor där bara ett element är uppe för diskussion. Till exempel kan en djuraffär som kör ett A/B-test på sin webbplats upptäcka att 85 % fler användare är villiga att registrera sig för ett nyhetsbrev som hålls upp av en tecknad mus jämfört med ett som dyker upp ur ringarna på en boaorm. När A/B-testning används på detta sätt inkluderas ofta en tredje eller till och med fjärde version av sidan i testet, vilket ibland kallas ett A/B/C/D-test. Det innebär förstås att trafiken till webbplatsen måste delas i tredjedelar eller fjärdedelar, med en mindre andel besökare till varje version.

Fördelar med A/B-test

A/B-testning är enkel i koncept och design och är en kraftfull och brett använd testmetod.

Att hålla antalet spårade variabler litet innebär att dessa tester kan leverera tillförlitliga data mycket snabbt, eftersom de inte kräver stora mängder trafik för att köras. Det är särskilt hjälpsamt om din webbplats har ett litet antal dagliga besökare. Att dela upp trafiken i fler än tre eller fyra segment skulle göra det svårt att slutföra ett test. Faktum är att A/B-testning är så snabbt och enkelt att tolka att vissa stora webbplatser använder det som sin primära testmetod och kör testcykler efter varandra istället för mer komplexa multivariattester.

A/B-testning är också ett bra sätt att introducera konceptet testningsbaserad optimering för ett skeptiskt team, eftersom det snabbt kan demonstrera den mätbara effekten av en enkel designförändring.

Begränsningar med A/B-testning

A/B-testning är ett mångsidigt verktyg, och i kombination med smart experimentdesign och ett engagemang för iterativa cykler av testning och omdesign kan det hjälpa dig att göra enorma förbättringar på din webbplats. Det är dock viktigt att komma ihåg att begränsningarna för den här typen av test sammanfattas i namnet. A/B-testning används bäst för att mäta effekten av två till fyra variabler på interaktioner med sidan. Tester med fler variabler tar längre tid att köra, och A/B-testning avslöjar ingen information om interaktionen mellan variabler på en enskild sida.

Om du behöver information om hur många olika element interagerar med varandra är multivariattestning det optimala tillvägagångssättet.

Förklaring av multivariattestning

Multivariattestning använder samma grundmekanism som A/B-testning, men jämför ett högre antal variabler och avslöjar mer information om hur dessa variabler interagerar med varandra. Precis som i ett A/B-test delas trafiken till en sida mellan olika versioner av designen. Syftet med ett multivariattest är alltså att mäta effektiviteten hos varje designkombination i förhållande till det slutgiltiga målet.

När en webbplats har fått tillräckligt med trafik för att köra testet jämförs data från varje variation för att inte bara hitta den mest framgångsrika designen, utan även potentiellt avslöja vilka element som har störst positiv eller negativ påverkan på en besökares interaktion.

Vanliga användningsområden för multivariattestning

Det mest citerade exemplet på multivariattestning är en sida där flera element är uppe för diskussion – till exempel en sida som innehåller ett registreringsformulär, någon form av iögonfallande rubriktext och en sidfot. För att köra ett multivariattest på den här sidan, istället för att skapa en radikalt annorlunda design som vid A/B-testning, kan du skapa två olika längder på registreringsformuläret, tre olika rubriker och två sidfötter. Därefter leder du besökare till alla möjliga kombinationer av dessa element. Detta kallas också fullfaktoriell testning och är en av anledningarna till att multivariattestning ofta rekommenderas bara för webbplatser med en betydande mängd daglig trafik – ju fler variationer som behöver testas, desto längre tid tar det att få meningsfull data från testet.

Efter att testet har körts jämförs variablerna på varje sidvariation med varandra och med deras prestation i kontexten av andra versioner av testet. Vad som framträder är en tydlig bild av vilken sida som presterar bäst och vilka element som är mest ansvariga för denna prestation. Till exempel kan en ändring av sidfoten visa sig ha mycket liten effekt på sidans prestation, medan en ändring av registreringsformulärets längd har en enorm påverkan.

Fördelar med multivariattester

Multivariattestning är ett kraftfullt sätt att rikta dina omdesigninsatser mot de element på din sida där de får störst effekt. Detta är särskilt användbart vid utformning av kampanjer för landningssidor, till exempel, eftersom data om effekten av ett visst elements design kan tillämpas på framtida kampanjer, även om elementets kontext har förändrats.

Begränsningar med multivariattestning

Den enskilt största begränsningen med multivariattestning är mängden trafik som krävs för att slutföra testet. Eftersom alla experiment är fullfaktoriella kan för många föränderliga element på en gång snabbt resultera i ett mycket stort antal möjliga kombinationer som måste testas. Även en webbplats med relativt hög trafik kan ha svårt att slutföra ett test med fler än 25 kombinationer inom en rimlig tidsram.

När du använder multivariattester är det också viktigt att tänka på hur de passar in i din övergripande cykel av testning och omdesign. Även när du har information om effekten av ett visst element kan du vilja köra ytterligare A/B-testningscykler för att utforska andra radikalt annorlunda idéer. Dessutom är det ibland inte värt den extra tid som krävs för att köra ett fullständigt multivariattest när flera väl utformade A/B-test kan göra jobbet lika bra.

Slutsatsen om jämförelse av testformat

Låt inte skillnaderna mellan A/B-testning och multivariattestning få dig att se dem som motsatser. Se dem istället som två kraftfulla optimeringsmetoder som kompletterar varandra. Välj den ena eller den andra, eller använd dem båda tillsammans för att hjälpa dig få ut det mesta av din webbplats.