Utnyttja interaktionseffekter i A/B- och multivariat testning

I värsta fall kan interaktionseffekter göra det svårt eller omöjligt att tolka resultaten från samtidiga tester. Men interaktionseffekter behöver inte vara skrämmande!

I det här inlägget för experimentering och analytiker kommer jag att undersöka:

• Interaktionseffekter och hur de fungerar i samband med digital experimentering
• Hur multivariata testningar kan användas för att hitta interaktionseffekter och kvantifiera deras inverkan på experimentets mätvärden
• Hur en positiv interaktionseffekt kan öka experimentets prestanda

Multivariata testningar är endast tillgängliga för Web Experimentation för närvarande.

Vad är interaktionseffekter?

Innan vi går händelserna i förväg bör vi fastställa en gemensam definition. Inom statistik definieras en interaktion som "...en situation där två variablers samtidiga påverkan på en tredje inte är additiv."^1.

I samband med digital experimentering kan vi se interaktionseffekter när flera experiment riktar sig till samma användare. Kombinationen av variationer i experimenten kan förändra deras beteende på överraskande sätt som vi inte hade kunnat förutse genom att bara titta på resultaten för varje experiment för sig.

Tänk på ett exempel med två A/B-testningar på en enda Shop Now-knapp. Det ena testet ändrar knapptexten och det andra ändrar knappfärgen. Du konfigurerar dessa tester så att de utesluter varandra, vilket innebär att användare som deltar i det ena testet inte kan bli målgruppsinriktade för det andra.

En serie av två A/B-testningar med ömsesidigt uteslutande på Shop Now-knappen.

När båda testerna har uppnått signifikans upptäcker du att användare som såg textvariationen "Discover" klickade på knappen 2 % oftare och användare som såg den röda färgvariationen klickade på knappen 5 % oftare. Du kan anta att om du använder de vinnande varianterna för båda experimenten kommer du att se en total förbättring på 7 %. Eftersom du är en försiktig experimentör bestämmer du dig för att validera ditt antagande genom att testa den vinnande kombinationen direkt:

Till din förvåning upptäcker du att besökare som exponeras för kombinationen av vinnande variationer klickar på knappen 10 % oftare. Var kommer de "extra" 3 % från? Svaret är att du ser en interaktionseffekt, där prestandan för kombinationen av text och färg är bättre än vad man skulle kunna tro om man bara lägger ihop lyftet för de båda vinnande varianterna.

Grattis, du har just upptäckt en positiv interaktionseffekt!

Multivariat testning

Samma typer av effekter kan observeras när man kör multivariat testning (MVT), där en rad sektionsvariationer blandas ihop för att producera kombinationer (kolla in vår praktiska artikel om experimenttyper för mer information). Här är en snabb grundkurs i MVT-terminologi:

De av er som är bekanta med MVT tittar förmodligen på exemplet ovan och tänker "varför körde vi inte bara ett MVT från början?" Ja, du har helt rätt! En MVT skulle vara en idealisk testuppsättning för att bestämma den bästa kombinationen av text och färg för vår Shop Now-knapp.

Att köra ovanstående test som en MVT skulle ha några fördelar:

1. Du kan hoppa över den inledande körningen av två oberoende tester och gå direkt till testkombinationer
2. Du kan vara säker på att du hittar den bästa kombinationen av variabler, även om de variabler som testas oberoende av varandra inte presterar lika bra som de gör tillsammans

Ett annat sätt att uttrycka fördel 2 är att dina MVT-resultat kommer att inkludera effekterna av interaktionseffekter direkt från start. Faktum är att förmågan att upptäcka interaktionseffekter är den främsta anledningen till att kunniga experimentörer väljer att köra MVT i motsats till flera överlappande A/B-testningar!

Hitta interaktionseffekter med multivariat testning

Ok, så låt oss säga att du är redo att gå på jakt efter positiva interaktionseffekter i dina MVT. Vad händer härnäst?

Innan du startar ditt test bör du överväga om MVT:s sektioner sannolikt kommer att påverka varandra. Med andra ord är det mer sannolikt att du ser interaktionseffekter när sektionerna är tätt kopplade (som i knappexemplet ovan). Även om du säkert kan använda ett MVT för att bestämma den optimala kombinationen av två orelaterade variabler (till exempel hemsidans hero image och antalet objekt som visas på hemsidan), är det mycket mindre troligt att interaktionseffekter uppstår.

När ditt test har pågått ett tag kan du dyka in i dina resultat för att leta efter interaktionseffekter.

Vi presenterar sektionsupprullningar

Section rollups är ett nytt analysläge som fokuserar på bidraget från specifika sektionsvariationer till MVT:s övergripande prestanda. För att ta fram en sektionsrollup aggregeras mätvärden för alla kombinationer som innehåller en specifik sektionsvariation för att ge en ny bild av resultaten:

Du kan använda sektionsrollups som en heuristik för förekomsten av interaktionseffekter i dina MVT-resultat. När du tittar på en sektionsrollup ställer du dig frågan "Är prestandan för den här sektionsvariationen bättre än vad jag skulle förvänta mig om jag testade den isolerat?"

Den goda nyheten är att om du gör en fullständig faktoriell MVT (en där alla möjliga kombinationer testas) , testade du faktiskt varje sektionsvariation "isolerat" (dvs. i kombination med kontrollvariationerna för alla andra sektioner). I exemplet ovan blandade kombination 5 variation B för avsnittet Copy med kontrollvariationerna för avsnitten Button Color och Text Copy. Det lyft som du uppmätte i den här kombinationen representerar effekten av att visa sektionsvariationen utan att göra några andra ändringar i upplevelsen.

Om det uppmätta lyftet i sektionsrollupen är mycket högre än det uppmätta lyftet i "isoleringskombinationen" betyder det att prestandan för andra kombinationer förstärks av positiva interaktionseffekter!

Copy section rollup visar 13% lyft för variant B. Detta är mycket högre än -20% lyft för kombination 5. Detta innebär att kombinationerna 6, 7 och 8 (de andra kombinationerna som använder B-variationen för kopieringsavsnittet) förstärks av positiva interaktionseffekter!

Denna heuristiska teknik kommer inte att avslöja 100% av interaktionseffekterna eftersom vissa mönster av effektfördelning kan "annulleras" i sektionsöversikten. Analytiker som letar efter ett mer omfattande sätt att upptäcka och kvantifiera interaktionseffekter kan överväga att använda en ANOVA, eller Variansanalys-modell. Optimizelys resultatsida implementerar för närvarande inte ANOVA, men om du är intresserad av att utnyttja den här tekniken kan du överväga att exportera Optimizely-händelsedata och analysera den med ditt valfria statistikpaket.

Hantering av negativa interaktionseffekter

Hittills har vi mest pratat om positiva interaktionseffekter, men interaktionseffekter kan också påverka kombinationens prestanda negativt. Låt oss gå tillbaka till vår "Shop Now"-knapp och säga att vi nu vill bestämma den optimala kombinationen av knappfärg och textfärg. Vår MVT-layout ser ut så här:

Vi behöver inte ens starta testet för att veta att kombinationen med röd text på en röd knapp kommer att prestera dåligt!

Om du har anledning att tro att en viss kombination kommer att drabbas av negativa interaktionseffekter kan du förhindra att besökare exponeras för den kombinationen genom att använda ett partiellt faktoriellt MVT.

Vi kan enkelt stoppa all trafik till kombinationen rött-på-rött i en partiell faktoriell MVT!

Om du verkligen är orolig för interaktionseffekter och vill förhindra dem helt och hållet, är ett annat tillvägagångssätt att köra flera A/B-testningar som utesluter varandra. Med den här metoden kan du förhindra att användare utsätts för flera tester som sannolikt kommer att interagera med varandra, eller så kan du till och med begränsa användarna till att delta i ett test i taget. Detta minskar risken för dåliga interaktioner, men det kan verkligen minska den statistiska styrkan i dina tester eftersom varje test konkurrerar med andra om trafiken. Du kommer också att missa möjligheten att upptäcka positiva interaktionseffekter. Läs mer om hur du kör ömsesidigt exklusiva tester med Optimizely.

Vad allt detta innebär för program för experimentering

Puh! Vi har gått ganska djupt in på interaktionseffekter och hur de fungerar i A/B-testning och multivariat testning. Men vad betyder allt detta för din experimentering? Det finns några viktiga punkter att komma ihåg:

• Interaktionseffekter kan förekomma när användare utsätts för flera variabler, oavsett hur testet genomförs.
• Att planera kring interaktionseffekter (antingen genom att köra MVT och inaktivera dåliga kombinationer, eller genom att köra ömsesidigt uteslutande experiment) är en bra idé!
• Att upptäcka positiva interaktionseffekter (är det för företagsaktigt att kalla dem "synergier"?) är en primär drivkraft för att köra MVT.

Har du en historia om överraskande interaktioner som du har upptäckt genom experimentering? Vi vill gärna höra från dig!

^1. Dodge, Y. (2003). Oxford Dictionary of Statistical Terms. Oxford University Press. ISBN 0-19-920613-9.