Utnyttelse av interaksjonseffekter i A/B- og multivariate tester

I verste fall kan interaksjonseffekter gjøre det vanskelig eller umulig å tolke resultatene av samtidige tester. Men interaksjonseffekter trenger ikke å være skremmende!

I dette innlegget for eksperimentatorer og analytikere skal jeg se nærmere på dette:

• Interaksjonseffekter og hvordan de fungerer i forbindelse med digitale eksperimenter
• Hvordan multivariate tester kan brukes til å finne interaksjonseffekter og kvantifisere deres innvirkning på eksperimentets beregninger
• Hvordan positive interaksjonseffekter kan øke eksperimentets ytelse

Multivariate tester er bare tilgjengelig for webeksperimenter på dette tidspunktet.

Hva er interaksjonseffekter?

Før vi går for fort frem, la oss etablere en felles definisjon. I statistikk defineres en interaksjon som "... en situasjon der den samtidige påvirkningen av to variabler på en tredje ikke er additiv."^1.

I forbindelse med digitale eksperimenter kan vi se interaksjonseffekter når flere eksperimenter retter seg mot de samme brukerne. Kombinasjonen av eksperimentvariasjoner kan endre atferden deres på overraskende måter som vi ikke kunne forutse bare ved å se på resultatene for hvert eksperiment uavhengig av hverandre.

Ta et eksempel med to A/B-tester på én og samme Handle nå-knapp. Den ene testen endrer knappens tekst, og den andre endrer knappens farge. Du konfigurerer disse testene til å være gjensidig utelukkende, noe som betyr at brukere som deltar i den ene testen, ikke kan nås av den andre.

En serie med to gjensidig utelukkende A/B-tester på Handle nå-knappen.

Etter at begge testene er signifikante, finner du ut at brukere som så tekstvarianten "Oppdag", klikket på knappen 2 % oftere, og at brukere som så den røde fargevarianten, klikket på knappen 5 % oftere. Du kan anta at hvis du bruker de vinnende variantene i begge eksperimentene, vil du se en samlet forbedring på 7 %. Fordi du er en forsiktig eksperimentator, bestemmer du deg for å validere antagelsen din ved å teste vinnerkombinasjonen direkte:

Til din overraskelse finner du ut at besøkende som blir eksponert for kombinasjonen av vinnervarianter, klikker på knappen 10 % oftere. Hvor kommer de "ekstra" 3 % fra? Svaret er at du ser en interaksjonseffekt, der kombinasjonen av tekst og farge gir bedre resultater enn du skulle tro hvis du bare legger sammen effekten av begge vinnervariantene.

Gratulerer, du har nettopp oppdaget en positiv interaksjonseffekt!

Multivariate tester

Den samme typen effekter kan observeres når man kjører multivariate tester (MVT), der en rekke seksjonsvariasjoner blandes sammen for å produsere kombinasjoner (se vår praktiske artikkel om eksperimenttyper for mer informasjon). Her er en rask innføring i MVT-terminologi:

De av dere som er kjent med MVT, ser sannsynligvis på eksemplet ovenfor og tenker "hei, hvorfor kjørte vi ikke bare et MVT i utgangspunktet?" Vel, det har du helt rett i! En MVT ville vært et ideelt testoppsett for å finne den beste kombinasjonen av tekst og farge for Shop Now-knappen vår.

Å kjøre testen ovenfor som en MVT har noen fordeler:

1. Du kan hoppe over den første kjøringen av to uavhengige tester og gå rett til å teste kombinasjoner
2. Du kan være sikker på at du finner den beste kombinasjonen av variabler, selv om de variablene som testes uavhengig av hverandre, ikke presterer like godt som de gjør sammen

En annen måte å si det på er at MVT-resultatene dine vil inkludere effekten av interaksjonseffekter fra første stund. Faktisk er muligheten til å oppdage interaksjonseffekter den viktigste grunnen til at kyndige eksperimentatorer velger å kjøre MVT i stedet for flere overlappende A/B-tester!

Finne interaksjonseffekter med multivariate tester

Ok, så la oss si at du er klar til å gå på jakt etter positive interaksjonseffekter i MVT-ene dine. Hva gjør du nå?

Før du setter i gang testen, bør du vurdere om det er sannsynlig at delene i MVT-en vil påvirke hverandre. Med andre ord er det mer sannsynlig at du ser interaksjonseffekter når delene er tett koblet sammen (som i knappeksempelet ovenfor). Selv om du absolutt kan bruke en MVT til å finne den optimale kombinasjonen av to variabler som ikke er relatert til hverandre (for eksempel heltebildet på hjemmesiden og antall elementer som vises på hjemmesiden), er det mye mindre sannsynlig at det oppstår interaksjonseffekter.

Etter at testen har pågått en stund, kan du dykke ned i resultatene for å se etter interaksjonseffekter.

Vi introduserer seksjonsoppsummeringer

Seksjonsoppsummeringer er en ny analysemodus som fokuserer på bidraget fra spesifikke seksjonsvariasjoner til MVT-ens samlede ytelse. For å produsere en seksjonsoppsummering aggregeres beregninger for alle kombinasjoner som inneholder en spesifikk seksjonsvariasjon, slik at du får en ny visning av resultatene:

Du kan bruke seksjonsoppsummeringer som en heuristisk metode for å se om det finnes interaksjonseffekter i MVT-resultatene dine. Når du ser på en seksjonsoppsummering, stiller du spørsmålet "Er ytelsen til denne seksjonsvariasjonen bedre enn hva jeg ville forventet hvis jeg testet den isolert?"

Den gode nyheten er at hvis du gjennomfører en fullstendig faktoriell MVT (der alle mulige kombinasjoner testes), har du faktisk testet hver seksjonsvariasjon "isolert" (dvs. i kombinasjon med kontrollvariasjonene for alle andre seksjoner). I eksempelet ovenfor blandet kombinasjon 5 variasjon B for kopiseksjonen med kontrollvariasjonene for seksjonene Knappfarge og Tekstkopi. Løftet du målte i denne kombinasjonen, representerer effekten av å vise seksjonsvariasjonen uten å gjøre noen andre endringer i opplevelsen.

Hvis løftet som måles i seksjonsoppsettet er mye høyere enn løftet som måles i den "isolerte" kombinasjonen, betyr det at ytelsen til andre kombinasjoner økes av positive interaksjonseffekter!

Copy Section Rollup viser 13 % løft for variant B. Dette er mye høyere enn løftet på -20 % for kombinasjon 5. Dette betyr at kombinasjonene 6, 7 og 8 (de andre kombinasjonene som bruker B-variasjonen for kopiseksjonen) blir styrket av positive interaksjonseffekter!

Denne heuristiske teknikken vil ikke avdekke 100 % av interaksjonseffektene, ettersom visse mønstre i effektfordelingen kan bli "utlignet" i seksjonsoversikten. Analytikere som er ute etter en mer omfattende måte å oppdage og kvantifisere interaksjonseffekter på, kan vurdere å bruke en ANOVA- eller variansanalysemodell. Optimizelys resultatside implementerer for øyeblikket ikke ANOVA, men hvis du er interessert i å utnytte denne teknikken, kan du vurdere å eksportere hendelsesdata fra Optimizely og analysere dem ved hjelp av din foretrukne statistikkpakke.

Håndtering av negative interaksjonseffekter

Frem til nå har vi snakket mest om positive interaksjonseffekter, men interaksjonseffekter kan også påvirke kombinasjonsytelsen negativt. La oss gå tilbake til "Handle nå"-knappen vår, og si at vi nå ønsker å finne den optimale kombinasjonen av knappfarge og tekstfarge. MVT-oppsettet vårt ser slik ut:

Vi trenger ikke engang å starte testen for å vite at kombinasjonen med rød tekst på en rød knapp kommer til å gi dårlige resultater!

Hvis du har grunn til å tro at en bestemt kombinasjon vil ha negative interaksjonseffekter, kan du forhindre at besøkende blir eksponert for denne kombinasjonen ved å bruke en delvis faktoriell MVT.

Vi kan enkelt stoppe all trafikk til kombinasjonen rød-på-rød i en partiell faktoriell MVT!

Hvis du virkelig er bekymret for interaksjonseffekter og ønsker å forhindre dem helt, er en annen tilnærming å kjøre flere gjensidig utelukkende A/B-tester. På denne måten kan du forhindre at brukerne blir eksponert for flere tester som sannsynligvis vil interagere med hverandre, eller du kan til og med begrense brukerne til å delta i én test om gangen. Dette reduserer risikoen for dårlig interaksjon, men det kan også redusere den statistiske effekten av testene dine, ettersom hver enkelt test konkurrerer med andre om trafikken. Du går også glipp av muligheten til å oppdage positive interaksjonseffekter. Finn ut mer om hvordan du kjører gjensidig utelukkende tester med Optimizely.

Hva alt dette betyr for eksperimenteringsprogrammer

Uff da! Vi har gått ganske dypt inn i interaksjonseffekter og hvordan de fungerer i A/B- og multivariate tester. Men hva betyr alt dette for eksperimenteringsprogrammet ditt? Det er noen viktige punkter du må huske på:

• Interaksjonseffekter kan oppstå når brukerne eksponeres for flere variabler, uavhengig av hvilken type test det er snakk om.
• Det er lurt å planlegge rundt interaksjonseffekter (enten ved å kjøre MVT og deaktivere dårlige kombinasjoner, eller ved å kjøre gjensidig utelukkende eksperimenter)!
• Å oppdage positive interaksjonseffekter (er det for bedriftsinternt å kalle dem "synergier"?) er en viktig motivasjon for å kjøre MVT.

Har du en historie om overraskende interaksjoner du har oppdaget gjennom eksperimentering? Vi vil gjerne høre fra deg!

^1. Dodge, Y. (2003). Oxford Dictionary of Statistical Terms. Oxford University Press. ISBN 0-19-920613-9.