test

Den 21. oktober 2010 besøkte president Obama Palo Alto for å samle inn penger på den gode, gamle måten: en innsamlingsmiddag til 30 400 dollar per tallerken. Denne velprøvde innsamlingsteknikken er en flott måte å samle inn penger på hvis du kan få USAs president til å komme på middag.

Men hvordan kan du samle inn penger hvis ingen har hørt om deg og alt du har er en nettside?

I 2007, da Obama var kandidat til nominasjonen og lå tosifret bak på meningsmålingene, var det stort sett alt vi hadde.

Eksperimentet

Som analysesjef for Obamas 2008-kampanje var det min jobb å bruke data til å hjelpe kampanjen med å ta bedre beslutninger. Vi startet med et enkelt eksperiment i desember 2007.

Dette eksperimentet lærte oss at hver besøkende på nettstedet vårt var en mulighet, og at det å utnytte denne muligheten gjennom optimalisering av nettstedet og A/B-testing kunne hjelpe oss med å samle inn flere titalls millioner dollar.

I dette eksperimentet testet vi to deler av startsiden vår: "Media"-delen øverst og "knappen" med oppfordringen til handling

Vi prøvde fire knapper og seks ulike medier (tre bilder og tre videoer). Vi brukte Google Website Optimizer (nå Google Optimize) og kjørte dette som en fullfaktoriell multivariat test, noe som bare er en fancy måte å si at vi testet alle kombinasjonene av knapper og medier mot hverandre samtidig.

Siden vi hadde fire knapper og seks ulike medier, betydde det at vi hadde 24 (4 x 6) kombinasjoner å teste. Hver besøkende på startsiden ble tilfeldig vist en av disse kombinasjonene, og vi sporet om de registrerte seg eller ikke.

Før du blar ned og ser resultatene, hvilken knapp og hvilket medium tror du hadde den høyeste påmeldingsraten?

Variasjoner av knapper

Resultater

Vi målte suksessen ved hjelp av påmeldingsfrekvensen: antall personer som meldte seg på, delt på antall personer som så den aktuelle varianten. Siden det var totalt 310 382 besøkende på startsiden i løpet av eksperimentet, betyr det at hver variant ble sett av omtrent 13 000 personer.

Her er de ulike påmeldingsratene vi observerte for hver seksjon:

Her er påmeldingsratene for kombinasjonene av de ulike delene:

Vinneren

Kombinasjonen av knapp og medier som ga best resultater, var "Kombinasjon 11", som besto av "Lær mer"-knappen og "Familie"-bildet:

Før vi kjørte eksperimentet, foretrakk kampanjepersonalet "Sams video" (den siste i lysbildeserien som vises ovenfor). Hvis vi ikke hadde kjørt dette eksperimentet, ville vi sannsynligvis ha brukt den videoen på startsiden. Det ville ha vært en stor feil, siden det viste seg at alle videoene gjorde det dårligere enn alle bildene.

Den vinnende varianten hadde en påmeldingsrate på 11,6 %. Den opprinnelige siden hadde en registreringsrate på 8,26 %. Det er en forbedring på 40,6 % i påmeldingsfrekvensen. Hva betyr en forbedring på 40,6 %?

Hvis vi antar at denne forbedringen holdt seg noenlunde konstant gjennom resten av kampanjen, kan vi se på de totale tallene ved kampanjens slutt og finne ut hvor stor forskjell dette ene eksperimentet hadde. Omtrent 10 millioner mennesker registrerte seg på splash-siden i løpet av kampanjen. Hvis vi ikke hadde kjørt dette eksperimentet og bare holdt oss til den opprinnelige siden, ville tallet vært nærmere 7 120 000 påmeldinger. Det er en forskjell på 2 880 000 e-postadresser.

Ved å sende e-post til personer som meldte seg på påmeldingssiden vår og be dem om å melde seg som frivillige, konverterte vi vanligvis 10 % av dem til frivillige. Det betyr at ytterligere 2 880 000 e-postadresser ble til 288 000 flere frivillige.

Hver e-postadresse som ble sendt inn via kampanjesiden vår, endte opp med å donere i gjennomsnitt 21 dollar i løpet av kampanjen. De ekstra 2 880 000 e-postadressene på e-postlisten vår ble til 60 millioner dollar i ekstra donasjoner.

Det har vi lært av dette

1. Hver besøkende på nettstedet ditt er en mulighet. Dra nytte av denne muligheten gjennom optimalisering av nettstedet og A/B-testing.
2. Antagelser omspørsmål. Alle i kampanjen elsket videoene. Alle videoene endte opp med å gjøre det dårligere enn alle bildene. Det ville vi aldri ha visst hvis vi ikke hadde stilt spørsmål ved antakelsene våre.
3. Eksperimenter tidlig og ofte. Vi kjørte dette eksperimentet i desember 2007, og høstet fruktene av det under resten av kampanjen. Fordi dette første eksperimentet viste seg å være så effektivt, fortsatte vi å kjøre dusinvis av eksperimenter på hele nettstedet gjennom hele kampanjen.

Hvorfor Optimizely?

Vi opprettet Optimizely fordi vi ønsket å gjøre eksperimenter som dette enklere å gjennomføre. Optimizely er faktisk det produktet jeg skulle ønske vi hadde hatt med i kampanjen.

Vi klarte bare å kjøre en liten brøkdel av eksperimentene vi ønsket å kjøre i løpet av kampanjen på grunn av tiden og bryderiet som var nødvendig for å kjøre eksperimenter med produkter som eksisterte på den tiden.

Hvis du er på utkikk etter en enklere måte å teste nettstedet ditt på, kan du prøve Optimizely og fortelle oss hva du synes.