Plattform for eksperimentering: Bør du bygge eller kjøpe?

Optimizely oppfant kategorien digital eksperimentering i 2013, og vi har flere eksperimenteringskunder og flere eksperimenter som kjøres på plattformen vår enn noen andre. Noen ganger ser vi at de største kundene våre forlater oss for å bygge en intern eksperimenteringsplattform. Vi har også sett at en god del av disse kundene kommer tilbake til oss noen år senere.

I tillegg til denne historiske kunnskapsbasen har vi nylig intervjuet mer enn 15 store eksperimenterende organisasjoner som er nåværende kunder, tidligere kunder, tilbakevendende kunder eller ikke-kunder, og som alle har bygget eller vurdert å bygge et internt eksperimenteringsverktøy.

Før du himler med øynene og klikker deg bort, bør du høre på oss. Vi lover å gi deg et fullstendig bilde av hva som er det beste alternativet for din virksomhet. La oss dykke ned i de viktigste vurderingene, med innsikt fra Optimizelys omfattende erfaring på området - både triumfene og ansiktslammelsene.

TL;DR

• Selskaper som bygger egne eksperimenteringsplattformer, går sjelden til verks med den metodiske stringensen som beslutningen fortjener.
• Kunder som bygger sitt eget eksperimentsystem, bruker generelt mer for å få mindre, men det finnes gode grunner til det.
• Det finnes en riktig måte å ta avgjørelsen på, og Optimizely har ekspertisen som skal til for å gjøre enhver organisasjon i stand til å ta en god avgjørelse for sine egne formål.

Det grunnleggende prinsippet for beslutninger om å bygge eller kjøpe

Alle selskaper blir bombardert med spørsmål om hvorvidt de skal kjøpe eller bygge ting. Det har blitt skrevet mye om dette. Kjernen i rammeverket er ganske enkel:

• Bygg bare det som er kjernen i det kundevendte produktet, eller der det skaper et betydelig konkurransefortrinn.
• Kjøp alt annet.

Optimizely prøver å følge dette prinsippet like mye som alle andre: Til tross for at vi er et teknologiselskap, har vi hundrevis av teknologileverandører selv.

Hvorfor tror bedrifter at de bør bygge en intern eksperimenteringsplattform?

Ideen om en spesialbygd plattform kan være fristende for bedrifter av følgende grunner:

Ingeniørenes instinkt for å bygge

Ingeniører er de som bygger digitale opplevelser. De er de viktigste teamene for digital suksess. Deres første instinkt er naturlig nok ofte å bygge. Alle selskapene vi snakket med, bekreftet at beslutningen om å lage en intern eksperimenteringsplattform begynte med en ingeniør som ønsket å bygge en intern løsning.

Oppfatning av kostnadsbesparelser

Når kostnadene for en tredjepartsplattform stiger over et visst nivå, reagerer organisasjoner instinktivt på kostnadene og tror at de kan spare penger ved å bygge et internt verktøy.

Amazon gjorde det på den måten

Det finnes en liten gruppe store teknologiselskaper med en markedsverdi på over 250 milliarder dollar, en unik kultur og et stort antall toppingeniører som har bygget gode interne verktøy. Når noen fra disse selskapene begynner i en litt mindre eller mindre teknisk sofistikert organisasjon, antar de ofte at spillereglene er de samme.

Den interne eksperimenteringsplattformen sliter med å oppnå de tiltenkte målene for kostnader, hastighet og kapasitet.

Kostnader

Beslutningen om å bygge er sjelden begrunnet med robuste kostnadsmodeller. Dette forsterkes ytterligere av mangelen på omfattende kravinnhenting og en gjennomgående plan. Fordi ideen vanligvis begynner med ingeniører, undervurderer de de ikke-tekniske behovene og prosessene som er avgjørende for høy eksperimenthastighet, selv i de mest sofistikerte, store organisasjonene. Dette gjelder først og fremst byggekostnadene på forhånd, og deretter også det løpende vedlikeholdet.

Vi har hatt utallige kunder og potensielle kunder som vurderer å bygge en eksperimenteringsplattform. Vi har bygget en robust, objektiv kostnadsmodell som vi fullfører sammen med organisasjonen. Hver gang får vi en variant av det samme budskapet: En intern eksperimenteringsplattform koster mer for å få mindre. Dette skyldes at Optimizely har hatt hundrevis av ingeniører til å bygge eksperimenteringsplattformen vår i over 10 år. Det er rett og slett ingen måte å komme utenom all den tiden og innsatsen på.

Hastighet

Avkastningen på eksperimentering er en faktor av kvalitet og hastighet. Vi ser bort fra kvaliteten på eksperimentene i denne øvelsen og antar at alle eksperimentene som kjøres, er de "riktige" å kjøre. Du trenger hastighet, for eksperimentering avslører at selv de smarteste selskapene bare kan gjette seg til den beste digitale opplevelsen 10-20 % av tiden.

Hvis du bare skal få 1-2 av 10 veddemål riktig, må du gjøre mange veddemål!

Vi opplever stadig at selv med eksisterende interne verktøy i selskaper som omsetter for mer enn 100 milliarder dollar, er hastigheten mye lavere enn den kunne vært med Optimizely.

Hva er årsaken til at hastigheten synker?

Når selskaper bygger interne verktøy, samler de ikke inn omfattende krav. Fordi ideen vanligvis begynner med ingeniører, er deres definisjon av en funksjonell eksperimenteringsplattform en svart boks som kan kjøre eksperimenter, men som er helt avhengig av dyre ingeniørtimer for å utføre selv grunnleggende oppgaver knyttet til eksperimentering, uten synlighet eller mulighet for ikke-ingeniører til å gjøre noe som helst.

1. Ingen grensesnitt og UX

   De undervurderer tids- og effektivitetskostnadene ved et brukervennlig grensesnitt for alle parter, inkludert ingeniører.

   • Nye ingeniører kan ikke finne ut hvordan de skal kjøre eksperimenter, så det er vanskeligere å skalere eksperimentene.
   • Interessenter som kanskje gjør mye av planleggingsarbeidet, som markedsførere eller produktsjefer, kan ikke gjøre noe arbeid knyttet til eksperimentering. Mange små, ikke-tekniske oppgaver må gjøres gjentatte ganger av ingeniører.

2. Eksperimentets kjøretid

   Uavhengig av kvaliteten på den statistiske algoritmen, fordi programmet er en svart boks, er selv det å sjekke et eksperiment et stort løft. Hvis det store løftet utføres, kan det føre til at testen ikke har nådd signifikans, noe som betyr at en oppgave som allerede er dyr å utføre bare én gang, nå har blitt gjort flere ganger per eksperiment. Noen interne systemer "løser" dette problemet ved å angi forhåndsbestemte kjøretider for testene, men i mange tilfeller er dette bortkastet hvis testen når statistisk signifikans for tidlig.

3. Dataanalyse

   Selv enkle analyser av tester krever flere trinn på tvers av plattformer. På Optimizely-plattformen tar det fem minutter å se på resultatsiden vår.

   

4. Datanøyaktighet

   Det er vanskelig å randomisere målgrupper på en konsekvent måte og deretter opprettholde konsistent bucketing på tvers av besøk eller plattformer. Vi har hatt flere store kunder som forlot oss for å bygge sin egen plattform, for så å komme tilbake noen år senere fordi de kjørte over 100 A/A-tester og aldri kunne levere troverdige resultater. Ingen ønsker å kjøre tester når de ikke stoler på dataene!

5. Styring + synlighet

   Fordi disse systemene ofte er svarte bokser som bare kan endres av ingeniører, er det større sannsynlighet for at feilaktige distribusjoner eller ødelagte varianter forblir live lenger. Når noe går galt, er det vanskeligere å diagnostisere det fordi ingen kan se hva som skjer, og plattformen og disiplinen mister raskt troverdighet i organisasjonen.

6. Dokumentasjon

   Enhver teknologi krever mye dokumentasjon for å gjøre det mulig for flere team å jobbe. Det er utrolig mye arbeid å holde disse dokumentene oppdatert, og det har de ikke tid til.

Hvordan spiller dette inn over tid?

Selv om det kan være enighet om planen om å bygge en intern eksperimenteringsplattform når den først utformes, er det sjelden at prosjektet er fullstendig avgrenset, og tiden til verdi strekker seg lenger enn alle forventer. Dette fører ofte til at de tilgjengelige ressursene reduseres før prosjektet oppnår det funksjonalitetsnivået som er nødvendig for å innfri løftene.

Når er det en god idé å bygge?

Selv om kjøp ofte er det beste valget, finnes det scenarier der det kan være berettiget å bygge en intern eksperimenteringsplattform:

• Du er Amazon: Det finnes et svært lite antall selskaper med en markedsverdi på over 250 milliarder dollar, høy teknisk ekspertise og en unik kultur som har hatt eksperimentering så dypt i sitt DNA fra dag én at de har investert riktig beløp på riktig tidspunkt for å bygge en god intern plattform, og som faktisk har noen troverdige konkurransefortrinn på grunn av det.
• Eksistensiell datarisiko + gransking: For det lille antallet selskaper med en markedsverdi på over 250 milliarder dollar, spesielt med tidligere datarelaterte datainnbrudd, skandaler eller offentlige etterforskninger, kan det være verdt det å kunne si at ingen tredjepart noensinne har tilgang til førstepartsdata.
• Hybride tilnærminger: Noen av kundene våre ønsker å bygge noen av komponentene i eksperimenteringsplattformen og kjøpe andre. Omstendighetene er for forskjellige til at det er mulig å fange opp brede trender, men dette kan være et mellomalternativ.

Hvordan ta den riktige avgjørelsen for din organisasjon

Debatten om å kjøpe eller bygge er ikke entydig. Til å begynne med bør du gjennomføre en grundig analyse. Utfør en omfattende kost-nytte-analyse, der du ikke bare tar hensyn til de opprinnelige utviklingskostnadene, men også løpende vedlikehold, mulighetskostnader og potensielle begrensninger.

Optimizely ga Forrester Consulting i oppdrag å gjennomføre en Total Economic Impact™-studie (TEI) for å påvise den potensielle økonomiske effekten av å ta i bruk Optimizely. Hva mer, spør du?

• Vurder kjernekompetansen: Spør deg selv om det å bygge en eksperimenteringsplattform er i tråd med bedriftens primære fokus og konkurransefortrinn. Men hvordan går du frem for å finne den rette plattformen for dine behov? Vår mal for RFP for eksperimentering viser hvilke spørsmål du bør stille.
• Vurder langsiktige implikasjoner: Tenk lenger enn til de umiddelbare behovene, og vurder hvordan valget ditt vil påvirke skalerbarhet, fleksibilitet og ressursallokering i årene som kommer. Eksperimentene dine må for eksempel oppnå statistisk signifikans. Optimizelys kalkulator for utvalgsstørrelse sørger for at du ikke lenger trenger å vente på en forhåndsinnstilt utvalgsstørrelse for å sikre gyldigheten av resultatene dine.
• Søk ekspertråd: Rådfør deg med erfarne utøvere og leverandører på området. Hvis du har en plattform eller vurderer å bygge en, så kom til oss! Vi kan gjøre en evaluering av totale eierkostnader og hastighet for deg.

Optimizely kan hjelpe...

Optimizely-kunder

Hvis du bygger en intern plattform, eller hvis noen i organisasjonen din vurderer å bygge en: Ta kontakt med Customer Success Manager eller meg (pete.gray@optimizely) med en gang, så gjennomfører vi en kostnadsfri studie av de totale eierkostnadene. Vi vil virkelig det beste for deg: La oss hjelpe deg med å evaluere denne beslutningen på riktig måte. Husk at det beste med rådene våre er at de er gratis, velinformerte og at du kan gjøre hva du vil med dem!

Ikke-Optimizely-kunder

Hvis du har en plattform, eller tenker på å bygge en, kom til oss! Vi gjør en evaluering av totale eierkostnader og hastighet for deg!