Plattform för experimentering: Ska du bygga eller köpa?

Efter att ha uppfunnit kategorin digital experimentering 2013 har Optimizely fler experimenteringskunder och fler experiment som körs på vår plattform än någon annan. Vi ser ibland att våra större kunder lämnar oss för att bygga en intern plattform för experimentering. Vi har också sett ett stort antal av dessa kunder komma tillbaka till oss några år senare.

Förutom denna historiska kunskapsbas intervjuade vi nyligen 15+ stora experimenterande organisationer som är nuvarande kunder, tidigare kunder, återkommande kunder eller icke-kunder som alla har byggt eller övervägt att bygga ett internt experimenteringsverktyg.

Innan du rullar med ögonen och klickar bort, lyssna på oss. Vi lovar att ge dig en fullständig bild av det bästa alternativet för ditt företag. Låt oss dyka in i de viktigaste övervägandena och dra insikter från Optimizelys omfattande upplevelse inom området - både triumferna och ansiktspalmerna.

TL;DR

• Företag som bygger plattformar för experimentering närmar sig sällan det med den metodiska noggrannhet som beslutet förtjänar.
• Kunder som bygger sina egna system för experimentering spenderar i allmänhet mer för att få mindre, men det finns giltiga motiveringar.
• Det finns ett rätt sätt att fatta beslutet, och Optimizely har expertisen för att ge alla organisationer möjlighet att fatta ett bra beslut för sina egna syften.

Den grundläggande principen för beslut om att bygga eller köpa

Alla företag utsätts för frågor om huruvida de ska köpa eller bygga saker. Mycket har skrivits om det. Det grundläggande ramverket är ganska enkelt:

• Bygg bara det som är kärnan i din kundinriktade produkt eller där det skapar en betydande konkurrensfördel.
• Köp allt annat.

Optimizely försöker tillämpa den principen lika mycket som alla andra: trots att vi är ett teknikföretag har vi hundratals teknikleverantörer själva.

Varför tror företag att de ska bygga en intern plattform för experimentering?

Idén om en specialbyggd plattform kan vara lockande för företag på grund av följande skäl:

Ingenjörens instinkt att bygga

Ingenjörer är de som bygger digitala upplevelser. De är de viktigaste teamen för digital framgång. Naturligtvis är deras första instinkt ofta att bygga. Alla företag vi talade med bekräftade att beslutet att skapa en intern plattform för experimentering började med en ingenjör som ville bygga en intern lösning.

Uppfattningen om kostnadsbesparingar

När kostnaderna för en tredjepartsplattform stiger över en viss nivå reagerar organisationer instinktivt på kostnaden och tror att de kan spara pengar genom att bygga ett internt verktyg.

Amazon gjorde det på det sättet

Det finns en liten grupp stora teknikföretag med ett marknadsvärde på över 250 miljarder dollar, unika kulturer och det största antalet toppingenjörer som har byggt bra interna verktyg. När någon från dessa företag ansluter sig till en något mindre eller mindre tekniskt sofistikerad organisation antar de ofta att spelboken är densamma.

Den interna plattformen för experimentering kämpar för att uppnå avsedda mål för kostnad, hastighet och funktion.

Kostnaden

Beslutet att bygga motiveras sällan med en robust kostnadsmodellering. Detta förvärras ytterligare av att det saknas en omfattande kravinsamling och en plan från början till slut. Eftersom idén vanligtvis börjar hos ingenjörerna, underskattar de de icke-tekniska behov och processer som är avgörande för en hög hastighet på experimenten, även i de mest sofistikerade, stora organisationerna. Detta gäller först och främst byggkostnaderna och sedan även det löpande underhållet.

Vi har engagerat otaliga potentiella kunder eller kunder som funderar på att bygga en plattform för experimentering. Vi har byggt en robust, opartisk kostnadsmodell som vi kompletterar med organisationen. Varje gång levererar den en variation på samma budskap: en intern plattform för experimentering kostar mer för att få mindre. Detta beror på att Optimizely har haft hundratals ingenjörer som har byggt vår plattform för experimentering i över 10 år. Det finns helt enkelt inget sätt att komma runt all den tiden och ansträngningen.

Hastighet

ROI för experimentering är en faktor av kvalitet och hastighet. Vi lägger kvaliteten på experimenten åt sidan i den här övningen och antar att alla experiment som körs är de "rätta" att köra. Du behöver snabbhet eftersom experimentering avslöjar att även de smartaste företagen bara kan gissa sig till den bästa digitala upplevelsen 10-20 % av tiden.

Om du bara kommer att få 1-2 av 10 satsningar rätt måste du göra många satsningar!

Vi ser konsekvent att även med befintliga interna verktyg på företag som omsätter mer än 100 miljarder dollar är hastigheten mycket lägre än vad den skulle kunna vara med Optimizely.

Vad är det som gör att hastigheten sjunker?

När företag bygger interna verktyg samlar de inte in omfattande krav. Eftersom idén vanligtvis börjar med ingenjörer är deras definition av en funktionell experimenteringsplattform en svart låda som kan köra experiment, men som är helt beroende av dyra ingenjörstimmar för att göra även grundläggande uppgifter relaterade till experimentering utan synlighet eller möjlighet för icke-ingenjörer att göra någonting.

1. Inget gränssnitt och UX

   De underskattar tids- och effektivitetskostnaderna för ett lättanvänt gränssnitt för alla parter, inklusive ingenjörer.

   • Nya ingenjörer kan inte räkna ut hur man kör experiment så det är svårare för experimentering att skala upp.
   • Intressenter som kan göra en stor del av planeringsarbetet, som marknadsförare eller Product Marketing Managers, kan inte göra något arbete relaterat till experimentering. Många små, icke-tekniska uppgifter måste utföras repetitivt av ingenjörer.

2. Experimentets körtid

   Separat från kvaliteten på den statistiska algoritmen, eftersom programmet är en svart låda, är även handlingen att kontrollera ett experiment ett stort lyft. Om det stora lyftet utförs kan det resultera i att testet inte har uppnått signifikans, vilket innebär att en uppgift som redan är dyr att utföra bara en gång nu har gjorts flera gånger per experiment. Vissa interna system "löser" detta problem genom att ställa in förutbestämda testkörningstider, men detta är slöseri i många användningsfall om testet når statistisk signifikans tidigt.

3. Analys av data

   Även enkla analyser av tester kräver flera steg av analytiker på olika plattformar. I Optimizely-plattformen tar det 5 minuter att titta på vår resultatsida.

   

4. Noggrannhet i data

   Att konsekvent randomisera målgrupper och sedan upprätthålla konsekvent bucketing över besök eller plattformar är svårt att göra. Vi har haft flera stora kunder som lämnade oss för att bygga sin egen plattform för att sedan återvända några år senare eftersom de körde 100+ A/A-testningar och aldrig kunde leverera trovärdiga resultat. Ingen vill köra tester när de inte litar på datan!

5. Styrning + synlighet

   Eftersom dessa system ofta är svarta lådor som bara kan ändras av ingenjörer, finns det en högre sannolikhet för felaktiga driftsättningar eller trasiga varianter att vara live längre. När något går fel, eftersom ingen kan se vad som händer, är det svårare att diagnostisera och plattformen och disciplinen förlorar snabbt trovärdighet i organisationen.

6. Dokumentation

   All teknik kräver massor av dokumentation för att möjliggöra fler team. Att hålla dessa dokument uppdaterade är en otrolig mängd arbete som de inte har tid att göra.

Hur ser det här ut över tid?

Även om det kan finnas en samsyn när planen att bygga en plattform för intern experimentering initialt utformas, eftersom projektet sällan är heltäckande, sträcker sig tiden till värde bortom allas förväntningar. Detta leder ofta till att de tillgängliga resurserna minskar innan projektet uppnår den funktionalitetsnivå som krävs för att hålla vad som utlovats.

När är det en bra idé att bygga?

Även om köp ofta är det bästa valet finns det scenarier där det kan vara motiverat att bygga en plattform för intern experimentering:

• Du är Amazon: Det finns ett mycket litet antal företag med ett marknadsvärde på över 250 miljarder dollar, hög teknisk expertis och unika kulturer som hade experimentering så djupt i sitt DNA från dag 1 att de investerade rätt belopp vid rätt tidpunkt för att bygga en bra intern plattform och faktiskt har några trovärdiga konkurrensfördelar på grund av det.
• Existentiell datarisk + granskning: För det lilla antal företag som har ett marknadsvärde på 250 miljarder dollar eller mer, särskilt med tidigare datarelaterade intrång, skandaler eller statliga utredningar, kan det vara värt att kunna säga att ingen tredje part någonsin har tillgång till data från den första parten.
• Hybrida tillvägagångssätt: Vissa av våra kunder vill bygga vissa komponenter i plattformen för experimentering och köpa andra. Omständigheterna är för olika för att fånga breda trender, men detta kan vara ett mellanalternativ.

Hur du fattar rätt beslut för din organisation

Debatten om att köpa eller bygga är inte en fråga om en storlek som passar alla. Börja med att göra en grundlig analys. Utför en omfattande kostnads- och nyttoanalys som inte bara tar hänsyn till de initiala utvecklingskostnaderna utan också till löpande underhållskostnader, alternativkostnader och potentiella begränsningar.

Som referens gav Optimizely Forrester Consulting i uppdrag att genomföra en TEI-studie (Total Economic Impact™) och visa den potentiella ekonomiska effekten av att anta Optimizely. Vad mer, frågar du dig?

• Utvärdera kärnkompetenser: Fråga dig själv om att bygga en plattform för experimentering ligger i linje med ditt företags primära fokus och konkurrensfördelar. Men hur går du tillväga för att hitta rätt plattform för dina behov? Vår RFP-mall för experimentering visar vilka frågor du bör ställa.
• Tänk på långsiktiga konsekvenser: Tänk bortom de omedelbara behoven och utvärdera hur ditt val kommer att påverka skalbarheten, flexibiliteten och resursfördelningen under de kommande åren. Till exempel måste dina experiment nå statistisk signifikans. Optimizelys kalkylator för urvalsstorlek säkerställer att du inte längre behöver vänta på en förinställd urvalsstorlek för att säkerställa giltigheten av dina resultat.
• Sök expertrådgivning: Rådgör med erfarna utövare och leverantörer inom området. Om du har en plattform eller funderar på att bygga en, kom till oss! Vi kan göra en utvärdering av total ägandekostnad och hastighet åt dig.

Optimizely kan hjälpa...

Optimizely kunder

Om du bygger en intern plattform eller någon i din organisation funderar på att bygga en: vänligen kontakta din Customer Success Manager omedelbart eller mig (pete.gray@optimizely) så genomför vi en total ägandekostnadsstudie utan kostnad. Vi vill verkligen det bästa för dig: låt oss hjälpa dig att utvärdera det här beslutet ordentligt. Kom ihåg att det bästa med våra råd är att de är kostnadsfria, välgrundade och att du kan göra vad du vill med dem!

Kunder som inte är Optimizely

Om du har en plattform eller funderar på att bygga en, kom till oss! Vi gör en utvärdering av den totala ägandekostnaden och hastigheten för dig, köp vs. bygg!