John Cline
Engineering lead, Growth/Member Experience, Blue Apron
Blue Apronskärnprodukt är en måltidsupplevelse som kunderna skapar med hjälp av originalrecept och färska, säsongsbetonade ingredienser som ingår i varje låda. Alla recept åtföljs av tryckt och digitalt innehåll, inklusive instruktioner om hur man gör och berättelser om leverantörer och specialingredienser. Blue Apron säljer också vin, som kan kombineras med måltiderna, samt ett kuraterat urval av matlagningsverktyg, redskap och skafferivaror, som testas och rekommenderas av Blue Aprons kulinariska team.
Blue Apron har utvecklat ett integrerat ekosystem som använder sig av teknik och expertis inom många olika områden. Företagets aktiviteter för samordning av utbud och efterfrågan - planering av efterfrågan, skapande av recept, marknadsföring av recept, orderhantering och marknadsföring - driver hela värdekedjan från början till slut.
John Cline
Engineering lead, Growth/Member Experience, Blue Apron
Blue Apron har sedan starten varit en datadriven, kundfokuserad organisation, och eftersom kategorin mat på nätet växer och ständigt utvecklas ligger experimentering i företagets DNA.
I början använde Blue Apron Optimizely Web för testning. Det var enkelt för icke-tekniska användare att skapa och lansera experiment utan teknisk support, och verktyget fungerade också bra med deras enkelsidiga applikation. Men det fanns några nackdelar. Optimizely Web fungerade bara med ändringar på klientsidan på webben, vilket begränsade Blue Aprons möjlighet att köra experiment för att optimera sina mobilappar eller backend-applikationer.
Precis när John och hans team övervägde olika alternativ och lösningar släppte Optimizely sitt nya erbjudande, Optimizely Feature Experimentation. Lösningen var målgruppsinriktad mot Blue Aprons exakta användningsfall för experimentering och tillhandahöll SDK:er för mobil och serversidan för testning i deras kodbas.
Med Optimizely Feature Experimentation får Blue Apron statistiskt giltiga experimenteringsresultat på sina server- och mobilapplikationer vilket hjälper dem att fatta snabbare och mer välgrundade affärsbeslut. Med Optimizely's realtidsresultat kunde Blue Apron undvika att lansera ett omdesignat reaktiveringsflöde, vilket skulle ha resulterat i en betydande intäktsförlust.
Blue Apron kan nu snabbt och enkelt bygga och sätta upp nya tester som helt enkelt inte var möjliga tidigare.
På grund av Blue Aprons unika inköps- och orderhanteringsmodell måste kunderna bestämma sig för om de vill ta emot en kommande beställning eller inte kort efter att deras tidigare låda anländer. Även om detta system fungerar bra för erfarna kunder, behöver nya användare ofta mer handpåläggning. De märkte att nya kunder var mer benägna att missa sin brytpunkt för orderhantering under sin andra vecka. Blue Apron antog att kunder som fick dessa "överraskningslådor" hade sämre dynamik för att behålla sina kunder och följaktligen sämre livstidsvärden än de som undvek överraskningslådor genom korrekt prenumerationshantering.
De testade att påminna nya användare om att de närmade sig deadline och uppmuntra dem att hantera sina kommande leveranser för att se om det skulle minska rapporterade problem med "överraskningslådor" och förbättra den övergripande användarupplevelsen. Efter att ha testat e-posten med hjälp av Optimizely Feature Experimentation såg de en 37% minskning av oväntade orderrapporter från kunder.
Med ett konsekvent ramverk på plats har antalet personer på Blue Apron som nu utför testning utökats långt bortom Growth/Member Experience-teamet. Vem som helst på företaget och i vilket team som helst kan skapa ett test, se resultaten, analysera dem och använda dessa data som beslutsunderlag.
"Nu när vi har den här funktionen har andra grupper börjat använda den. Vi gick från ett eller två team som gjorde ett eller två tester per kvartal till nu, när vi förmodligen har minst 10 tester live vid varje givet tillfälle, och ett stort antal tester varje kvartal som körs av varje produktteam." - John Cline