Optimalisering av lagerinnbygd ytelse: sampling av spørringstid

Optimizely Warehouse-Native Analytics Performance Pack gjør det nå mulig for Enterprise-brukere å kjøre utforskninger over samplede data. Som man kan forvente, går slike utforskninger mange ganger raskere enn variantene uten samplede data. Optimizely Warehouse-Native Analytics' samplingsfunksjon er implementert for å sikre at resultatene fra samplede utforskninger er statistisk pålitelige og kan brukes til å ta kritiske forretningsbeslutninger.

Bakgrunn

Warehouse-native produktanalyser gir kundene en rekke overbevisende fordeler:

• Tilgang til alle forretningsdata: Kundene trenger ikke lenger å bestemme seg for hvilket delsett av data som skal sendes til førstegenerasjons produktanalyseverktøy. Alle dataene i lageret er tilgjengelige for analyse, hele tiden.
• Sikkerhet og styring: Ingen data forlater noensinne kundens lager.
• Kostnad og skala: Prismodellene til førstegenerasjonsleverandørene skalerer dårlig med store hendelsesvolumer. Warehouse-native produktanalyser er betydelig billigere på grunn av de elastiske prismodellene for betaling for det du bruker i moderne datalagre.

Under disse sterke, umiddelbart åpenbare fordelene skjuler det seg et underliggende spørsmål som alle tenker på.

Vil datavarehuset mitt ha nok kraft til å kunne støtte disse spørringene?

Og svaret er ja. Optimizely Warehouse-Native Analytics samler en rekke teknikker for å muliggjøre interaktive, lagerinnfødte produktanalyser. Sampling i spørringstid er en slik teknikk.

Slik fungerer sampling

Mange av de statistiske ideene bak sampling er godt forstått. På et overordnet nivå ser man på et utvalg av dataene (f.eks. 20 %), beregner resultatet og oppskalerer deretter resultatet med 5 ganger for å kompensere for utvalgsfrekvensen på 20 %. Meningsmålingsinstitutter gjør dette hele tiden når de kjører meningsmålinger over et utvalg av befolkningen og forutsier valgutfall. På samme måte som valg handler om å telle folk som stemmer på sine foretrukne kandidater, handler produktanalyse om å telle brukere som tilhører bestemte kohorter, når bestemte produktmilepæler osv.

Det er to viktige regler du må huske på når du tar prøver:

1. Utvalget må være objektivt. I valganalogien må alle velgere ha like stor sjanse til å bli tatt med i utvalget. Til side: Det er her det meste av unøyaktigheten i valgspådommer kommer fra, men det er et tema for en annen dag.
2. En bruker må enten være helt inkludert eller helt ekskludert fra utvalget. Det skal ikke være slik at en brukers hendelseshistorikk bare delvis er inkludert i utvalget.

Optimizely Warehouse-Native Analytics' utvalgsimplementering respekterer begge disse kravene. Det er flere underliggende tekniske detaljer om datalayout, valg av utvalgsstørrelse osv. som ikke er omfattet av denne diskusjonen. Alle disse detaljene kombineres imidlertid til en vakker sluttbrukeropplevelse som er rask og intuitiv.

Brukeren trenger bare å velge mellom tre alternativer:

1. Aktivert - Raskere svar: Denne innstillingen favoriserer rask spørring fremfor nøyaktige resultater. Dette er flott når man itererer over en spørring.
2. Aktivert - Høyere presisjon: Spørringer med denne innstillingen er fortsatt betydelig raskere enn usamplede, men de favoriserer resultatnøyaktighet fremfor rask utførelse av spørringen.
3. Deaktivert: Dette deaktiverer sampling helt, og spørringer kjøres på normal måte uten sampling.

For de fleste undersøkelser betyr dette at det er stor grad av sikkerhet (for eksempel 99 %) for at de sanne resultatene ligger svært nær (for eksempel innenfor 0,5 %) de samplede resultatene. Denne typen sterk statistisk garanti gjør det mulig for kundene å ta viktige forretningsbeslutninger basert på utvalgsundersøkelser.

En viktig detalj her er at Optimizely Warehouse-Native Analytics ikke tar prøver av hendelser ved inntakstidspunktet. Dette skiller seg markant fra andre leverandører, der kundene tvinges til å sample hendelser ved innlesing for å unngå høye kostnader for hendelsesinnlesing. En hendelse som samples ved inntakstidspunktet, er tapt for alltid.

Med Optimizely Warehouse-Native Analytics dikterer ikke samplingsstrategien din datastrategien din.

I vår Warehouse-Native-modell anbefaler vi at kundene lagrer hver eneste hendelse i lageret og dynamisk justerer samplingsforholdet slik at det passer til behovene i deres brukstilfelle.

Optimizely Warehouse-Native Analytics er bygget opp på toppen av vårt egenutviklede skriptspråk for analyse, NetScript. Optimizely Warehouse-Native Analytics-brukere samhandler med pek-og-klikk-undersøkelser. Disse undersøkelsene produserer NetScript som kompileres til SQL som sendes til lageret. NetScript har vært en viktig faktor for samplingsmetoden vår. Den nåværende versjonen av sampling fungerer fra de fleste utforskningsmaler, inkludert trakt, stianalyse, oppbevaring og hendelsessegmentering. Den neste versjonen av denne funksjonen vil kunne bruke sampling over en mye bredere klasse av spørringer og gi enda større kostnadsbesparelser for kundene våre.