Har du händelsedata i Databricks?

Om du har eventdata som landar direkt i Databricks är du förmodligen en mogen datahop som följer principerna i Modern Data Stack. Begravd i dessa data finns en skattkista av insikter. Har du rätt analytiska verktyg för att låsa upp dessa insikter och få största möjliga effekt på din verksamhet?

Händelsedata

Under de senaste åren har vi sett en dramatisk explosion i volymen av datainsamling från företag. Detta drivs av ökad digitalisering, genomgripande instrumentering av digitala upplevelser, tillväxt i antalet anslutna enheter och automatisering. Den här explosionen sker främst inom kategorin händelsedata.

Händelsedata fångar upp händelseförloppet bakom varje affärsprocess. Exempel på händelsedata är: produktinstrumentering, applikationsloggar, onlinetransaktioner, interaktioner på sociala medier, e-handelsorder, auktioner på marknadsplatser, kreditkortstransaktioner, aktiehandel, spårning av logistikflottor, IoT-sensoravläsningar etc.

Databricks

Historiskt sett har händelsedata aldrig hamnat i ett datalager. Det landade i specialiserade svarta lådbutiker med användningsfallspecifika SaaS-tjänster. Datalager var reserverade för en liten delmängd av sammanfattade data från transaktionella affärssystem som ERP eller CRM. Men detta håller på att förändras snabbt. I allt högre grad landar händelsedata i moderna datalager i molnet som Databricks. Det är nu möjligt att lagra, säkra, hantera och komma åt händelsedata i PB-skala upp i datalager på ett kostnadseffektivt sätt.

Att lagra händelsedata i Databricks har tre stora fördelar:

1. En enda sanningskälla - Företag vill ha alla sina data på ett ställe utan åtskilda/kopior i flera lager. All data i en centraliserad Databricks ger fördelar i form av datakonsistens, säkerhet och styrning.
2. Analys medstor affärsnytta - När händelsedata finns i Databricks kan den kombineras med data från andra affärssystem som ekonomi, support, försäljning etc. för att göra analys av händelsedata mer affärsnyttig.
3. Kostnad - Med separationen av lagring och beräkning i Databricks kan du lagra PBs av data i billiga objektbutiker. Du betalar för beräkning endast om och när den används, och i proportion till mängden data som används.

Analys av händelsedata

Vilka analysverktyg fungerar bäst på händelsedata i Databricks? Traditionella analysverktyg för händelsedata som Amplitude och Mixpanel för produktanalys, eller Adobe Analytics och Google Analytics för webbanalys/marknadsföringsanalys, fungerar inte i datalagret. SQL- och BI-verktyg som Looker och Tableau är inte utformade för att uttrycka och effektivt beräkna specialiserad händelseorienterad analys.

En ny typ av warehouse-native analytics-verktyg för händelsedata håller på att växa fram för den moderna datastacken. Optimizely Warehouse-native Analytics är en pionjär i detta utrymme.