Roly pri práci s údajmi
Rozprávanie príbehu s údajmi je cesta, ktorá zvyčajne nezačína u vás. Údaje musia odniekiaľ pochádzať. Dať tieto údaje na miesto, kde ich môžete použiť, si vyžaduje námahu, ktorá je pravdepodobne mimo vašej pôsobnosti, a to najmä pri zohľadnení podniku.
Aplikácie a projekty bývajú v súčasnosti veľké a zložité, a často si vyžadujú zručnosti a vedomosti mnohých ľudí. Každá osoba prispieva svojím jedinečným talentom a znalosťami a delí sa o ne v snahe dosiahnuť vzájomnú spoluprácu a koordináciou úloh a oblastí, za ktoré jednotliví ľudia zodpovedajú, možno projekt zvládnuť od konceptu až po nasadenie do produkčného prostredia.
V nedávnej minulosti boli roly ako obchodný analytik a vývojár BI štandardom pri spracovaní údajov a ich pochopení. Nadmerná expanzia veľkosti údajov a rôznych typov údajov však spôsobila, že z týchto rolí vznikli osoby s viac špecializovanými zručnosťami, ktoré modernizujú a zjednodušujú procesy dátového inžinierstva a analýzy údajov.
V ďalších sekciách sú uvedené rôzne roly ľudí pracujúcich s údajmi aj celkový prehľad oblastí zodpovednosti v rámci komplexného spektra zisťovania a pochopenia údajov:
Obchodný analytik
Dátový analytik
Dátový inžinier
Dátový vedec
Správca databázy
Obchodný analytik
Medzi dátovým analytikom a obchodným analytikom existujú určité podobnosti, hlavný rozdiel však spočíva v činnostiach, ktoré tieto dve roly s údajmi vykonávajú. Obchodný analytik je bližšie k samotnému podniku a špecializuje sa na interpretáciu údajov vo vizualizáciách. Často sa stáva, že roly dátového analytika a obchodného analytika má na zodpovednosti tá istá osoba.
Dátový analytik
Dátový analytik umožňuje podnikom využiť hodnotu údajov na maximum prostredníctvom nástrojov na tvorbu vizualizácií a zostáv, ako napríklad Microsoft Power BI. Analytici údajov sú zodpovední za profilovanie, čistenie a transformáciu údajov. Ďalej sú zodpovední za navrhovanie a tvorbu škálovateľných a efektívnych sémantických modelov a povoľovanie a implementáciu pokročilých analytických možností do zostáv na analýzu. Dátový analytik v spolupráci s príslušnými účastníkmi projektu identifikuje vhodné a nevyhnutne potrebné požiadavky na údaje a zostavy a následne je poverený transformáciou nespracovaných údajov na relevantné a zmysluplné prehľady.
Dátový analytik je tiež zodpovedný za spravovanie aktív služby Power BI vrátane zostáv, tabúľ, pracovných priestorov a základných sémantických modelov, ktoré sa v zostavách používajú. Medzi jeho úlohy patrí implementácia a konfigurácia vhodných postupov zabezpečenia. Berie pritom do úvahy požiadavky účastníkov projektu, aby boli všetky zdroje v službe Power BI aj údaje v bezpečí.
Analytici údajov v spolupráci s dátovými inžiniermi zisťujú a vyhľadávajú vhodné zdroje údajov, ktoré spĺňajú požiadavky účastníkov projektu. Okrem toho dátoví analytici v spolupráci s dátovým inžinierom a správcom databázy zabezpečujú, aby mal analytik náležitý prístup k potrebným zdrojom údajov. Dátový analytik tiež spolupracuje s dátovým inžinierom na identifikácii nových procesov zhromažďovania údajov na účely analýzy alebo na zlepšovaní existujúcich procesov.
Dátový inžinier
Dátový inžinier zriaďuje a nastavuje technológie platformy údajov, ktoré sú umiestnené lokálne aj v cloude. Spravuje a zabezpečuje tok štruktúrovaných aj neštruktúrovaných údajov z rôznych zdrojov. Medzi platformy údajov, ktoré využíva, patria relačné databázy, nerelačné databázy, dátové streamy a priestory súborov. Dátový inžinier tiež zabezpečuje bezpečnú a bezproblémovú integráciu s údajovými platformami.
Medzi hlavné úlohy dátových inžinierov patrí používanie lokálnych a cloudových údajových služieb a nástrojov, pomocou ktorých spracovávajú a transformujú údaje z viacerých zdrojov. Dátový inžinier spolupracuje s účastníkmi projektu v podniku na identifikovaní a plnení požiadaviek na údaje. Navrhne a implementuje riešenia.
Niektoré úlohy a povinnosti dátového inžiniera a správcu databázy môžu byť rovnaké, práca dátového inžiniera však nespočíva len v starostlivosti o databázu a server, na ktorom je hosťovaná, a do jeho kompetencií pravdepodobne nepatrí celkové spravovanie prevádzkových údajov.
Dátový inžinier dáva projektom BI a projektom dátových vied vysokú pridanú hodnotu. Keď dátový inžinier spája údaje (proces sa často nazýva aj transformácia údajov), projekty napredujú rýchlejšie, pretože dátoví vedci sa môžu sústrediť na svoju pracovnú oblasť.
Ako dátový analytik budete úzko spolupracovať s dátovým inžinierom, aby ste mali prístup k rôznym štruktúrovaným aj neštruktúrovaným zdrojom údajov, pretože vám budú podporovať optimalizáciu sémantických modelov, ktoré sú zvyčajne doručované z moderného skladu údajov alebo z dátového jazera.
Správcovia databázy aj odborníci na BI môžu prejsť na rolu dátového inžiniera. Musia sa naučiť používať nástroje a technológie, ktoré sa používajú na spracovanie veľkého objemu údajov.
Dátový vedec
Dátoví vedci používajú pokročilú analýzu, pomocou ktorej z údajov získavajú hodnotu. Ich práca môže siahať od deskriptívnej analýzy až po prediktívnu analýzu. Deskriptívna analýza vyhodnocuje údaje prostredníctvom procesu známeho ako prieskumná analýza údajov (Exploratory Data Analysis, EDA). Prediktívna analýza sa používa v strojovom učení, kde pomocou techník modelovania umožňuje zisťovať anomálie alebo trendy. Tieto analýzy sú dôležitými súčasťami modelov predpovedí.
Deskriptívna a prediktívna analýza predstavujú len jeden aspekt práce dátových vedcov. Niektorí dátoví vedci budú pracovať v oblasti hlbokého učenia a využívať iteratívne experimenty na riešenie zložitého dátového problému s použitím prispôsobených algoritmov.
Predbežné výsledky naznačujú, že väčšina práce na projekte dátovej vedy spočíva v transformácii údajov a analýze funkcií. Dátoví vedci môžu urýchliť experimentálny proces, ak dátoví inžinieri využijú svoje zručnosti na úspešnú transformáciu údajov.
Na prvý pohľad sa môže zdať, že práca dátového vedca a dátového analytika sa veľmi líši, ale táto domnienka nie je pravdivá. Dátový vedec skúma údaje, aby určil otázky, ktoré treba zodpovedať, a často navrhuje hypotézu alebo experiment. Potom sa obracia na dátového analytika, aby mu pomohol s vizualizáciou údajov a tvorbou zostáv.
Správca databázy
Správca databázy implementuje a spravuje prevádzkové aspekty cloudových a hybridných riešení platformy údajov založené na údajových službách Microsoft Azure a Microsoft SQL Server. Správca databázy je zodpovedný za celkovú dostupnosť databázových riešení, ich konzistentný výkon a optimalizáciu. V spolupráci s účastníkmi projektu identifikuje a implementuje politiky, nástroje a procesy na zálohovanie údajov a zotavenie po havárii.
Rola správcu databázy sa líši od roly dátového inžiniera. Správca databázy monitoruje a spravuje celkový stav databázy a hardvér, na ktorom sa nachádza, zatiaľ čo dátový inžinier je zapojený do procesu transformácie údajov, inými slovami spracovania, transformácie, overenia a vyčistenia údajov tak, aby spĺňali potreby a požiadavky podniku.
Správca databázy je tiež zodpovedný za spravovanie celkového zabezpečenia údajov, udeľuje a obmedzuje prístup používateľov a oprávnenia na prístup k údajom podľa potrieb a požiadaviek podniku.