Co je datový produkt?
Každá aplikace vytváří a ukládá data dočasně nebo trvale. Mnoho aplikací také vytváří a ukládá data pro účely provozní správy, jako je protokolování chyb a monitorování stavu. Centralizované datové týmy používají procesy ETL k využívání a zpracování dat, která tyto aplikace generují. Provozní týmy aplikací mají často další toky zpracování dat pro věci, jako je stav aplikace a monitorování stavu klíčových ukazatelů výkonu.
Tradiční přístup vodopádu týmů a zodpovědností při integraci dat není ideální. Může vést k mezerám ve znalostech, problémům s vlastnictvím a konfliktům v komunikaci, které mají vliv na kvalitu, včasnost a hodnotu vašich dat pro koncové uživatele. Týmy aplikací zodpovídají za výkon a úspěch aplikace. Ve své práci potřebují provádět změny podřízených procesů vlastněných jinými týmy, ale tyto změny často neprocházejí podle plánu. Můžete například zjistit, že tzv. menší upstreamová změna výrazně změní trend klíčového ukazatele výkonu. Tyto typy problémů s daty můžou mít vliv na vaši schopnost dělat důležitá rozhodnutí.
Přístup k datové síti těmto problémům zabraňuje tím, že přijímá koncept dat jako produktu. Vlastníci aplikací a týmy aplikací nakládají s daty jako s plně obsaženým produktem, za který zodpovídají, a ne jako vedlejší produkt některého procesu, který spravují jiní. Aplikace i úlohy obsluhující analytická data se nacházejí v oblastech odpovědnosti domény.
Datové produkty se vytvářejí speciálně pro analytické využití. Mají definované a odsouhlasené tvary, rozhraní pro spotřebu a cykly údržby a aktualizace, které jsou zdokumentované.
Datové produkty jsou zpracovávané datové assety nebo datové sady domény sdílené s podřízenými procesy prostřednictvím rozhraní v SLO. Pokud není vyžadováno jinak, nezpracovaná data by měla být zpracována, tvarována, vyčištěna, agregována a normalizována tak, aby splňovala schválené standardy kvality předtím, než je zpřístupníte ke spotřebě.
Následující části popisují běžné charakteristiky, které dobré datové produkty mají.
Údaje o vlastnostech produktu
Mezi dobře navržené datové produkty patří:
Zjistitelné, srozumitelné a důvěryhodné: Doménové týmy poskytují zjistitelnost a srozumitelnost sdílením a aktualizací informací o každém datovém produktu, jeho datech, jejich významu, formátu tvaru dat a cyklu aktualizace. Sdělují změny dat nebo tvaru podřízeným příjemcům včas. Rozhraní zajišťují důvěryhodnost tím, že poskytují časově ohraničenou zpětnou kompatibilitu pro obrazce datových produktů.
Adresovatelné, nativně přístupné a zabezpečené: Definované procesy pro vyhledání a získání přístupu k jednotlivým datovým produktům poskytují adresovatelnost. Jsou zavedená nezbytná bezpečnostní opatření pro různé požadavky na přístup. Hierarchie vlastnictví datové domény se s dobře definovanými bezpečnostními opatřeními přesouvá z otemenování dat na obsluhu dat. Nabízená přístupová rozhraní jsou dobře zdokumentovaná a mohou se v různých technologiích lišit. Mezi běžně používaná rozhraní pro nativně přístupné datové produkty patří rozhraní API, uživatelé databází, tabulky nebo zobrazení a soubory s potřebnými přístupovými právy.
Interoperabilní, pravdivá a cenná: Data zajišťují interoperabilitu na základě definovaných společných standardů, jako jsou například stejné hodnoty, které mají vždy stejný název a datový typ. Například sloupec obsahující identifikační data zákazníka může mít v každém datovém produktu název CustomerID a jeho data můžou být vždy celé číslo nebo v každém případě používat snake_case nebo camelCase. Datové produkty poskytují zákazníkům hodnotu a dají se také použít jako nadřazené zdroje pro nové datové produkty ve stejných nebo různých doménách. Stejný datový produkt ale nemůžete jednoduše přenášet a kopírovat na více místech. Každý datový produkt, který pochází z předchozího datového produktu, by měl následným spotřebitelům poskytovat novou hodnotu a informace. Datové produkty musí také vždy poskytovat pravdivá a nepřechýlná data.
Dobře navržené a dobře udržované datové produkty a jejich rozhraní pomáhají organizacím vyhnout se duplikování dat a mohou pomoci vytvořit nativní jediný zdroj pravdy.
Doporučení k návrhu datových produktů
Aby bylo možné splnit požadavky na obsluhu datových produktů, musí týmy vaší domény získat novou sadu dovedností a používat nové nástroje a platformy.
Plně vybavit týmy vašich doménových aplikací pro vytváření datových aplikací a výrobu nebo obsluhu datových produktů. Vaše týmy můžou vytvářet datové produkty pomocí známého zásobníku technologií. Pokud je to možné, může také preferovat vlastní instanci Sparku nebo modul kanálu. Například velká doména, která obsluhuje mnoho datových produktů, se může rozhodnout zpracovávat a poskytovat datové produkty ze svých vlastních Azure Synapse Analytics. Menší organizace a menší domény velkých podniků se můžou rozhodnout vyvíjet a spouštět datové aplikace na sdílené platformě, jako je centrálně umístěný Azure Data Factory, Azure Synapse Analytics nebo Azure Databricks.
Ujistěte se, že vaše datové produkty mají společné charakteristiky popsané v tomto článku, vaše úložiště rodokmenu odráží rodokmen datovou aplikaci a řídí se vaše implementace a přístup.
Doprovodné materiály k datovým produktům a datovým aplikacím pro Azure
Pokud týmy vašich doménových aplikací používají sdílenou platformu a sadu služeb, můžete v rámci cílových zón dat Azure umístit všechny možné přístupy k prostředí datových aplikací.
Tři různé šablony vzorů datových aplikací pro cílové zóny dat Azure najdete v tématu Produkty analýzy dat v cloudovém měřítku v Azure – Ukázkové datové aplikace.