Sdílet prostřednictvím


Standardizace dat

Data přicházejí do účtů Data Lake v různých formátech. Tyto formáty zahrnují čitelné formáty člověka, například JSON, . Soubory CSV nebo XML a komprimované binární formáty, jako jsou .tar nebo .gz. Příchozí data jsou také v mnoha velikostech, od několika upravených souborů po export celé tabulky SQL. Data můžou také pocházet jako velký počet malých souborů, které jsou o několik kB piece, jako jsou události v reálném čase z řešení IoT.

I když Azure Data Lake Storage Gen2 podporuje úložiště pro všechny druhy dat bez omezení, měli byste pečlivě zvážit formáty dat, abyste zajistili efektivitu kanálu zpracování a optimalizovali náklady.

Mnoho organizací teď standardizuje formát ingestování a odděluje výpočetní prostředky od úložiště. Z tohoto důvodu se formát Delta Lake stal upřednostňovaným standardem pro příjem dat do vrstvy rozšiřování. Z vrstvy rozšiřování může tým datových aplikací poskytovat data do formátu, který odráží jejich případ použití.

Poznámka:

Delta Lake slouží k podpoře dávkových i streamovaných případů použití k počátečnímu příjmu dat do vrstvy rozšiřování.

Tento článek obsahuje přehled o Delta Lake, jeho výkonu a o tom, jak vám pomůže dosáhnout podpory dodržování předpisů a jak standardizovat data při jejich tocích ze zdroje do vrstvy rozšiřování.

Delta Lake

Delta Lake je opensourcová vrstva úložiště, která do úloh s velkými objemy dat a Apache Sparkem přináší transakce ACID (atomicity, konzistence, izolace a stálost). Azure Synapse Analytics i Azure Databricks jsou kompatibilní se službou Linux Foundation Delta Lake.

Klíčové funkce Delta Lake

Funkce Popis
Transakce ACID Datová jezera se obvykle naplňují několika procesy a kanály, z nichž některá zapisují data souběžně se čtením. Datoví inženýři prošli ručním procesem náchylným k chybám, aby se zajistila integrita dat před použitím Delta Lake a transakcí. Delta Lake přináší známé transakce ACID do datových jezer. Poskytuje nejsilnější úroveň izolace, serializovatelnost. Další informace naleznete v tématu Potápění do Delta Lake: Rozbalení transakčního protokolu.
Škálovatelné zpracování metadat V případě velkých objemů dat můžou být i metadata "velké objemy dat". Delta Lake zpracovává metadata stejně jako ostatní data. Ke zpracování všech metadat používá Spark distribuovaný výpočetní výkon. Z tohoto důvodu může Delta Lake snadno zpracovávat petabajtové tabulky s miliardami oddílů a souborů.
Time Travel (správa verzí dat) Možnost vrátit zpět změnu nebo se vrátit k předchozí verzi je klíčovou funkcí transakcí. Delta Lake poskytuje snímky dat, které umožňují vrátit se k dřívějším verzím dat pro audity, vrácení zpět nebo reprodukovat experimenty. Přečtěte si další informace v úvodu k funkci Delta Lake Time Travel for Large Scale Data Lakes.
Otevřít formát Apache Parquet, základní formát pro Delta Lake, umožňuje použít efektivní komprimační a kódovací schémata.
Unified Batch and Streaming Source and Sink Tabulka v Delta Lake je současně dávkovou tabulkou a zdrojem streamování a jímkou. Ingestování dat, dávkové historické doplňování a interaktivní dotazy fungují mimo kancelář.
Vynucení schématu Vynucení schématu pomáhá zajistit správnost datových typů a požadovaných sloupců, což brání chybnému datu v konzistenci dat. Další informace najdete v tématu Potápění do Delta Lake: Vynucení schématu a vývoj
Vývoj schématu Delta Lake umožňuje provádět automatické změny schématu tabulky, aniž byste museli zapisovat DDL migrace. Další informace najdete v tématu Potápění do Delta Lake: Vynucení schématu a vývoj
Historie auditu Protokol transakcí Delta Lake zaznamenává podrobnosti o každé změně provedené v datech. Tyto záznamy poskytují kompletní záznam auditu všech změn.
Aktualizace a odstranění Delta Lake podporuje rozhraní SCALA, Java, Python a SQL API pro různé funkce. Podpora operací sloučení, aktualizace a odstranění pomáhá splňovat požadavky na dodržování předpisů. Další informace najdete v tématu Oznámení verze Delta Lake 0.6.1, oznámení verze Delta Lake 0.7 a simple, Reliable Upserts a Delete v tabulkách Delta Lake pomocí rozhraní Python API (která zahrnuje fragmenty kódu pro sloučení, aktualizaci a odstranění příkazů DML).
100% kompatibilní s rozhraním Apache Spark API Vaši vývojáři můžou používat Delta Lake s minimální změnou stávajících datových kanálů, protože je plně kompatibilní s existujícími implementacemi Sparku.

Další informace najdete v tématu Delta Lake Project.

Úplnou dokumentaci najdete na stránce dokumentace k Delta Lake.

Výkon

Použití velkého množství malých souborů často vede k neoptimálnímu výkonu a vyšším nákladům při zvýšených operacích čtení a seznamů. Azure Data Lake Storage Gen2 je optimalizovaný pro větší soubory, které umožňují rychlejší a rychlejší spouštění analytických úloh s nižšími náklady.

Delta Lake obsahuje mnoho funkcí, které vám můžou pomoct optimalizovat výkon při správě souborů.

Příkladem může být:

  • Transakční protokol minimalizuje nákladné operace LIST.
  • Řazení Z (multidimenzionální clustering) umožňuje optimalizovaný predikát pro filtry dotazů.
  • Nativní ukládání do mezipaměti a optimalizace dotazů snižuje množství požadované kontroly úložiště. Další informace naleznete v tématu Optimalizace výkonu pomocí ukládání do mezipaměti.
  • OPTIMALIZACE shodí malé soubory do větších souborů.

Tyto optimalizace jsou součástí procesu načítání dat, aby se zachovala aktuálnost a výkon dat.

Dělení data lake

Dělení dat zahrnuje uspořádání dat v úložišti dat, abyste mohli spravovat rozsáhlá data a řídit přístup k datům. Dělení může vylepšit škálovatelnost, omezit kolize a optimalizovat výkon.

Při dělení datového jezera se ujistěte, že máte nastavené:

  • Neohrožuje zabezpečení
  • Má jasnou izolaci a je v souladu s modelem autorizace dat.
  • Dobře vyhovuje vašemu procesu příjmu dat.
  • Má dobře definovanou cestu pro optimální přístup k datům.
  • Podporuje úlohy správy a údržby.

Obecné postupy

Obecné postupy návrhu dělení dat jsou následující:

  • Zaměřte se včas na implikaci zabezpečení a navrhněte datové oddíly společně s autorizací.
  • Možná budete chtít povolit redundanci dat výměnou za zabezpečení.- Definujte zásady vytváření názvů a dodržujte je.
  • Můžete vnořit více složek, ale vždy je zachovat konzistentní.
  • Do struktur složek a názvů souborů zahrňte prvek času.
  • Nezahajujte strukturu složek s oddíly kalendářních dat. Lepší je uchovávat data na nižší úrovni složky.
  • Nekombinujte smíšené formáty souborů ani různé datové produkty v jedné struktuře složek.

Tip

Struktury složek by měly mít strategie dělení, které můžou optimalizovat vzory přístupu a odpovídající velikosti souborů. Ve kurátorovaných zónách naplánujte strukturu na základě optimálního načtení, buďte opatrní při výběru klíče oddílu s vysokou kardinalitou, což vede k dělení, což zase vede k neoptimálním velikostem souborů.

Další informace o zónách Data Lake najdete v tématu Zóny a kontejnery Data Lake.

Podpora dodržování předpisů

Delta Lake přidává transakční vrstvu, která zajišťuje správu strukturovaných dat nad vaším datovým jezerem. Tento doplněk může výrazně zjednodušit a urychlit vaši schopnost vyhledat a odebrat osobní údaje (označované také jako "osobní údaje") na žádost spotřebitele. Transakční vrstva podporuje operace, jako je DELETE, UPDATE a MERGE. Další informace najdete v tématu Osvědčené postupy: Dodržování předpisů GDPR s využitím Delta Lake.

Shrnutí

Na platformu použijte standardizaci dat uvedená v tomto článku. Začněte formátem Delta Lake a začněte přidávat procesy pro optimalizaci a dodržování předpisů. Můžete se rozhodnout vytvořit službu, která spouští některé z optimalizací tras podle plánu, nebo vytvořit službu dodržování předpisů, která odebere osobní údaje.

Další kroky