Přístup k materializovaným zobrazením a streamovaným tabulkám pomocí externích systémů

Ve výchozím nastavení nejsou materializovaná zobrazení a tabulky streamování dostupné pro přístup z externích systémů. Azure Databricks poskytuje dvě funkce, které umožňují zpřístupnit datové sady klientům Delta Lake nebo Iceberg:

  • Přístup k externím datům (Public Preview) – Povolení přístupu k externím datům pro datové sady kanálu vytvoří kopii metadat datové sady, která klientům umožňuje používat rozhraní Unity Catalog nebo iceberg REST API, aniž by bylo nutné úplné kopírování dat nebo samostatný plán aktualizace. Klienti musí používat rozhraní REST API katalogu a musí podporovat buď Delta 4.0.0 nebo vyšší, nebo specifikaci Iceberg v3.

    Podrobnosti o přístupu k externím datům datových sad kanálů najdete v tématu Povolení přístupu externích dat k streamovaným tabulkám a materializovaným zobrazením.

  • Režim kompatibility (Public Preview) – Povolení režimu kompatibility pro datovou sadu vygeneruje ve zvoleném umístění verzi dat jen pro čtení, která se musí aktualizovat při aktualizaci tabulek. Verze kompatibility zahrnuje metadata verze 1 pro formáty Delta Lake i Iceberg spolu s kopií dat jen pro čtení, což umožňuje přístup pro širší škálu klientů (včetně klientů, kteří musí data tabulky číst přímo, a ne prostřednictvím rozhraní API) za cenu zpoždění aktualizací dat a nákladů na kopírování dat.

    Podrobnosti o režimu kompatibility najdete v tématu Režim kompatibility.

Pokud externí klienti podporují rozhraní REST API, Azure Databricks doporučí použití externích dat, aby těmto klientům poskytli přístup k materializovaným zobrazením nebo streamovaným tabulkám. Pro širší škálu klientů, zejména starších klientů a jiných spravovaných tabulek Katalogu Unity, použijte režim kompatibility.

Schopnost Přístup k externím datům Režim kompatibility
Kopírování dat Nevyžaduje se žádná kopie dat. Vyžaduje se kopírování dat.
Consistency Konzistence čtení po zápisu Externí klienti uvidí změny hned, jak se objeví v datové sadě. Aktualizace probíhají podle plánu. Ve výchozím nastavení se tabulka kompatibility aktualizuje každou hodinu. Můžete ji nastavit tak, aby se aktualizovala okamžitě po změně zdrojové tabulky, ale je stále zpožděna časem kopírování dat.
Access Vyžaduje "moderní" přístup k rozhraní REST API. Podporuje rozhraní API katalogu Delta 4.0.0 nebo vyšší nebo rozhraní API specifikace Iceberg v3 (vyžaduje podporu vektorů odstranění). Kompatibilní se všemi klienty Delta Lake nebo Iceberg.
Jeden objekt tabulky Materializovaná zobrazení a streamované tabulky se zobrazují jako spravované tabulky se stejným názvem jako původní datová sada externím klientům. Tabulky kompatibility se zobrazí jako nová tabulka v novém umístění pro externí klienty.
Podpora typů tabulek Podporuje materializovaná zobrazení a streamingové tabulky spravované nástrojem Lakeflow Spark Declarative Pipelines. Podporuje materializovaná zobrazení a streamingové tabulky, ať už jsou spravované službou Lakeflow Spark Declarative Pipelines, nebo samostatné, i všechny ostatní tabulky spravované v Unity Catalog.
Cost Náklady na údržbu externích metadat jsou součástí nákladů na aktualizaci materializovaného zobrazení nebo tabulky streamování. Obvykle je to méně než 1% nákladů a času aktualizace. Většina nákladů na režim kompatibility představuje náklady na přenos starších dat do nového umístění.

Dodatečné zdroje

  • Last updated on