Přístup k materializovaným zobrazením a streamovaným tabulkám pomocí externích systémů

Ve výchozím nastavení nejsou materializovaná zobrazení a tabulky streamování dostupné pro přístup z externích systémů. Azure Databricks poskytuje dvě funkce, které umožňují zpřístupnit datové sady klientům Delta Lake nebo Iceberg:

  • Externí přístup k datům – Umožnění přístupu k externím datům pro workflow spravované a samostatné materializované pohledy a streamované tabulky publikuje externí metadata, která umožňují klientům používat Unity Catalog nebo Iceberg REST API bez nutnosti kompletní kopie dat nebo samostatného plánu obnovování. Klienti musí používat katalogová REST API a podporovat buď Delta Lake 4.0.0 nebo novější, nebo specifikaci Iceberg V3.

    Podrobnosti o přístupu streamovaných tabulek a materializovaných pohledů spravovaných pipeline i samostatných materializovaných pohledů k externím datům naleznete v části Povolení přístupu streamovaných tabulek a materializovaných pohledů k externím datům.

  • Režim kompatibility (Public Preview) – Povolení režimu kompatibility pro datovou sadu vygeneruje ve zvoleném umístění verzi dat jen pro čtení, která se musí aktualizovat při aktualizaci tabulek. Verze kompatibility zahrnuje metadata verze 1 pro formáty Delta Lake i Iceberg spolu s kopií dat jen pro čtení, což umožňuje přístup pro širší škálu klientů (včetně klientů, kteří musí data tabulky číst přímo, a ne prostřednictvím rozhraní API) za cenu zpoždění aktualizací dat a nákladů na kopírování dat.

    Podrobnosti o režimu kompatibility najdete v tématu Režim kompatibility.

Pokud externí klienti podporují rozhraní REST API, Azure Databricks doporučí použití externích dat, aby těmto klientům poskytli přístup k materializovaným zobrazením nebo streamovaným tabulkám. Pro širší škálu klientů, zejména starších klientů a jiných spravovaných tabulek Katalogu Unity, použijte režim kompatibility.

Schopnost Přístup k externím datům Režim kompatibility
Kopírování dat Nevyžaduje se žádná kopie dat. Vyžaduje se kopírování dat.
Consistency Konzistence čtení po zápisu Externí klienti uvidí změny hned, jak se objeví v datové sadě. Aktualizace probíhají podle plánu. Ve výchozím nastavení se tabulka kompatibility aktualizuje každou hodinu. Můžete ji nastavit tak, aby se aktualizovala okamžitě po změně zdrojové tabulky, ale je stále zpožděna časem kopírování dat.
Access Vyžaduje "moderní" přístup k rozhraní REST API. Podporuje rozhraní API katalogu Delta 4.0.0 nebo vyšší nebo rozhraní API specifikace Iceberg v3 (vyžaduje podporu vektorů odstranění). Kompatibilní se všemi klienty Delta Lake nebo Iceberg.
Jeden objekt tabulky Materializovaná zobrazení a streamované tabulky se zobrazují jako spravované tabulky se stejným názvem jako původní datová sada externím klientům. Tabulky kompatibility se zobrazí jako nová tabulka v novém umístění pro externí klienty.
Podpora typů tabulek Podporuje materializované pohledy a streamované tabulky, které jsou spravované kanálem Lakeflow nebo vytvářené jako samostatné objekty. Podporuje materializovaná zobrazení a streamingové tabulky, ať už spravované kanálem Lakeflow, nebo samostatně spravované, i jakékoli další tabulky spravované službou Unity Catalog.
Cost Náklady na údržbu externích metadat jsou součástí nákladů na aktualizaci materializovaného zobrazení nebo tabulky streamování. Obvykle je to méně než 1% nákladů a času aktualizace. Většina nákladů na režim kompatibility představuje náklady na přenos starších dat do nového umístění.

Dodatečné zdroje

  • Last updated on