Přístup k datům Databricks pomocí externích systémů

Tato stránka obsahuje přehled funkcí a doporučení pro správu a řízení dat Azure Databricks pro externí systémy.

Tyto vzory se zaměřují na scénáře, ve kterých vaše organizace potřebuje integrovat důvěryhodné nástroje nebo systémy pro Azure Databricks dat. Pokud hledáte pokyny ke sdílení dat mimo vaši organizaci, přečtěte si článek Bezpečné sdílení dat a prostředků AI.

Jaký externí přístup Azure Databricks podporuje?

Azure Databricks doporučujeme použít katalog Unity k řízení všech datových prostředků. Katalog Unity poskytuje integrace klientů Delta Lake pomocí rozhraní Unity REST API a klientů Apache Iceberg pomocí katalogu Iceberg REST. Úplný seznam podporovaných integrací najdete v tématu Integrace katalogu Unity.

Katalog Unity také podporuje režim kompatibility spravovaných tabulek, materializovaných zobrazení a streamovaných tabulek, což umožňuje přístup jen pro čtení z klientů, kteří nepodporují rozhraní REST API. V takovém případě mají přímý přístup k datům v naklonované kopii dat.

Následující tabulka obsahuje přehled formátů podpory a vzorů přístupu pro objekty katalogu Unity.

Objekt katalogu Unity Podporované formáty Vzory přístupu
Spravované tabulky Delta Lake, Iceberg Unity REST API, katalog Iceberg REST, OpenSharing, režim kompatibility (jen pro čtení)
Materializovaná zobrazení a streamované tabulky Delta Lake, Iceberg Pro klienty, kteří podporují Delta 4.0 nebo Iceberg v3, použijte externí přístup pro kanály pipeline. Režim kompatibility pro starší klienty
Read-only.
Unity REST API, katalog Iceberg REST, přístup k souborům (prostřednictvím režimu kompatibility)
Externí tabulky Delta Lake Unity REST API, katalog Iceberg REST, OpenSharing, cloudové identifikátory URI
Externí tabulky CSV, JSON, Avro, Parquet, ORC, textový soubor Unity REST API, cloudové identifikátory URI
Externí svazky Všechny datové typy Identifikátory URI cloudu
Cizí tabulky Delta Lake, Iceberg Unity REST API, katalog Iceberg REST (Preview), OpenSharing
Cizí tabulky CSV, JSON, Avro, Parquet, ORC, textový soubor Unity REST API, cloudové identifikátory URI

* Podporují se pouze cizí tabulky federované pomocí federace katalogu . Aby zákazníci zajistili aktuální čtení z externích enginů na cizích tabulkách, můžou pravidelně aktualizovat metadata pomocí úloh Lakeflow.

Další podrobnosti o těchto objektech katalogu Unity najdete v následujících tématech:

Vydávání přihlašovacích údajů katalogu Unity

Mechanismus přidělování přihlašovacích údajů prostřednictvím katalogu Unity umožňuje uživatelům konfigurovat externí klienty tak, aby dědili oprávnění k datům spravovaným platformou Azure Databricks. Klienti Iceberg i Delta mohou podporovat zprostředkování přihlašovacích údajů. Podívejte se na poskytování přihlašovacích údajů v katalogu Unity pro přístup k externím systémům.

Přístup k tabulkám s klienty Delta

Pomocí rozhraní Unity REST API můžete číst, zapisovat a vytvářet spravované a externí tabulky Unity Catalog, které jsou podporovány a zajišťovány Delta Lake z podporovaných klientů Delta. Podívejte se na tabulky Databricks přístupné z klientů Delta.

Důležité

Vytváření spravovaných tabulek Unity Catalogu a zápis do nich z klientů Delta jsou ve fázi Public Preview.

V případě externích tabulek katalog Unity neřídí čtení a zápisy prováděné přímo proti cloudovému úložišti objektů z externích systémů, takže je nutné nakonfigurovat další zásady a přihlašovací údaje ve vašem cloudovém účtu, aby se zajistilo, že zásady správného řízení dat budou dodrženy mimo Azure Databricks.

Poznámka

Dokumentace Azure Databricks uvádí omezení a aspekty kompatibility na základě verzí a funkcí platformy Databricks Runtime. Musíte potvrdit, jaké protokoly a funkce tabulek čtenáře a zápisu váš klient podporuje. Viz delta.io.

Přístup k tabulkám s klienty Icebergu

Azure Databricks poskytuje klientům Icebergu podporu pro čtení, zápis a vytváření tabulek registrovaných ve službě Unity Catalog. Mezi podporované klienty patří Apache Spark, Apache Flink, Trino a Snowflake. Viz tabulky Access Azure Databricks z klientů Apache Iceberg.

Sdílení tabulek jen pro čtení napříč doménami

Pomocí OpenSharingu můžete udělit přístup jen pro čtení ke spravovaným nebo externím tabulkám Delta napříč doménami a podporovanými systémy. Mezi softwarové systémy, které podporují čtení tabulek OpenSharing bez kopírování, patří SAP, Amperity a Oracle. Informace o bezpečném sdílení dat a prostředků AI

Poznámka

OpenSharing můžete také použít k udělení přístupu jen pro čtení zákazníkům nebo partnerům. OpenSharing také zálohuje data sdílená pomocí Databricks Marketplace.

Přístup k tabulkovým datům mimo Delta Lake s externími tabulkami

Externí tabulky Katalogu Unity podporují mnoho jiných formátů než Delta Lake, včetně Parquet, ORC, CSV a JSON. Externí tabulky ukládají všechny datové soubory do adresářů v umístění cloudového úložiště objektů určeném identifikátorem URI cloudu poskytnutého během vytváření tabulky. Jiné systémy k těmto datovým souborům přistupují přímo z cloudového úložiště objektů.

Katalog Unity neřídí čtení a zápisy prováděné přímo proti cloudovému úložišti objektů z externích systémů, takže je nutné nakonfigurovat další zásady a přihlašovací údaje ve vašem cloudovém účtu, abyste zajistili, že zásady správného řízení dat budou dodrženy mimo Azure Databricks.

Čtení a zápis do externích tabulek z více systémů může vést k problémům s konzistencí a poškození dat, protože pro jiné formáty než Delta Lake nejsou poskytovány žádné transakční záruky.

Katalog Unity nemusí zaznamenat nové oddíly zapsané do externích tabulek, které jsou zálohovány formáty jinými než Delta Lake. Databricks doporučuje pravidelně spouštět MSCK REPAIR TABLE table_name, aby se zajistilo, že katalog Unity zaregistroval všechny datové soubory zapsané externími systémy.

Přístup k netabulárním datům s externími svazky

Databricks doporučuje kromě Azure Databricks používat externí svazky k ukládání ne tabulkových datových souborů, které se čtou nebo zapisují externími systémy. Viz Co jsou svazky katalogu Unity?.

Katalog Unity neřídí čtení a zápisy prováděné přímo proti cloudovému úložišti objektů z externích systémů, takže je nutné nakonfigurovat další zásady a přihlašovací údaje ve vašem cloudovém účtu, abyste zajistili, že zásady správného řízení dat budou dodrženy mimo Azure Databricks.

Svazky poskytují rozhraní API, sady SDK a další nástroje pro vkládání souborů do svazků a jejich získávání ze svazků. Viz Práce se soubory ve svazcích katalogu Unity.

Poznámka

OpenSharing umožňuje sdílet svazky s jinými účty Azure Databricks, ale neintegruje se s externími systémy.

  • Last updated on