Odczytywanie tabel Databricks z klientów Delta

Ta strona zawiera omówienie używania Unity REST API do dostępu do tabel zarządzanych przez Unity Catalog i tabel zewnętrznych z zewnętrznych klientów usługi Delta. Aby utworzyć zewnętrzne tabele Delta przez zewnętrznych klientów, zobacz Tworzenie zewnętrznych tabel Delta przez zewnętrznych klientów.

Użyj katalogu REST Iceberg, aby odczytać tabele zarejestrowane w wykazie aparatu Unity w usłudze Azure Databricks z obsługiwanych klientów góry lodowej, w tym Apache Spark i DuckDB.

Aby uzyskać pełną listę obsługiwanych integracji, zobacz Integracje Unity Catalog.

Tip

Aby uzyskać informacje na temat sposobu odczytywania danych z Azure Databricks przy użyciu Microsoft Fabric, zobacz Używanie Microsoft Fabric do odczytywania danych zarejestrowanych w Unity Catalog.

Odczytywanie i zapisywanie przy użyciu REST API Unity

Interfejs REST API Unity umożliwia klientom zewnętrznym dostęp do odczytu do tabel zarejestrowanych w katalogu Unity. Niektórzy klienci obsługują tworzenie tabel oraz zapisywanie danych w już istniejących tabelach.

Skonfiguruj dostęp przy użyciu punktu końcowego /api/2.1/unity-catalog.

Wymagania

Azure Databricks obsługuje dostęp do tabel za pośrednictwem Unity REST API jako część Unity Catalog. Aby korzystać z tych punktów końcowych, musisz mieć włączony katalog Unity w Twoim obszarze roboczym. Następujące typy tabel kwalifikują się do odczytu za pomocą REST API dla Unity:

• Tabele zarządzane Unity Catalog.
• Tabele zewnętrzne Unity Catalog.

Aby skonfigurować dostęp do odczytu obiektów usługi Databricks z klientów Delta za pomocą interfejsu API REST Unity, należy wykonać następujące kroki konfiguracji:

• Włącz dostęp do danych zewnętrznych dla magazynu metadanych. Zobacz Włączanie dostępu do danych zewnętrznych w magazynie metadanych.
• Udziel głównemu podmiotowi konfigurującemu integrację uprawnienia EXTERNAL USE SCHEMA do schematu zawierającego obiekty. Zobacz Jak nadawać uprawnienia w Unity Catalog dla głównych podmiotów.
• Uwierzytelnianie przy użyciu osobistego tokenu dostępu usługi Databricks. Zobacz Autoryzowanie dostępu do zasobów usługi Azure Databricks.

Odczytywanie tabel delta za pomocą platformy Apache Spark

Do odczytu zarządzanych i zewnętrznych tabel Delta w Unity Catalog przy użyciu frameworka Apache Spark wymagana jest następująca konfiguracja:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.12:3.2.1,io.unitycatalog:unitycatalog-spark_2.12:0.2.0,org.apache.hadoop:hadoop-azure:3.3.6"

Zastąp następujące zmienne:

• <uc-catalog-name>: nazwa katalogu w Unity Catalog, który zawiera twoje tabele.
• <workspace-url>: adres URL obszaru roboczego usługi Azure Databricks.
• <token>: token PAT dla głównego podmiotu konfigurującego integrację.

Uwaga / Notatka

Wersje pakietów pokazane powyżej są aktualne od ostatniej aktualizacji tej strony. Nowsze wersje mogą być dostępne. Sprawdź, czy wersje pakietów są zgodne z wersją środowiska Databricks Runtime i wersją platformy Spark.

Aby uzyskać dodatkowe szczegóły dotyczące konfigurowania Apache Spark dla magazynu obiektów w chmurze, zobacz dokumentację Unity Catalog OSS.