Aracılığıyla paylaş

Delta istemcilerinden Databricks tablolarını okuma

Bu sayfa, Dış Delta istemcilerinden Unity Kataloğu yönetilen ve dış tablolarına erişmek için Unity REST API'sini kullanmaya genel bir bakış sağlar. Dış istemcilerden dış Delta tabloları oluşturmak için bkz. Dış istemcilerden dış Delta tabloları oluşturma.

Apache Spark ve DuckDB gibi desteklenen Iceberg istemcilerinden Azure Databricks'te Unity Kataloğu'na kayıtlı tabloları okumak için Iceberg REST kataloğu kullanın.

Desteklenen tümleştirmelerin tam listesi için bkz. Unity Kataloğu tümleştirmeleri.

Bahşiş

Unity Kataloğu'nda kayıtlı Azure Databricks verilerini Microsoft Fabric kullanarak okuma hakkında bilgi için bkz. Microsoft Fabric'i kullanarak kayıtlı verileri okuma.

Unity REST API'sini kullanarak okuma ve yazma

Unity REST API,dış istemcilere Unity Kataloğu'na kayıtlı tablolara okuma erişimi sağlar. Bazı istemciler tablo oluşturmayı ve mevcut tablolara yazmayı da destekler.

uç nokta /api/2.1/unity-catalogkullanarak erişimi yapılandırın.

Gereksinimler

Azure Databricks, Unity Kataloğu'nun bir parçası olarak tablolara Unity REST API erişimini destekler. Bu uç noktaları kullanmak için çalışma alanınızda Unity Kataloğu'nu etkinleştirmiş olmanız gerekir. Aşağıdaki tablo türleri Unity REST API okumaları için uygundur:

  • Unity Kataloğu tarafından yönetilen tablolar.
  • Unity Kataloğu dış tabloları.

Unity REST API'sini kullanarak Delta istemcilerinden Databricks nesnelerini okuma erişimini yapılandırmak için aşağıdaki yapılandırma adımlarını tamamlamanız gerekir:

PAT kimlik doğrulamasını kullanarak Apache Spark ile Delta tablolarını okuma

PAT kimlik doğrulamasını kullanarak Apache Spark ile Unity Kataloğu yönetilen ve dış Delta tablolarını okumak için aşağıdaki yapılandırma gereklidir:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.13:4.0.1,io.unitycatalog:unitycatalog-spark_2.13:0.3.1,org.apache.hadoop:hadoop-azure:3.3.6"

Aşağıdaki değişkenleri değiştirin:

  • <uc-catalog-name>: Unity Kataloğu'nda tablolarınızı içeren kataloğun adı.
  • <workspace-url>: Azure Databricks çalışma alanının URL'si.
  • <token>: Tümleştirmeyi yapılandıran sorumlu için kişisel erişim belirteci (PAT).

Uzun süre çalışan işler için otomatik kimlik bilgisi yenilemeyi etkinleştirmek için aşağıdaki yapılandırmayı ekleyin:

"spark.sql.catalog.<catalog-name>.renewCredential.enabled": true

Uyarı

Yukarıda gösterilen paket sürümleri, bu sayfada yapılan son güncelleştirmeden itibaren geçerlidir. Daha yeni sürümler kullanılabilir. Paket sürümlerinin Databricks Runtime sürümünüz ve Spark sürümünüzle uyumlu olduğunu doğrulayın.

Bulut nesne depolaması için Apache Spark'ı yapılandırma hakkında ek ayrıntılar için Unity Kataloğu OSS belgelerine bakın.

OAuth kimlik doğrulamasını kullanarak Apache Spark ile Delta tablolarını okuma

Azure Databricks, OAuth makineden makineye (M2M) kimlik doğrulamasını da destekler. OAuth, Unity Kataloğu kimlik doğrulaması için belirteç yenilemeyi otomatik olarak işler. Otomatik bulut depolama kimlik bilgisi yenilemesi gerektiren uzun süre çalışan işler için Spark yapılandırmanızda ayarı etkinleştirin spark.sql.catalog.<uc-catalog-name>.renewCredential.enabled .

Dış Spark istemcileri için OAuth kimlik doğrulaması şunları gerektirir:

OAuth kimlik doğrulamasını kullanarak Apache Spark ile Unity Kataloğu yönetilen tablolarını ve dış Delta tablolarını okumak için aşağıdaki yapılandırma gereklidir:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.auth.type": "oauth",
"spark.sql.catalog.<uc-catalog-name>.auth.oauth.uri": "<oauth-token-endpoint>",
"spark.sql.catalog.<uc-catalog-name>.auth.oauth.clientId": "<oauth-client-id>",
"spark.sql.catalog.<uc-catalog-name>.auth.oauth.clientSecret": "<oauth-client-secret>",
"spark.sql.catalog.<uc-catalog-name>.renewCredential.enabled": "true",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.13:4.0.1,io.unitycatalog:unitycatalog-spark_2.13:0.3.1,org.apache.hadoop:hadoop-azure:3.3.6"

Aşağıdaki değişkenleri değiştirin:

Uyarı

Yukarıda gösterilen paket sürümleri, bu sayfada yapılan son güncelleştirmeden itibaren geçerlidir. Daha yeni sürümler kullanılabilir. Paket sürümlerinin Spark sürümünüzle uyumlu olduğunu doğrulayın.

  • Last updated on