Harici sistemlere erişim için Unity Catalog kimlik bilgisi temini

Bahşiş

Microsoft Fabric ile Azure Databricks verilerini okuma hakkında bilgi için bkz. Azure Databricks ile Microsoft Fabric.

Bu sayfada Unity Kataloğu kimlik bilgisi satış işlevinin dış işleme altyapılarından Azure Databricks verilere erişimi nasıl desteklediği açıklanmaktadır.

Kimlik bilgi satışı, Unity REST API'sini ve Apache Iceberg REST kataloğunu kullanarak Unity Kataloğu'na bağlanan dış sistemleri destekler. Bkz. Delta istemcilerinden Databricks tablolarınaerişme ve Dış sistemleri kullanarak Databricks verilerine erişme.

Unity Catalog kimlik bilgisi dağıtımı nedir?

Kimlik bilgisi sağlama Unity Kataloğu REST API'sini kullanarak kısa süreli kimlik bilgileri verir. Verilen kimlik bilgileri, tümleştirmeyi yapılandırmak için kullanılan Azure Databricks sorumlusunun ayrıcalıklarını devralır. İki tür kimlik bilgisi sağlama vardır.

• Tablo kimlik bilgisi yönetimi Unity Kataloğu metaveri depolama alanınızda kayıtlı verilere erişim sağlar.
• Yol kimlik bilgisi otomatı Unity Kataloğu meta veri deponuzdaki dış konumlara erişim sağlar.

Gereksinimler

• Dış erişim, istekte bulunan sorumluya verilen meta veri deposunda EXTERNAL USE SCHEMA yapılandırılmalıdır. Bkz. Meta veri deposunda dış veri erişimini etkinleştirme.
• çalışma alanı URL'sine, IP erişim listelerinin veya Azure Özel Bağlantı arkasındaki altyapılar da dahil olmak üzere istekte bulunan altyapı tarafından erişilebilir olmalıdır.
• Bulut depolama URL'lerine güvenlik duvarı ve ağ denetimleri aracılığıyla erişilebilir olmalıdır.

Tablo kimlik bilgileri dağıtım düzeneği

Tablo kimlik bilgileri, dış altyapının bulut depolama konumundan tablo verilerine ve meta verilerine erişmek için kullanabileceği kısa süreli bir erişim belirteci dizesi ve bulut depolama konumu URL'sini içerir.

Desteklenen erişim türleri

Tablo kimlik bilgisi bağlaması aşağıdaki tablo türlerini ve işlemlerini destekler:

Tablo türü	Read	Write	Oluştur
Yönetilen Delta	Evet	Evet*	Evet*
Dış Delta	Evet	Evet	Evet
Yönetilen Buzdağı	Evet	Evet	Evet
Yabancı Buzdağı	Evet	Hayır	Hayır
Delta ile Iceberg okuma	Evet	Yes**	Hayır

* Delta istemcileriyle Unity Catalog yönetilen tablolar oluşturma ve bu tablolara yazma Genel Önizleme aşamasındadır.

** Delta istemcisinden, Iceberg okumalarının etkin olduğu bir tabloya harici olarak yazma işlemi gerçekleştirdikten sonra, Iceberg meta verilerini oluşturmak için MSCK REPAIR TABLE komutunu çalıştırın.

Not

Bazı istemciler Delta Lake tarafından desteklenen tablolara erişimi desteklerken, diğerleri Iceberg okumalarını tablolarda etkinleştirmenizi gerektirir. Bkz. Iceberg istemcileri ile Delta Lake tablolarını okuma.

Dış veri erişimi için geçici bir tablo kimlik bilgisi isteme

Kimlik bilgisi satış desteği dış istemciye göre değişir. Desteklendiğinde, bağlantı yapılandırıldığında istemcinin otomatik olarak vended kimlik bilgilerinden yararlanması gerekir.

Bu bölüm, kimlik bilgisi dağıtımı yapan API uç noktasını açıkça çağırma örneği sağlar. Bazı dış istemciler Unity Kataloğu tablolarınızı destekleyen bulut nesne depolamadaki verilere ve meta verilere erişmek için yapılandırmaları açıkça ayarlamanızı gerektirebilir. Erişimi yapılandırmak için kimlik bilgisi dağıtım hizmeti tarafından döndürülen değerleri kullanabilirsiniz.

Not

ListTables API'sini include_manifest_capabilities seçeneği etkin olarak çağırarak kimlik bilgisi bağlamayı destekleyen tabloların listesini alabilirsiniz. Yalnızca HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT veya HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT olarak işaretlenmiş tablolar, geçici tablo kimlik bilgileri API'sinde başvuru için uygundur. bkz. GET /api/2.1/unity-catalog/tables.

Aşağıdaki curl örnek, dış veri erişimi için açıkça geçici bir kimlik bilgisi istemektedir. Bu isteğin yeterince ayrıcalıklı bir çalışma alanı sorumlusu tarafından tamamlanması gerekir.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation": "<READ|READ_WRITE>"}'

Ayrıntılar için Azure Databricks REST API başvurusunda POST /api/2.1/unity-catalog/temporary-table-credentials bölümüne bakın.

Sınırlama

Aşağıdaki sınırlamalar vardır:

• Tüm dış istemciler kimlik bilgisi sunmayı desteklemez ve destek, altyapıda kullanılan bulut nesne depolama alanına bağlı olarak farklılık gösterebilir.
• Delta Lake okuyucu istemcileri yalnızca Delta Lake tarafından desteklenen tabloları okuyabilir ve tabloda etkinleştirilmiş tüm okuyucu veya yazıcı protokollerini desteklemelidir. Bkz . Delta Lake özellik uyumluluğu ve protokolleri.
• Delta Lake kullanmayan dış tablolar işlem garantileri sağlamaz.
• Aşağıdaki tablo türleri veya özellikleri etkinleştirilmiş tablolar desteklenmez:
  • Satır filtreleri veya sütun maskeleri olan tablolar.
  • OpenSharing kullanılarak paylaşılan tablolar.
  • Görünümler.
  • Materyalize edilmiş görünümler.
  • Lakeflow işlem hatlarının akış tabloları.
  • Çevrimiçi tablolar.
  • AI Search dizinleri.
• Kimlik bilgileri yenileme Iceberg 1.9.0'da desteklenmez. Kimlik bilgisi yenilemesi için en son Iceberg sürümünü kullanın.

Yol kimlik bilgisi dağıtımı

Verilen kimlik bilgileri, kapsamı ilgili yola göre belirlenmiş olan bulut depolama konumuna doğrudan erişim sağlar. Bunlar sınırlı bir süre için geçerlidir ve tanımlı konum veya tablonun ötesinde daha geniş erişim izni vermez.

Dış veri erişimi için geçici yol kimlik bilgisi isteme

Kimlik bilgisi satış desteği dış istemciye göre değişir. Desteklendiğinde, bağlantı yapılandırıldığında istemcinin otomatik olarak vended kimlik bilgilerinden yararlanması gerekir.

Bu bölüm, kimlik bilgisi dağıtımı yapan API uç noktasını açıkça çağırma örneği sağlar. Bazı dış istemciler Unity Kataloğu tablolarınızı destekleyen bulut nesne depolamadaki verilere ve meta verilere erişmek için yapılandırmaları açıkça ayarlamanızı gerektirebilir. Erişimi yapılandırmak için kimlik bilgisi dağıtım hizmeti tarafından döndürülen değerleri kullanabilirsiniz.

Aşağıdaki curl örnek, dış veri erişimi için açıkça geçici bir kimlik bilgisi istemektedir. Bu isteğin yeterince ayrıcalıklı bir çalışma alanı sorumlusu tarafından tamamlanması gerekir.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": "<PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Ayrıntılar için Azure Databricks REST API başvurusunda geçici yol kimlik bilgilerini oluşturma bölümüne bakın.

Birim kimlik bilgisi otomatı

Önemli

Bu özellik Genel Önizlemesürümündedir.

Birim kimlik bilgisi sağlama, harici altyapıların Unity Catalog birimlerinde depolanan dosyalara geçici ve kapsamı sınırlı kimlik bilgileriyle erişmesini sağlar. İstekte bulunan yetkili, birimi barındıran şemada EXTERNAL USE SCHEMA iznine sahip olmalı; ayrıca okuma erişimi için READ VOLUME ya da yazma erişimi için READ VOLUME ve WRITE VOLUME izinlerine sahip olmalıdır. Bkz. Unity Catalog'un birimleri nelerdir?.

Unity Kataloğu izinleri doğrular ve birimin depolama yoluna bağlı kısa süreli, kapsamlı bulut depolama kimlik bilgilerini döndürür. Kimlik bilgilerinin süresi otomatik olarak dolar ve belirtilen birimin ötesinde erişim izni vermez.

Gereksinimler

• Meta veri deposunda dış erişim etkinleştirilmelidir. Bkz. Meta veri deposunda dış veri erişimini etkinleştirme.
• İstekte bulunan yetkili, birimi barındıran şemada EXTERNAL USE SCHEMA iznine sahip olmalı; ayrıca okuma erişimi için READ VOLUME ya da yazma erişimi için READ VOLUME ve WRITE VOLUME izinlerine sahip olmalıdır.
• Harici motor, çalışma alanı URL’sine erişebilmelidir.
• Bulut depolama URL'lerine güvenlik duvarı ve ağ denetimleri aracılığıyla erişilebilir olmalıdır.

Dış veri erişimi için geçici birim kimlik bilgisi isteme

Aşağıdaki curl örnek, dış veri erişimi için açıkça geçici bir kimlik bilgisi istemektedir.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.0/unity-catalog/temporary-volume-credentials \
-d '{"volume_id": "<volume-id>", "operation": "<READ_VOLUME|WRITE_VOLUME>"}'

veya Azure Databricks Python SDK'sını kullanın:

from databricks.sdk.service.catalog import VolumeOperation

creds = w.temporary_volume_credentials.generate_temporary_volume_credentials(
    volume_id=volume_id,
    operation=VolumeOperation.READ_VOLUME,
)

Ayrıntılar için Azure Databricks REST API başvurusunda POST /api/2.0/unity-catalog/temporary-volume-credentials bölümüne bakın.

Sınırlama

• Yönetilen birimlerde yalnızca okuma erişimi desteklenir. Dış birimler hem okuma hem de yazma erişimini destekler.