Dış sistemleri kullanarak Databricks verilerine erişme

Bu sayfada, verilerin Azure Databricks tarafından yönetilen ve dış sistemlerin kullanımına sunulmasına yönelik işlevlere ve önerilere genel bir bakış sağlanır.

Bu desenler, kuruluşunuzun güvenilen araçları veya sistemleri Azure Databricks verileriyle tümleştirmesi gereken senaryolara odaklanır. Kuruluşunuzun dışında veri paylaşma konusunda rehberlik arıyorsanız bkz. Verileri ve yapay zeka varlıklarını güvenli bir şekilde paylaşma.

Azure Databricks hangi dış erişimi destekler?

Azure Databricks tüm veri varlıklarınızı yönetmek için Unity Kataloğu'nu kullanmanızı önerir. Unity Kataloğu, Unity REST API'sini ve Iceberg REST kataloğunu kullanan Apache Iceberg istemcilerini kullanarak Delta Lake istemcilerine tümleştirmeler sağlar. Desteklenen tümleştirmelerin tam listesi için bkz. Unity Kataloğu tümleştirmeleri.

Aşağıdaki tabloda Unity Kataloğu nesneleri için destek biçimlerine ve erişim desenlerine genel bir bakış sağlanmaktadır.

Unity Kataloğu nesnesi	Desteklenen biçimler	Erişim desenleri
Yönetilen tablolar	Delta Gölü, Buzdağı	Unity REST API, Iceberg REST kataloğu, Delta Sharing
Dış tablolar	Delta Gölü	Unity REST API, Iceberg REST kataloğu, Delta Sharing, bulut URI'leri
Dış tablolar	CSV, JSON, Avro, Parquet, ORC, metin	Unity REST API, bulut URI'leri
Harici birimler	Tüm veri türleri	Bulut URI'leri
Yabancı tablolar*	Delta Gölü, Buzdağı	Unity REST API, Iceberg REST kataloğu (Önizleme), Delta Sharing
Yabancı tablolar*	CSV, JSON, Avro, Parquet, ORC, metin	Unity REST API, bulut URI'leri

* Yalnızca katalog federasyonu kullanılarak birleştirilmiş yabancı tablolar desteklenir. Müşteriler, yabancı tablolardaki dış altyapılardan gelen yeni okumaları garanti etmek için Lakeflow işlerini kullanarak meta verileri düzenli aralıklarla yenileyebilir.

Bu Unity Kataloğu nesneleri hakkında daha fazla ayrıntı için aşağıdakilere bakın:

• Delta Lake ve Apache Iceberg için Azure Databricks'te yönetilen Unity Kataloğu tabloları
• Dış tablolarla çalışma
• Unity Kataloğu birimleri nelerdir?

Birlik Kataloğu kimlik bilgisi dağıtımı

Unity Kataloğu kimlik bilgisi yönetimi, kullanıcıların harici istemcileri Azure Databricks tarafından kontrol edilen verilerdeki yetkileri devralacak şekilde yapılandırmalarına olanak tanır. Hem Iceberg hem de Delta istemcileri kimlik bilgisi sağlama işlemini destekleyebilir. Bkz. dış sistem erişimi için Unity Kataloğu kimlik bilgileri dağıtımı.

Delta istemcileri ile tablolara erişme

Desteklenen Delta istemcilerinden Delta Lake tarafından desteklenen Unity Kataloğu yönetilen ve dış tabloları okumak, yazmak ve oluşturmak için Unity REST API'sini kullanın. Bkz. Delta istemcilerinden Databricks tablolarına erişme.

Önemli

Unity Kataloğu tarafından yönetilen tabloları oluşturma ve bu tablolara Delta istemcilerinden yazma Beta sürümündedir.

Dış tablolarda Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.

Uyarı

Azure Databricks belgelerinde Databricks Runtime sürümlerine ve platform özelliklerine dayalı sınırlamalar ve uyumluluk konuları listelenmektedir. İstemcinizin hangi okuyucu ve yazıcı protokollerini ve tablo özelliklerini desteklediğini onaylamanız gerekir. Bkz. delta.io.

Iceberg istemcileri ile tablolara erişme

Azure Databricks, Iceberg istemcilerine Unity Kataloğu'na kayıtlı tablolar için okuma, yazma ve oluşturma desteği sağlar. Desteklenen istemciler Apache Spark, Apache Flink, Trino ve Snowflake'tir. Bkz. Apache Iceberg istemcilerinden Access Azure Databricks tabloları.

Etki alanları arasında salt okunur tabloları paylaşma

Etki alanları ve desteklenen sistemler arasında yönetilen veya dış Delta tablolarına salt okunur erişim vermek için Delta Paylaşımı'nı kullanabilirsiniz. Delta Sharing tablolarının sıfır kopya okumasını destekleyen yazılım sistemleri SAP, Amperity ve Oracle'dır. Bkz. Verileri ve yapay zeka varlıklarını güvenli bir şekilde paylaşma.

Uyarı

Delta Sharing'i, müşterilere veya iş ortaklarına salt okunur erişim vermek için de kullanabilirsiniz. Delta Sharing, Databricks Marketplacekullanılarak paylaşılan verileri de destekler.

Delta Lake dışındaki tablo verilerine dış tablolarla erişin

Unity Kataloğu dış tabloları Parquet, ORC, CSV ve JSON gibi Delta Lake dışında birçok biçimi destekler. Dış tablolar, dizinlerdeki tüm veri dosyalarını, tablo oluşturma sırasında sağlanan bir bulut URI'si tarafından belirtilen bir bulut nesnesi depolama konumunda depolar. Diğer sistemler bu veri dosyalarına doğrudan bulut nesne depolama alanından erişer.

Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir; bu nedenle, veri idaresi ilkelerinin Azure Databricks dışında da dikkate alındığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.

Delta Lake dışındaki biçimler için işlem garantisi sağlanmadığı için birden çok sistemden dış tabloların okunması ve bu tablolara yazması tutarlılık sorunlarına ve veri bozulmasına neden olabilir.

Unity Kataloğu, Delta Lake dışındaki biçimlerle desteklenen dış tablolara yazılan yeni bölümleri alamayabilir. Databricks, Unity Kataloğu'nun dış sistemler tarafından yazılan tüm veri dosyalarını kaydettiğini güvence altına almak için düzenli olarak MSCK REPAIR TABLE table_name çalıştırmanızı önerir.

Dış birimlerle tablo dışı verilere erişme

Databricks, Azure Databricks ek olarak dış sistemler tarafından okunan veya yazılan tablosal olmayan veri dosyalarını depolamak için dış birimlerin kullanılmasını önerir. Bkz. Unity Catalog'un birimleri nelerdir?.

Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir; bu nedenle, veri idaresi ilkelerinin Azure Databricks dışında da dikkate alındığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.

Birimler, dosyaları birimlerden almak ve birimlere yerleştirmek için API'ler, SDK'lar ve diğer araçlar sağlar. Unity Catalog hacimlerinde dosyalarla çalışma bölümüne bakın.

Uyarı

Delta Sharing, birimleri diğer Azure Databricks hesaplarıyla paylaşmanıza olanak tanır, ancak dış sistemlerle tümleştirilmez.