Dış sistemleri kullanarak Databricks verilerine erişme

Bu sayfa, Azure Databricks tarafından yönetilen ve yönetilen verilerin diğer sistemler tarafından kullanılabilir olmasını sağlamaya yönelik işlevlere ve önerilere genel bir bakış sağlar.

Bu desenler, kuruluşunuzun güvenilir araçları veya sistemleri Azure Databricks verileriyle tümleştirmesi gereken senaryolara odaklanır. Kuruluşunuzun dışında veri paylaşma konusunda rehberlik arıyorsanız bkz. Verileri ve yapay zeka varlıklarını diğer kuruluşlardaki kullanıcılarla güvenli bir şekilde paylaşma.

Azure Databricks hangi dış erişimi destekler?

Azure Databricks, tüm veri varlıklarınızı yönetmek için Unity Kataloğu'nu kullanmanızı önerir. Unity Kataloğu, Unity REST API'sini ve Iceberg REST kataloğunu kullanan Apache Iceberg istemcilerini kullanarak Delta Lake istemcilerine tümleştirmeler sağlar. Desteklenen tümleştirmelerin tam listesi için bkz. Unity Kataloğu tümleştirmeleri.

Aşağıdaki tabloda Unity Kataloğu nesneleri için destek biçimlerine ve erişim desenlerine genel bir bakış sağlanmaktadır.

Unity Kataloğu nesnesi	Desteklenen biçimler	Erişim desenleri
Yönetilen tablolar	Delta Gölü, Buzdağı	Unity REST API, Iceberg REST kataloğu, Delta Sharing
Dış tablolar	Delta Gölü	Unity REST API, Iceberg REST kataloğu, Delta Sharing, bulut URI'leri
Dış tablolar	CSV, JSON, Avro, Parquet, ORC, metin	Unity REST API, bulut URI'leri
Harici birimler	Tüm veri türleri	Bulut URI'leri
Yabancı tablolar*	Delta Gölü, Buzdağı	Unity REST API, Iceberg REST kataloğu (Önizleme), Delta Sharing
Yabancı tablolar*	CSV, JSON, Avro, Parquet, ORC, metin	Unity REST API, bulut URI'leri

* Yalnızca katalog federasyonu kullanılarak birleştirilmiş yabancı tablolar desteklenir. Müşteriler, yabancı tablolardaki dış altyapılardan gelen yeni okumaları garanti etmek için Lakeflow işlerini kullanarak meta verileri düzenli aralıklarla yenileyebilir.

Uyarı

Iceberg desteği, Azure Databricks tarafından Delta Lake kullanılarak yazılmış ancak Iceberg okumaları (UniForm) etkinleştirilmiş tabloları açıklar.

Bu Unity Kataloğu nesneleri hakkında daha fazla ayrıntı için aşağıdakilere bakın:

• Azure Databricks'teki Unity Kataloğu tarafından yönetilen Delta Lake ve Apache Iceberg tabloları
• Dış tablolarla çalışma
• Unity Kataloğu birimleri nelerdir?

Birlik Kataloğu kimlik bilgisi dağıtımı

Unity Kataloğu kimlik bilgisi sağlama, kullanıcıların harici istemcileri Azure Databricks tarafından yönetilen verilerdeki ayrıcalıkları devralacak şekilde yapılandırmalarına olanak tanır. Hem Iceberg hem de Delta istemcileri kimlik bilgisi sağlama işlemini destekleyebilir. Bkz. dış sistem erişimi için Unity Kataloğu kimlik bilgileri dağıtımı.

Delta istemcileriyle tabloları okuma

Desteklenen Delta istemcilerinden, Delta Lake tarafından desteklenen Unity Kataloğu'ndaki yönetilen ve dış tabloları okumak için Unity REST API'sini kullanın. Bkz. Delta istemcilerinden Databricks tablolarını okuma.

Iceberg istemcileri ile tabloları okuma

Azure Databricks, Iceberg istemcilerine Unity Kataloğu'na kayıtlı tablolar için salt okunur destek sağlar. Desteklenen istemciler Apache Spark, Apache Flink, Trino ve Snowflake'tir. Bkz. Apache Iceberg istemcilerinden Azure Databricks tablolarına erişme.

Etki alanları arasında salt okunur tabloları paylaşma

Etki alanları ve desteklenen sistemler arasında yönetilen veya dış Delta tablolarına salt okunur erişim vermek için Delta Paylaşımı'nı kullanabilirsiniz. Delta Sharing tablolarının sıfır kopya okumasını destekleyen yazılım sistemleri SAP, Amperity ve Oracle'dır. bkz. Verileri ve yapay zeka varlıklarını diğer kuruluşlardaki kullanıcılarla güvenli bir şekilde paylaşma.

Uyarı

Delta Sharing'i, müşterilere veya iş ortaklarına salt okunur erişim vermek için de kullanabilirsiniz. Delta Sharing, Databricks Marketplacekullanılarak paylaşılan verileri de destekler.

Dış Delta tabloları oluşturma, okuma ve yazma

Önemli

Dış Delta Lake istemcilerinden Unity Kataloğu dış tabloları oluşturma Işlemi Genel Önizleme aşamasındadır.

Bulut nesne depolama URI'lerini ve kimlik bilgilerini kullanarak dış Delta Lake istemcilerinden Delta Lake tarafından desteklenen Unity Kataloğu dış tabloları oluşturabilir, okuyabilir ve yazabilirsiniz. Tablo oluşturmak için bkz. Dış istemcilerden dış Delta tabloları oluşturma.

Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.

Uyarı

Azure Databricks belgelerinde Databricks Runtime sürümlerine ve platform özelliklerine dayalı sınırlamalar ve uyumluluk konuları listelenmektedir. İstemcinizin hangi okuyucu ve yazıcı protokollerini ve tablo özelliklerini desteklediğini onaylamanız gerekir. Bkz. delta.io.

Delta Lake dışındaki tablo verilerine dış tablolarla erişin

Unity Kataloğu dış tabloları Parquet, ORC, CSV ve JSON gibi Delta Lake dışında birçok biçimi destekler. Dış tablolar, dizinlerdeki tüm veri dosyalarını, tablo oluşturma sırasında sağlanan bir bulut URI'si tarafından belirtilen bir bulut nesnesi depolama konumunda depolar. Diğer sistemler bu veri dosyalarına doğrudan bulut nesne depolama alanından erişer.

Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.

Delta Lake dışındaki biçimler için işlem garantisi sağlanmadığı için birden çok sistemden dış tabloların okunması ve bu tablolara yazması tutarlılık sorunlarına ve veri bozulmasına neden olabilir.

Unity Kataloğu, Delta Lake dışındaki biçimlerle desteklenen dış tablolara yazılan yeni bölümleri alamayabilir. Databricks, Unity Kataloğu'nun dış sistemler tarafından yazılan tüm veri dosyalarını kaydettiğini güvence altına almak için düzenli olarak MSCK REPAIR TABLE table_name çalıştırmanızı önerir.

Dış birimlerle tablo dışı verilere erişme

Databricks, Azure Databricks'e ek olarak dış sistemler tarafından okunan veya yazılan tablosal olmayan veri dosyalarını depolamak için dış birimlerin kullanılmasını önerir. Bkz. Unity Catalog'un birimleri nelerdir?.

Unity Kataloğu, dış sistemlerden doğrudan bulut nesne depolaması için gerçekleştirilen okuma ve yazma işlemlerine tabi değildir. Bu nedenle, veri idaresi ilkelerinin Azure Databricks dışından karşılandığından emin olmak için bulut hesabınızda ek ilkeler ve kimlik bilgileri yapılandırmanız gerekir.

Birimler, dosyaları birimlerden almak ve birimlere yerleştirmek için API'ler, SDK'lar ve diğer araçlar sağlar. Unity Catalog hacimlerinde dosyalarla çalışma bölümüne bakın.

Uyarı

Delta Sharing, birimleri diğer Azure Databricks hesaplarıyla paylaşmanıza olanak tanır, ancak dış sistemlerle tümleştirilmez.