Dış sistemleri kullanarak gerçekleştirilmiş görünümlere ve akış tablolarına erişme

Varsayılan olarak, somutlaştırılmış görünümler ve akış tabloları dış sistemlerden erişime açık değildir. Azure Databricks, veri kümelerinizi Delta Lake veya Iceberg istemcilerinin kullanımına sunmanızı sağlayan iki özellik sağlar:

  • Dış veri erişimi - Boru hattı tarafından yönetilen ve bağımsız materyalize edilmiş görünümler ve akış tabloları için harici veri erişimini etkinleştirmek, müşterilerin tam veri kopyası veya ayrı bir yenileme takvimine ihtiyaç duymadan Unity Kataloğu veya Iceberg REST API'lerini kullanmasını sağlayan dış dönük meta verileri yayımlar. İstemciler katalog REST API'lerini kullanmalı ve Delta Lake 4.0.0 veya üzerini ya da Iceberg V3 spesifikasyonunu desteklemelidir.

    Boru hattı tarafından yönetilen ve bağımsız materyalize edilmiş görünümler ve akış tabloları için harici veri erişimi hakkında detaylar için bkz. Akış tablolarına ve maddeleştirilmiş görünümlere harici veri erişimini etkinleştir.

  • Uyumluluk modu (Genel Önizleme) - Bir veri kümesi için uyumluluk modunun etkinleştirilmesi, seçtiğiniz bir konumda verilerinizin salt okunur bir sürümünü oluşturur ve tablolar yenilendiğinde güncelleştirilmelidir. Uyumluluk sürümü, verilerin salt okunur kopyasıyla birlikte hem Delta Lake hem de Iceberg biçimleri için v1 meta verilerini içerir ve veri güncelleştirmelerinde gecikme ve veri kopyalama maliyetleri karşılığında daha geniş bir istemci aralığına (bir API yerine doğrudan tablo verilerini okuması gereken istemciler dahil) erişim sağlar.

    Uyumluluk modu hakkında ayrıntılı bilgi için bkz. Uyumluluk Modu.

Dış istemcileriniz REST API'leri destekliyorsa, Azure Databricks bu istemcilere gerçekleştirilmiş görünümlere veya akış tablolarına erişim vermek için dış veri erişimi kullanmanızı önerir. Özellikle eski istemciler ve Unity Kataloğu tarafından yönetilen diğer tablolar gibi daha geniş bir istemci yelpazesi için uyumluluk modunu kullanın.

Kapasite Dış veri erişimi Uyumluluk modu
Veri kopyalama Veri kopyalama gerekmez. Veri kopyası gerekli.
Consistency Yazma sonrası okuma tutarlılığı. Dış istemciler değişiklikleri veri kümesinde gerçekleşir gerçekleşmez görür. Güncelleştirmeler bir zamanlamaya göre gerçekleşir. Varsayılan olarak, uyumluluk tablosu saatlik olarak güncelleştirilir. Bu, kaynak tabloda yapılan bir değişiklik sonrasında hemen güncelleştirilecek şekilde ayarlanabilir, ancak yine de veri kopyalama süresinde gecikir.
Access "Modern" REST API erişimi gerektirir. Delta 4.0.0 veya üzeri katalog API'lerini veya Iceberg v3 belirtim API'lerini destekler (silme vektörleri desteği gerektirir). Tüm Delta Lake veya Iceberg istemcileri ile uyumludur.
Tek tablo nesnesi Maddileştirilmiş görünümler ve akış tabloları, dış istemcilere orijinal veri kümesiyle aynı adı taşıyan yönetilen tablolar olarak görünür. Uyumluluk tabloları, dış istemciler için yeni bir konumda yeni bir tablo olarak görünür.
Tablo türü desteği Lakeflow boru hattı tarafından yönetilen veya bağımsız nesne olarak oluşturulan materyalize görünümleri ve akış tablolarını destekler. Lakeflow işlem hattı tarafından yönetilsin ya da bağımsız olsun, somutlaştırılmış görünümleri, akış tablolarını ve Unity Catalog tarafından yönetilen diğer tabloları destekler.
Maliyet Dış meta verileri koruma maliyeti, gerçekleştirilmiş görünüm veya akış tablosunun yenileme maliyetinin bir parçasıdır. Bu genellikle yenileme maliyetinin ve süresinin 1% altındadır. Uyumluluk modu maliyetinin çoğu, eski verileri yeni konuma aktarma maliyetidir.

Ek kaynaklar

  • Last updated on