Delta Paylaşımı nedir?

Bu sayfada Azure Databricks'teki verileri ve yapay zeka varlıklarını Azure Databricks'i kullanıp kullanmadıklarına bakılmaksızın kuruluşunuz dışındaki kullanıcılarla paylaşmanıza olanak tanıyan güvenli veri paylaşım platformu Azure Databricks'te Delta Paylaşımı tanıtılmaya devam edilmektedir. Delta Sharing, veri ürünlerinin alışverişi için açık bir forum olan databricks Marketve birden çok tarafın hassas kurumsal veriler üzerinde birlikte çalışabileceği güvenli ve gizliliği koruyan bir ortam olan Clean Roomsiçin de temel oluşturur.

Delta Paylaşımı, delta tablolarını diğer platformlardan paylaşmak için kullanabileceğiniz bir açık kaynak proje olarak da kullanılabilir.

Delta Paylaşımı nasıl çalışır?

Delta Sharing , Databricks tarafından kullandıkları bilgi işlem platformlarından bağımsız olarak diğer kuruluşlarla güvenli veri paylaşımı için geliştirilen açık bir protokoldür .

Delta Sharing kullanarak veri paylaşmanın birkaç yolu vardır:

1. Databricks'ten Databricks'e paylaşım protokolü, Unity Kataloğu özellikli bir Databricks çalışma alanına erişimi olan kullanıcılarla Unity Kataloğu özellikli çalışma alanınızdaki verileri ve yapay zeka varlıklarını paylaşmanızı sağlar.

   Bu yaklaşım, Azure Databricks'de yerleşik olarak bulunan Delta Sharing sunucusunu kullanır. Not defteri paylaşımı, Unity Kataloğu birim paylaşımı, Unity Kataloğu yapay zeka modeli paylaşımı, Unity Kataloğu veri idaresi, denetim ve hem sağlayıcılar hem de alıcılar için kullanım izleme gibi diğer protokollerde desteklenmeyen bazı Delta Paylaşımı özelliklerini destekler. Unity Kataloğu ile tümleştirme, hem sağlayıcılar hem de alıcılar için kurulumu ve idareyi basitleştirir ve performansı artırır.

   Bkz. Delta Sharing Databricks-to-Databricks protokolünü (sağlayıcılar için) kullanarak verileri paylaşma.

2. Unity Kataloğu özellikli Databricks çalışma alanında yönettiğiniz tablosal verileri herhangi bir bilgi işlem platformundaki kullanıcılarla paylaşmanıza olanak tanıyan Databricks açık paylaşım protokolü.

   Bu yaklaşım, Azure Databricks'de yerleşik olarak bulunan Delta Sharing sunucusunu kullanır ve Unity Kataloğu'nu kullanarak verileri yönettiğiniz ve Databricks kullanmayan veya Unity Kataloğu etkinleştirilmiş Databricks çalışma alanına erişimi olmayan kullanıcılarla paylaşmak istediğinizde yararlıdır. Sağlayıcı tarafında Unity Kataloğu ile tümleştirme, sağlayıcılar için kurulumu ve idareyi basitleştirir.

   Bkz. , Delta Sharing açık paylaşım protokolü (sağlayıcılar için)kullanarak verileri paylaşma.

3. Databricks olsun veya olmasın, herhangi bir platformdan herhangi bir platforma paylaşım yapmanızı sağlayan, açık kaynak Delta Sharing sunucusunun müşteri tarafından yönetilen uygulaması.

   Azure Databricks belgeleri kendi Delta Sharing sunucunuzu ayarlama yönergelerini kapsamaz. Bkz. github.com/delta-io/delta-sharing.

4. Unity Kataloğu özellikli çalışma alanınızla SAP BDC hesabı arasında veri paylaşmanızı sağlayan Azure Databricks için SAP Business Data Cloud (BDC) Bağlayıcısı.

   Bu yaklaşım, SAP BDC veri ürünlerine canlı, sıfır kopya erişimi için Delta Sharing kullanan SAP İVB Bağlayıcısı'nı kullanır.

   Bkz. Azure Databricks için SAP BDC Bağlayıcısı nedir?.

Delta Sharing veri erişim mimarisi.

Paylaşımlar, sağlayıcılar ve alıcılar

Azure Databricks'te Delta Sharing'in temel aldığı birincil kavramlar, paylaşımlar, sağlayıcılarve alıcılar'tir.

Paylaşım nedir?

Delta Sharing'de paylaşımı, sağlayıcının bir veya daha fazla alıcıyla paylaşmayı istediği, tablo ve tablo bölümlerinden oluşan salt okunur bir koleksiyondur. Alıcınız Unity Kataloğu özellikli bir Databricks çalışma alanı kullanıyorsa not defteri dosyalarını, görünümleri (satır ve sütun düzeyinde erişimi kısıtlayan dinamik görünümler dahil), Unity Kataloğu birimlerini ve Unity Kataloğu modellerini de bir paylaşıma ekleyebilirsiniz.

İstediğiniz zaman bir paylaşımdan tablolar, akış tabloları, yönetilen Iceberg tabloları, görünümler, gerçekleştirilmiş görünümler, birimler, modeller ve not defteri dosyaları ekleyebilir veya kaldırabilir ve bir paylaşıma veri alıcısı erişimini istediğiniz zaman atayabilir veya iptal edebilirsiniz.

Unity Kataloğu özellikli Azure Databricks çalışma alanında paylaşım, Unity Kataloğu'nda kayıtlı güvenli hale getirilebilir bir nesnedir. Unity Kataloğu meta veri deponuzdan bir paylaşımı kaldırırsanız, bu paylaşımın tüm alıcıları bu paylaşıma erişim yeteneğini kaybeder.

Bkz. Delta Sharing için paylaşım oluşturma ve yönetme.

Sağlayıcı nedir?

sağlayıcı, verileri alıcıyla paylaşan bir varlıktır. Bir sağlayıcıysanız ve yerleşik Databricks Delta Sharing sunucusundan yararlanmak ve Unity Kataloğu'nu kullanarak paylaşımları ve alıcıları yönetmek istiyorsanız, Unity Kataloğu için etkinleştirilmiş en az bir Azure Databricks çalışma alanınız olmalıdır. Mevcut çalışma alanlarınızın tümünü Unity Kataloğu'na geçirmeniz gerekmez. Delta Sharing gereksinimleriniz için unity kataloğu etkinleştirilmiş yeni bir çalışma alanı oluşturabilirsiniz.

Alıcı, Unity Catalog özellikli bir Databricks çalışma alanındaysa, sağlayıcı da sağlayıcı kuruluşunu temsil eden ve bu kuruluşu bir paylaşım kümesiyle ilişkilendiren güvenli bir Unity Catalog nesnesidir.

Alıcı nedir?

alıcı, bir sağlayıcıdan hisse alan bir varlıktır. Unity Kataloğu'nda paylaşım, bir kuruluşu temsil eden ve kuruluşun bir veya daha fazla paylaşıma erişmesini sağlayan bir kimlik bilgisi veya güvenli paylaşım tanımlayıcısıyla ilişkilendiren güvenli bir nesnedir.

Veri sağlayıcısı (paylaşan) olarak, belirli bir Unity Kataloğu meta veri deposu için birden çok alıcı tanımlayabilirsiniz, ancak birden çok meta veri deposundaki verileri belirli bir kullanıcı veya kullanıcı grubuyla paylaşmak istiyorsanız, alıcıyı her meta veri deposu için ayrı olarak tanımlamanız gerekir. Bir alıcı birden çok paylaşıma erişebilir.

Sağlayıcı bir alıcıyı Unity Kataloğu meta veri deposundan silerse, bu alıcı daha önce erişebileceği tüm paylaşımlara erişimi kaybeder.

Bkz. Delta Sharing (Databricks-Databricks paylaşımı) için veri alıcılarını oluşturma ve yönetme.

Açık paylaşım ile Databricks-Databricks paylaşımı kıyaslaması

Bu bölümde Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanından paylaşıma yönelik iki protokol açıklanmaktadır.

Note

Bu bölümde, sağlayıcının Unity Kataloğu özellikli bir Azure Databricks çalışma alanında olduğu varsayılır. Databricks veya Unity Kataloğu bulunmayan bir platform ya da çalışma alanından paylaşım yapmak için bir açık kaynak Delta Sharing sunucusu kurma hakkında bilgi edinmek üzere bkz. github.com/delta-io/delta-sharing.

Sağlayıcının Azure Databricks'te Delta Sharing'i kullanma şekli, verileri kiminle paylaştığına bağlıdır:

• Açık paylaşım, Azure Databricks'e erişimi olsun veya olmasın tüm kullanıcılarla veri paylaşmanızı sağlar.
• Databricks'ten Databricks'e paylaşım , çalışma alanları sizin çalışma alanınızdan farklı bir Unity Kataloğu meta deposuna bağlı olan Azure Databricks kullanıcılarıyla veri paylaşmanızı sağlar. Databricks'ten Databricks'e bağlantı, açık paylaşımda mevcut olmayan not defteri, birim ve model paylaşımını da destekler.

Açık Delta Sharing nedir?

Databricks kullanıp kullanmadıklarına bakılmaksızın Azure Databricks çalışma alanınızın dışındaki kullanıcılarla veri paylaşmak istiyorsanız, verilerinizi güvenli bir şekilde paylaşmak için açık Delta Paylaşımı'nı kullanabilirsiniz. Veri sağlayıcısı olarak, aşağıdaki yöntemlerden birini kullanarak paylaşım alıcısıyla kimlik doğrulamasını yönetirsiniz:

• Uzun ömürlü bir taşıyıcı belirteci oluşturur ve alıcıyla güvenli bir şekilde paylaşırsınız. Kimlik doğrulaması yapmak ve onlara erişim sağladığınız paylaşımlara eklediğiniz tablolara okuma erişimi elde etmek için belirteci kullanırlar.
• Alıcının IdP'si tarafından Databricks'e iletilen JWT belirteçleri karşılığında alıcıya kısa ömürlü Databricks OAuth belirteçleri vererek Open ID Connect (OIDC) federasyonu kullanırsınız.

Alıcılar, aşağıdakiler dahil olmak üzere birçok bilgi işlem aracı ve platformu kullanarak paylaşılan verilere erişebilir:

• Azure Databricks
• Apache Spark
• Pandas
• Power BI

Delta Sharing bağlayıcılarının tam listesi ve bunların nasıl kullanılacağı hakkında bilgi için Delta Sharing belgelerine bakın.

Ayrıca bkz. Delta Sharing açık paylaşım protokolü (sağlayıcılar için)kullanarak verileri paylaşma .

Databricks'ten Databricks'e Delta Sharing nedir?

Unity Kataloğuiçin etkinleştirilmiş bir Databricks çalışma alanı olan kullanıcılarla veri paylaşmak istiyorsanız Databricks-To-Databricks Delta Sharing'ı kullanabilirsiniz. Databricks-Databricks paylaşımı, AWS, Azure veya GCP'de olsun diğer Databricks hesaplarındaki kullanıcılarla veri paylaşmanızı sağlar. Ayrıca kendi Databricks hesabınızdaki farklı Unity Kataloğu meta veri depolarında verileri güvenli bir şekilde paylaşmanın da harika bir yoludur. Aynı Unity Kataloğu meta veri deposuna bağlı çalışma alanları arasında veri paylaşmak için Delta Paylaşımı'nı kullanmanıza gerek olmadığını unutmayın, çünkü bu senaryoda çalışma alanları arasında verilere erişimi yönetmek için Unity Kataloğu'nu kullanabilirsiniz.

Databricks-Databricks paylaşımının avantajlarından biri, paylaşım alıcısının paylaşıma erişmek için bir jetonun gerekli olmaması ve sağlayıcının alıcı jetonlarını yönetmesi gerekmemesidir. Tüm kimlik doğrulaması, kimlik doğrulaması ve denetim dahil olmak üzere paylaşım bağlantısının güvenliği tamamen Delta Sharing ve Databricks platformu aracılığıyla yönetilir. Bir diğer avantajı da Databricks not defteri dosyalarını, Unity Kataloğu birimlerini ve Unity Kataloğu modellerini paylaşabilmektir.

Ayrıca bkz. Delta Sharing Databricks-to-Databricks protokolünü (sağlayıcılar için)kullanarak verileri paylaşma.

Sağlayıcı yöneticileri Delta Sharing'i nasıl ayarlar?

Bu bölümde sağlayıcıların Delta Paylaşımı'nı nasıl etkinleştirebileceğine ve Unity Kataloğu'nun etkin olduğu bir Azure Databricks çalışma alanından paylaşımı nasıl başlatabileceğine genel bir bakış sağlıyoruz. Açık kaynak Delta Paylaşımı için bkz . github.com/delta-io/delta-sharing.

Aynı hesaptaki Unity Kataloğu meta veri depoları arasında Databricks-Databricks paylaşımı daima etkin durumdadır. Delta Sharing'in diğer hesaplardaki veya Databricks dışı istemcilerdeki Databricks çalışma alanlarıyla veri paylaşmasını sağlamak isteyen bir sağlayıcıysanız, Azure Databricks hesap yöneticisi veya meta veri deposu yöneticisi aşağıdaki kurulum adımlarını gerçekleştirir (üst düzeyde):

1. Paylaşmak istediğiniz verileri yöneten Unity Kataloğu meta veri deposu için Delta Paylaşımı'nı etkinleştirin.

   Note

   Delta Sharing'i yalnızca hesabınızdaki diğer Unity Kataloğu meta veri depolarındaki kullanıcılarla veri paylaşmak için kullanmayı planlıyorsanız, meta veri deponuzda Delta Paylaşımı'nı etkinleştirmeniz gerekmez. Tek bir Azure Databricks hesabı içinde meta veri deposundan meta veri deposuna paylaşım varsayılan olarak etkindir.

   Bkz. Meta veri deposunda Delta Paylaşımını Etkinleştirme.

2. Unity Kataloğu meta veri deposunda kayıtlı veri varlıklarını içeren bir paylaşım oluşturun.

   Databricks olmayan bir alıcıyla paylaşıyorsanız (açık paylaşım olarak bilinir) Delta biçiminde tablolar ekleyebilirsiniz. Databricks'tan Databricks'e paylaşımıkullanmayı planlıyorsanız, görünümleri, Unity Kataloğu birimlerini, Unity Kataloğu modellerini ve not defteri dosyalarını da paylaşıma ekleyebilirsiniz.

   Bkz. Delta Sharing için paylaşım oluşturma ve yönetme.

3. Alıcı oluşturma.

   Bkz. Delta Sharing (Databricks-Databricks paylaşımı) için veri alıcılarını oluşturma ve yönetme.

   Alıcınız bir Databricks kullanıcısı değilse veya Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanına erişimi yoksa, açık paylaşımkullanmanız gerekir. Bu alıcı için taşıyıcı belirteç tabanlı kimlik bilgileri oluşturabilir veya OIDC federasyonu kullanabilirsiniz.

   Alıcınız Unity Catalog için etkinleştirilmiş bir Databricks çalışma alanına erişebiliyorsa, Databricks-to-Databricks paylaşımını kullanabilirsiniz ve belirteç tabanlı kimlik bilgilerine gerek yoktur. Alıcıdan paylaşım tanımlayıcısı isteyin ve güvenli bağlantıyı kurmak için bu tanımlayıcıyı kullanın.

   Tip

   Kurulum işlemini denemek için kendinizi test alıcısı olarak kullanın.

4. Alıcıya bir veya daha fazla paylaşıma erişim izni verin.

   bkz. Delta Sharing veri paylaşımlarına erişimi yönetme (sağlayıcılar için).

   Note

   Bu adım, USE SHAREUSE RECIPIENT ve ayrıcalıklarına sahip SET SHARE PERMISSIONyönetici olmayan bir kullanıcı tarafından da gerçekleştirilebilir. Bkz. Unity Kataloğu ayrıcalıkları ve güvenliği sağlanabilecek nesneler.

5. Alıcıya paylaşıma bağlanması için gereken bilgileri gönderin (yalnızca paylaşımı açın).

   Taşıyıcı belirteçleri kullanarak açık paylaşım için güvenli bir kanal kullanarak alıcıya belirteç tabanlı kimlik bilgilerini indirmesine olanak tanıyan bir etkinleştirme bağlantısı gönderin. Bkz. Alıcıya bağlantı bilgilerini gönderme.

   OIDC belirteci federasyonu kullanarak açık paylaşım için oluşturulan portal URL'sini gönderin. Bkz. Open ID Connect (OIDC) federasyonunu kullanarak Delta Sharing paylaşımlarında (açık paylaşım) kimlik doğrulamasını etkinleştirin.

   Databricks-Databricks paylaşımı için paylaşıma dahil edilen veriler, erişim izni verildiği anda alıcının Databricks çalışma alanında kullanılabilir hale gelir.

Alıcı artık paylaşılan verilere erişebilir.

Alıcılar paylaşılan verilere nasıl erişebilir?

Alıcılar paylaşılan veri varlıklarına salt okunur biçimde erişmektedir. Paylaşılan not defteri dosyaları salt okunur durumdadır, ancak kopyalanabilir ve daha sonra diğer tüm not defterleri gibi alıcı çalışma alanında değiştirilebilir ve çalıştırılabilir.

Güvenli erişim, paylaşım modeline bağlıdır:

• Açık paylaşım (alıcının Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanı yok) iki seçenek sunar:

  • Taşıyıcı belirteç akışında alıcı, Apache Spark, pandas, Power BI, Databricks ve daha birçok araçta verilere her erişişinde kimlik bilgilerini sağlar. Bkz. Delta Sharing açık paylaşım ile taşıyıcı belirteçler kullanılarak paylaşılan verileri okuma (alıcılar için).
  • OIDC belirteci federasyon akışında, alıcı veya alıcının istemci uygulaması kendi IdP'sini kullanarak verilere erişir. Bkz. Açık Kimlik Bağlantısı (OIDC) federasyonu kullanarak kullanıcıdan makineye akışta Delta Paylaşımı alma (açık paylaşım) ve Python istemcisi ve Açık Kimlik Bağlantısı (OIDC) federasyonu kullanarak makineden makineye akışta Delta Paylaşımı alma (açık paylaşım).

• Databricks'ten Databricks'e (Unity Kataloğu için alıcı çalışma alanı etkinleştirildi): Alıcı, Databricks'i kullanarak verilere erişir. Unity Kataloğu'nu kullanarak Databricks hesaplarındaki diğer kullanıcılara erişim izni verebilir ve erişimi reddedebilirler. Bkz. Databricks-to-Databricks Delta Sharing ile (alıcılar için) paylaşılan verileri okuma.

Veri sağlayıcısı kendi Databricks hesabındaki veri tablolarını veya birimleri güncelleştirdiğinde, güncelleştirmeler alıcının sisteminde neredeyse gerçek zamanlı olarak görünür. Delta Sharing kullanarak sizinle paylaşılan verilere erişmeyi öğrenmek için bkz. Delta Sharing kullanarak sizinle paylaşılan verilere erişme (alıcılar için).

Paylaşılan verileri paylaşan ve bunlara erişen kişileri nasıl takip edebilirsiniz?

Unity Kataloğu'nun etkinleştirildiği Azure Databricks çalışma alanlarındaki veri sağlayıcıları, paylaşımların ve alıcıların oluşturulmasını ve değiştirilmesini izlemek için Azure Databricks denetim günlüğünü ve sistem tablolarını kullanabilir ve paylaşımlardaki alıcı etkinliğini izleyebilir. Bkz. Veri paylaşımını denetleme ve izleme.

Databricks çalışma alanında paylaşılan verileri kullanan veri alıcıları, hangi verilere kimin eriştiğini anlamak için Databricks denetim günlüğünü ve sistem tablolarını kullanabilir. Bkz. Veri paylaşımını denetleme ve izleme.

Hacimleri paylaşma

Databricks'ten Databricks'e paylaşım akışını kullanarak hacimleri paylaşabilirsiniz. Bkz. Bir paylaşıma birim ekleme (sağlayıcılar için) ve Databricks-to-Databricks Delta Sharing kullanılarak paylaşılan verileri okuma (alıcılar için).

Modelleri paylaşma

Databricks ile Databricks paylaşım akışını kullanarak modelleri paylaşabilirsiniz. Bkz. Bir paylaşıma model ekleme (sağlayıcılar için) ve Databricks-Databricks Delta Sharing kullanarak paylaşılan verileri okuma (alıcılar için).

Not defterlerini paylaşma

Databricks-Databricks paylaşım akışını kullanarak not defteri dosyalarını paylaşmak için Delta Sharing'i kullanabilirsiniz. Bkz. Bir not defteri dosyasını paylaşım için ekleme (sağlayıcılar için) ve Paylaşılan not defterlerini okuma (alıcılar için).

Görünümleri paylaşırken satır ve sütun düzeyinde erişimi kısıtlama

Alıcı özelliklerine göre belirli tablo verilerine erişimi kısıtlayan dinamik görünümleri paylaşabilirsiniz. satır ve sütunları filtrelemek için bkz. Paylaşıma dinamik görünümler ekleme.

Delta Paylaşımı ve Streaming

Delta Sharing, Apache Spark Yapılandırılmış Akış'ı destekler. Sağlayıcı bir tabloyu geçmiş veya akış tablosuyla paylaşabilir, böylece alıcı bunu Yapılandırılmış Akış kaynağı olarak kullanabilir ve paylaşılan verileri düşük gecikme süresiyle artımlı olarak işler. Alıcılar ayrıca geçmişle paylaşılan tablolarda Delta Lake zaman yolculuğu sorguları gerçekleştirebilir.

Geçmişle tablo paylaşmayı öğrenmek için bkz. Paylaşıma tablo ekleme. Paylaşılan tabloları akış kaynakları olarak kullanmayı öğrenmek için bkz. Apache Spark Yapılandırılmış Akış kullanarak tablo sorgulama (Databricks-Databricks paylaşımının alıcıları için) veya Spark Yapılandırılmış Akış kullanarak paylaşılan tabloya erişme (açık paylaşım verilerinin alıcıları için) .

Akış tablolarını paylaşmayı öğrenmek için bkz. Paylaşıma akış tabloları ekleme.

Ayrıca bkz . Yapılandırılmış Akış kavramları.

Delta Lake özellik destek matrisi

Delta Sharing, bir tabloyu paylaştığınızda Delta Lake özelliklerinin çoğunu destekler. Bu destek matrisi şu listeleri listeler:

• Databricks Runtime'ın belirli sürümlerini, açık kaynak Delta Sharing Spark bağlayıcısını veya açık kaynak Delta Sharing Python bağlayıcısını gerektiren Delta özellikleri.
• Kısmen desteklenen özellikler.

Feature	Provider	Databricks alıcısı	Açık kaynak alıcı
Silme vektörleri	Bu özellik ile tablo paylaşımı Genel Önizleme aşamasındadır. Tablolar geçmişle paylaşılmalıdır.	Toplu sorgular için Databricks Runtime 14.1+ CDF ve akış sorguları için Databricks Runtime 14.2+	Delta Sharing Spark bağlayıcısı 3.1+ Delta Sharing Python bağlayıcısı 1.1.0+ Power BI v2.132.908.0+
Sütun eşlemesi	Bu özellik ile tablo paylaşımı Genel Önizleme aşamasındadır. Tablolar geçmişle paylaşılmalıdır.	Toplu sorgular için Databricks Runtime 14.1+ CDF ve akış sorguları için Databricks Runtime 14.2+	Delta Sharing Spark bağlayıcısı 3.1+ Delta Sharing Python bağlayıcısı sınırlamalarıyla desteklenir Power BI v2.132.908.0+
Tekdüzen biçim	Bu özellik ile tablo paylaşımı Genel Önizleme aşamasındadır. Tablolar geçmişle paylaşılmalıdır.	Toplu sorgular için Databricks Runtime 14.1+ CDF ve akış sorguları için Databricks Runtime 14.2+	Delta Sharing Spark bağlayıcısı 3.1+ Delta Sharing Python bağlayıcısı 1.1.0+ Power BI v2.132.908.0+
V2 denetim noktası	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir
TimestampNTZ	Supported	Databricks Runtime 14.1+	Delta Sharing Spark bağlayıcısı 3.3+
Sıvı kümeleme	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir

Delta Paylaşımı Hakkında Sıkça Sorulan Sorular

Aşağıda Delta Paylaşımı hakkında sık sorulan sorular yer alır.

Delta Sharing'i kullanmak için Unity Kataloğu'na ihtiyacım var?

Hayır, paylaşılan verileri (alıcı olarak) paylaşmak (sağlayıcı olarak) veya kullanmak için Unity Kataloğu'na ihtiyacınız yoktur. Ancak Unity Kataloğu, tablosal olmayan ve yapay zeka varlık paylaşımı desteği, kullanıma hazır yönetim, basitlik ve sorgu performansı gibi avantajlar sağlar.

Sağlayıcılar verileri iki yolla paylaşabilir:

• Paylaşılan varlıkları Unity Kataloğu yönetimi altına yerleştirin ve yerleşik Azure Databricks Delta Sharing sunucusunu kullanarak paylaşın.

  Tüm varlıkları Unity Kataloğu'na geçirmeniz gerekmez. Paylaşmak istediğiniz varlıkları yönetmek için Unity Kataloğu için etkinleştirilen yalnızca bir Azure Databricks çalışma alanınız olmalıdır. Bazı hesaplarda, Unity Kataloğu için yeni çalışma alanları otomatik olarak etkinleştirilir. Bkz. Unity Kataloğu'nun otomatik olarak etkinleştirilmesi.

• Azure Databricks hesabınızı kullanmak zorunda kalmadan verileri paylaşmak için açık Delta Sharing sunucusunu uygulayın.

Alıcılar verileri iki şekilde kullanabilir:

• Databricks çalışma alanı olmadan. Power BI, pandas ve açık kaynak Apache Spark gibi birçok veri platformunda kullanılabilen açık kaynak Delta Paylaşımı bağlayıcılarını kullanarak. Bkz. Taşıyıcı belirteçleriyle (alıcılar için) Delta Sharing kullanarak paylaşılan verileri okuma ve Delta Sharing açık kaynak projesi.

• Databricks çalışma alanında. Alıcı çalışma alanlarının Unity Kataloğu için etkinleştirilmesi gerekmez, ancak varsa idare, basitlik ve performans avantajları vardır.

  Bu avantajları isteyen alıcı kuruluşların tüm varlıkları Unity Kataloğu'na geçirmesi gerekmez. Sizinle paylaşılan varlıkları yönetmek için Unity Kataloğu için etkinleştirilen yalnızca bir Azure Databricks çalışma alanınız olmalıdır. Bazı hesaplarda, Unity Kataloğu için yeni çalışma alanları otomatik olarak etkinleştirilir. Bkz. Unity Kataloğu'nun otomatik olarak etkinleştirilmesi.

Bakınız Taşıyıcı belirteçlerle (alıcılar için) Delta Sharing ile yapılan veri paylaşımını okuma ve Databricks-to-Databricks Delta Sharing (alıcılar için) ile yapılan veri paylaşımını okuma.

Delta Paylaşımını kullanmak için Databricks müşterisi mi olmam gerekiyor?

Hayır, Delta Paylaşımı açık bir protokoldür. Databricks olmayan verileri herhangi bir veri platformundaki alıcılarla paylaşabilirsiniz. Sağlayıcılar açık bir Delta Sharing sunucusunu herhangi bir bilgi işlem platformundan paylaşmak üzere yapılandırabilir. Alıcılar Power BI, pandas ve açık kaynak Spark gibi birçok veri ürünü için açık kaynak Delta Sharing bağlayıcılarını kullanarak paylaşılan verileri kullanabilir.

Ancak Azure Databricks'te Delta Paylaşımı'nı kullanmanın, özellikle Unity Kataloğu'nun etkin olduğu bir çalışma alanından paylaşmanın birçok avantajı vardır.

Ayrıntılar için bu SSS'deki ilk soruya bakın.

Delta Sharing maliyetlerini nasıl karşılayıp denetleyebilirim?

Görünümler, maddileştirilmiş görünümler ve akış tabloları paylaşılıp erişilirken Delta Paylaşımının maliyeti oluşur. Paylaşım için olası maliyet kaynakları şunlardır:

• Azure Databricks tarafından ücretlendirilen işlem maliyeti.
• Depolama satıcısı tarafından ücretlendirilen depolama ve ağ aktarımı (çıkış) maliyeti.
• Yabancı şemaları ve tabloları paylaşırken yabancı işlem kaynağı maliyeti.

İşlemin hangi yöntemle gerçekleştirildiği ve bunun için kimin ödeme yaptığı çeşitli faktörlere bağlıdır:

• Alıcı hesaplama türü
• Paylaşım aynı Azure Databricks hesabında mı yoksa hesaplar arasında mı gerçekleşir?

Aşağıdaki tabloda Delta Sharing kullanarak görünümleri paylaşmak ve görünümlere erişmek için faturalama yöntemi açıklanmaktadır:

Alıcı hesaplama	Hesap ilişkisi	Ödeme yapan kişi	Faturalama için kullanılan SKU	Erişim yöntemi
Databricks Serverless	Any	Recipient*	Alıcının sunucusuz sistemi	Alıcı temel alınan verilere doğrudan erişim alır
Databricks Classic	Aynı hesap	Recipient*	Alıcının klasiği	Alıcı temel alınan verilere doğrudan erişim alır
Databricks Classic	Farklı hesap	Recipient	Sağlayıcının etkileşim sunabilen sunucusuz sistemi	Sağlayıcı filtreleme gerçekleştirir
Delta Sharing Bağlayıcıları'nı açma	Any	Provider	Sağlayıcının etkileşim sunabilen sunucusuz sistemi	Sağlayıcı filtreleme gerçekleştirir

* Delta Sharing'i farklı bir hesapta Sunucusuz işlem kullanan bir alıcıyla veya aynı hesaptaki bir alıcıyla kullandığınızda artımlı ücret alınmaz. Bu, veri varlığının gerçekleştirilmesi için ek maliyet olmadığı anlamına gelir.

Yabancı tabloları paylaşırken (Beta) filtreleme her zaman gerçekleştirilir ve sağlayıcı tarafında depolanır. Sağlayıcılar, veri gerçekleştirme için kullanılan varsayılan depolamaya atfedilen ek bir ücret görebilir. Beta sırasında filtreleme işlem maliyeti yoktur.

Faturalanabilir kullanım sistemi tablo başvurusu ve Delta Sharing malzeme oluşturma geçmişi sistem tablosu başvurusu kullanılarak fatura ataması da sorgulanabilir. Alıcı ilişkilendirme için ödeme verirse, sistem tablosunda ilişkili kaydı yalnızca alıcı görebilir. Örneğin sorgular için bkz . Örnek sorgular.

Delta Paylaşımı çıkış maliyetlerine neden olur mu?

Bölge içinde Delta Paylaşımı çıkış maliyeti doğurmaz. Diğer veri paylaşım platformlarının aksine, Delta Paylaşımı için veri çoğaltma gerekmez. Bu modelin birçok avantajı vardır ancak bulut satıcınız bulutlar veya bölgeler arasında veri paylaştığınızda veri çıkışı ücretleri alabilir. Azure Databricks, çıkış ücreti ödemeyen Cloudflare R2'den paylaşımı destekler ve çıkış ücretlerini izlemek ve önlemek için başka araçlar ve öneriler sağlar. Bkz. Delta Sharing çıkış maliyetlerini izleme ve yönetme (sağlayıcılar için).

Alıcıların paylaşılan görünümlerdeki, gerçekleştirilmiş görünümlerdeki ve akış tablolarındaki temel verilere doğrudan erişimi var mı?

Paylaşılan görünümler, akış tabloları ve gerçekleştirilmiş görünümler için, aşağıdakilerden biri doğruysa veri alıcısının doğrudan erişimi vardır:

• Alıcı, sunucusuz işlem veya ayrılmış olmayan klasik işlemleri aynı Azure Databricks hesabında kullanır.
• Alıcı farklı bir Azure Databricks hesabında sunucusuz işlem kullanır.

Aksi takdirde, veriler sağlayıcı tarafında somutlaştırılır ve filtrelenir.

Veri gerçekleştirme, paylaşılan veri varlığının üst depolama konumu altında depolanır.

Gerçekleştirilmiş varlıkları paylaşırken işlem, gerekli filtreleri uygulayarak ve sağlayıcının depolama alanında önbelleğe alınmış geçici gerçekleştirme oluşturarak isteği işler. Bu filtrelenmiş veriler, sağlayıcıdan alıcıya erişim denetimini korurken güvenli erişim sağlamak için önceden imzalanmış kısa süreli URL'ler kullanılarak alıcılara teslim edilir.

Sağlayıcılar alıcı erişimini iptal edebilir mi?

Evet, alıcı erişimi isteğe bağlı olarak ve belirtilen ayrıntı düzeyinde iptal edilebilir. Alıcının belirli paylaşımlara ve belirli IP adreslerine erişimini reddedebilir, alıcı için tablosal verileri filtreleyebilir, alıcı belirteçlerini iptal edebilir ve alıcıları tamamen silebilirsiniz. Bkz. Bir paylaşıma alıcı erişimini iptal etme ve Delta Sharing (Databricks-Databricks paylaşımı) için veri alıcıları oluşturma ve yönetme.

Önceden imzalanan URL'leri kullanmak güvenli değil mi?

Delta Paylaşımı, nesne depolamasındaki bir dosyaya geçici erişim sağlamak için önceden imzalanan URL'leri kullanır. Bunlar yalnızca paylaşılan verilere zaten erişimi olan alıcılara verilir. Kısa ömürlü oldukları ve alıcıların zaten sahip oldukları erişim düzeyini aşmadıkları için güvenlidirler.

Delta Paylaşımı açık paylaşım protokolünde kullanılan belirteçler güvenli midir?

Delta Paylaşımı, diğer kullanılabilir veri paylaşım platformlarından farklı olarak platformlar arası paylaşımı mümkün kıldığından paylaşım protokolü için açık bir belirteç gerekir. Sağlayıcılar belirteç ömrünü yapılandırarak, ağ denetimlerini ayarlayarak ve isteğe bağlı olarak erişimi iptal ederek belirteç güvenliğini sağlayabilir. Buna ek olarak, belirteç erişim düzeyini alıcılara zaten verilmiş olanın ötesine genişletmez. Bkz. Belirteçler için güvenlikle ilgili dikkat edilmesi gereken noktalar.

Alıcı paylaşımlarına erişimi yönetmek için belirteçleri kullanmamak istiyorsanız, Databricks'ten Databricks'e paylaşım kullanmalı veya alternatifler için Databricks hesap ekibinize başvurmalısınız.

Lakeflow Connect ile Delta Sharing arasındaki fark nedir?

Delta Sharing canlı verileri platformlar, bulutlar ve bölgeler arasında güvenli bir şekilde paylaşmanızı sağlar. Databricks, yüksek veri hacimlerine, düşük gecikme süreli sorgulamaya ve üçüncü taraf API sınırlarına uyacak şekilde ölçeklendirildiklerinden yönetilen bağlayıcıların kullanılmasını önerir. Ancak, verilerinizi taşımadan sorgulamak isteyebilirsiniz.

Yönetilen bağlayıcılar ile Delta Paylaşımı arasında seçim yaptığınızda, aşağıdaki senaryolar için Delta Paylaşımı'nı seçin:

• Veri yinelemeyi sınırlama.
• Mümkün olan en yeni verileri sorgulama.

Sınırlama

Tablo biçimi ve özellik desteği

Biçim gereksinimleri:

• Tablosal veriler Delta veya yönetilen Iceberg tablo biçiminde olmalıdır. Parquet tablolarını kolayca Delta'ya dönüştürebilir ve tekrar geri dönebilirsiniz. Bkz. CONVERT TO DELTA.
• Delta Paylaşımı, UniForm tablolarını yalnızca Delta tabloları olarak okuyabilir.

Desteklenmeyen tablolar:

• Sağlayıcılar, bölüm filtreleme ile sıvı kümeleme kullanan tabloları paylaşamaz.
• Sağlayıcılar, R2 tablolarını V2 denetim noktasıyla paylaşamaz.
• Sağlayıcılar harmanlamaların etkinleştirildiği tabloları paylaşamaz.
• Sağlayıcılar satır filtreleri veya sütun maskeleriyle tablo paylaşamaz.
• Sağlayıcılar tabloları paylaşamaz SHALLOW CLONE . Azure Databricks, Delta günlüklerinin mutlak yollara referans verdiği durumlar için önceden imzalanmış URL'leri desteklemez.
• Yabancı anahtar kısıtlamaları paylaşılan tablolarda kullanılamaz.

Databricks'ten Databricks'e yalnızca paylaşım

Aşağıdaki varlıklar yalnızca Databricks-To-Databricks paylaşım akışı kullanılarak paylaşılabilir:

• Notebook paylaşımı. Bkz. Paylaşıma not defteri dosyaları ekleme ve Databricks-to-Databricks Delta Sharing (alıcılar için) kullanılarak paylaşılan verileri okuma.
• Hacim paylaşımı. Bkz. Bir paylaşım içine birim ekleme (sağlayıcılar için) ve Databricks-to-Databricks Delta Sharing kullanılarak paylaşılan verileri okuma (alıcılar için).
• Model paylaşımı. Bkz. Modelleri bir paylaşıma ekleme (sağlayıcılar için) ve Databricks'ten-Databricks'e Delta Sharing kullanarak paylaşılan verileri okuma (alıcılar için).

İzlenimler

• Paylaşılabilir görünümler Delta tablolarında veya diğer paylaşılabilir görünümlerde tanımlanmalıdır. Bkz. Paylaşıma görünüm ekleme (sağlayıcılar için) ve Paylaşılan görünümleri okuma (alıcılar için).

Yayın

• Delta Sharing, bir akış kaynağı çalışırken veya yeniden başlatılırken responseFormat değiştirilmesini desteklemez.

Kaynak ve teknik sınırlar

• Paylaşılan tablo için izin verilen meta verilerdeki dosya sayısıyla ilgili sınırlar vardır. Daha fazla bilgi edinmek için bkz. Kaynak sınırı aşıldığında oluşan hatalar.
• information_schema adlı şemalar Unity Kataloğu meta veri deposuna aktarılamaz çünkü bu şema adı Unity Kataloğu'nda ayrılmıştır.

Ayrıca bkz. Delta Lake özellik destek matrisi.

Kaynak kotaları

Azure Databricks, tüm Delta Sharing güvenliği sağlanabilir nesnelerinde kaynak kotalarını zorunlu kılır. Bu kotalar Kaynak sınırları'nda listelenir. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Unity Kataloğu kaynak kotaları API'lerini kullanarak kota kullanımınızı izleyebilirsiniz. Bkz. Unity Kataloğu kaynak kotalarını kullanımınızı izleme.

Sonraki Adımlar

• Databricks hesabınızı Delta Paylaşımı için etkinleştirme
• Paylaşım oluşturma
• Alıcı oluşturma
• Açık paylaşım ve Databricks-to-Databricks paylaşım modelleri hakkında daha fazla bilgi edinin
• Alıcıların paylaşılan verilere nasıl eriştiğini öğrenin