OpenSharing nedir?

OpenSharing, Azure Databricks kullanıp kullanmadıklarına bakılmaksızın verileri ve yapay zeka varlıklarını kuruluşunuzun dışındaki kullanıcılarla paylaşmanızı sağlayan Azure Databricks güvenli veri paylaşım platformudur. OpenSharing, veri ürünlerinin alışverişi için açık bir forum olan Databricks Market'in ve birden çok tarafın hassas kurumsal veriler üzerinde birlikte çalışabileceği güvenli ve gizliliği koruyan bir ortam olan Clean Rooms'un da temelini oluşturur.

OpenSharing, delta tablolarını diğer platformlardan paylaşmak için kullanabileceğiniz bir açık kaynak proje olarak da kullanılabilir.

OpenSharing nasıl çalışır?

OpenSharing , Databricks tarafından diğer kuruluşlarla güvenli veri paylaşımı için geliştirilen açık bir protokoldür . Bu kuruluşların kullandığı bilgi işlem platformlarından bağımsız olarak çalışır.

OpenSharing kullanarak veri paylaşmanın birkaç yolu vardır:

1. Databricks'ten Databricks'e paylaşım protokolü, Unity Kataloğu özellikli bir Databricks çalışma alanına erişimi olan kullanıcılarla Unity Kataloğu özellikli çalışma alanınızdaki verileri ve yapay zeka varlıklarını paylaşmanızı sağlar.

   Bu yaklaşım, Azure Databricks yerleşik OpenSharing sunucusunu kullanır. Not defteri paylaşımı, Unity Kataloğu birim paylaşımı, Unity Kataloğu yapay zeka modeli paylaşımı, Unity Kataloğu veri idaresi, denetim ve hem sağlayıcılar hem de alıcılar için kullanım izleme gibi diğer protokollerde desteklenmeyen bazı OpenSharing özelliklerini destekler. Unity Kataloğu ile tümleştirme, hem sağlayıcılar hem de alıcılar için kurulumu ve idareyi basitleştirir ve performansı artırır.

   Bkz. OpenSharing Databricks'ten Databricks'e protokolü nedir?.

2. Unity Kataloğu özellikli Databricks çalışma alanında yönettiğiniz tablo verilerini herhangi bir bilgi işlem platformundaki kullanıcılarla paylaşmanızı sağlayan Databricks-Açık paylaşım protokolü.

   Bu yaklaşım, Azure Databricks yerleşik olarak bulunan OpenSharing sunucusunu kullanır ve Unity Kataloğu'nu kullanarak verileri yönettiğiniz ve Databricks kullanmayan veya Unity Kataloğu özellikli Databricks çalışma alanına erişimi olmayan kullanıcılarla paylaşmak istediğinizde yararlıdır. Sağlayıcı tarafında Unity Kataloğu ile tümleştirme, sağlayıcılar için kurulumu ve idareyi basitleştirir.

   Bkz. Databricks-To-Open paylaşım protokolü nedir?

3. Databricks olsun veya olmasın, herhangi bir platformdan herhangi bir platforma paylaşım yapmanızı sağlayan, açık kaynak OpenSharing sunucusunun müşteri tarafından yönetilen uygulaması.

   Azure Databricks belgeleri kendi OpenSharing sunucunuzu ayarlama yönergelerini kapsamaz. açık kaynak projesine bakın.

4. Azure Databricks için SAP Business Data Cloud (BDC) Bağlayıcısı, Unity Kataloğu etkin çalışma alanınız ile SAP BDC hesabınız arasında veri paylaşmanıza olanak tanır.

   Bu yaklaşım, SAP BDC veri ürünlerine canlı ve sıfır kopya erişimi için OpenSharing kullanan SAP BDC Bağlayıcısı'nı kullanır.

   Bkz. Azure Databricks için SAP BDC Bağlayıcısı nedir?.

Paylaşımlar, sağlayıcılar ve alıcılar

Azure Databricks'de OpenSharing'in temel aldığı birincil kavramlar paylaşımlar, sağlayıcılar ve alıcılardır.

Paylaşım nedir?

OpenSharing'de paylaşım , sağlayıcının bir veya daha fazla alıcıyla paylaşmak istediği tablo ve tablo bölümlerinden oluşan salt okunur bir koleksiyondur. Alıcınız Unity Kataloğu özellikli bir Databricks çalışma alanı kullanıyorsa not defteri dosyalarını, görünümleri (satır ve sütun düzeyinde erişimi kısıtlayan dinamik görünümler dahil), Unity Kataloğu birimlerini ve Unity Kataloğu modellerini de bir paylaşıma ekleyebilirsiniz.

Bir paylaşımdan istediğin zaman tablolar, akış tabloları, yönetilen Iceberg tabloları, görünümler, maddeleştirilmiş görünümler, metrik görünümler, hacimler, modeller ve notebook dosyalarını ekleyebilir veya kaldırabilirsiniz ve herhangi bir zaman bir paylaşıma veri alıcısının erişimini atayabilir veya iptal edebilirsiniz.

Unity Kataloğu özellikli Azure Databricks çalışma alanında paylaşım, Unity Kataloğu'nda kayıtlı güvenli hale getirilebilir bir nesnedir. Unity Kataloğu meta veri deponuzdan bir paylaşımı kaldırırsanız, bu paylaşımın tüm alıcıları bu paylaşıma erişim yeteneğini kaybeder.

Bkz. OpenSharing için paylaşım oluşturma.

Sağlayıcı nedir?

sağlayıcı, verileri alıcıyla paylaşan bir varlıktır. Bir sağlayıcıysanız ve yerleşik Databricks OpenSharing sunucusundan yararlanmak ve Unity Kataloğu'nu kullanarak paylaşımları ve alıcıları yönetmek istiyorsanız, Unity Kataloğu için etkinleştirilmiş en az bir Azure Databricks çalışma alanınız olmalıdır. Mevcut çalışma alanlarınızın tümünü Unity Kataloğu'na geçirmeniz gerekmez. OpenSharing gereksinimleriniz için Unity Kataloğu özellikli yeni bir çalışma alanı oluşturabilirsiniz.

Alıcı, Unity Catalog özellikli bir Databricks çalışma alanındaysa, sağlayıcı da sağlayıcı kuruluşunu temsil eden ve bu kuruluşu bir paylaşım kümesiyle ilişkilendiren güvenli bir Unity Catalog nesnesidir.

Alıcı nedir?

alıcı, bir sağlayıcıdan hisse alan bir varlıktır. Unity Kataloğu'nda alıcı, bir kuruluşu temsil eden ve kuruluşun bir veya daha fazla paylaşıma erişmesini sağlayan bir kimlik bilgisi veya güvenli paylaşım tanımlayıcısıyla ilişkilendiren güvenli bir nesnedir.

Veri sağlayıcısı (paylaşan) olarak, belirli bir Unity Kataloğu meta veri deposu için birden çok alıcı tanımlayabilirsiniz, ancak birden çok meta veri deposundaki verileri belirli bir kullanıcı veya kullanıcı grubuyla paylaşmak istiyorsanız, alıcıyı her meta veri deposu için ayrı olarak tanımlamanız gerekir. Bir alıcı birden çok paylaşıma erişebilir.

Sağlayıcı bir alıcıyı Unity Kataloğu meta veri deposundan silerse, bu alıcı daha önce erişebileceği tüm paylaşımlara erişimi kaybeder.

Bkz: OpenSharing için veri alıcıları oluşturma (Databricks'ten Databricks'e paylaşım).

Databricks'ten Open'a paylaşım ile Databricks'ten Databricks'e paylaşım karşılaştırması

Bu bölümde Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanından paylaşıma yönelik iki protokol açıklanmaktadır.

Note

Bu bölümde, sağlayıcının Unity Kataloğu özellikli bir Azure Databricks çalışma alanında olduğu varsayılır. Databricks olmayan bir platformdan veya Unity Catalog olmayan bir çalışma alanından paylaşım yapmak için açık kaynaklı bir OpenSharing sunucusunun nasıl kurulacağını öğrenmek üzere açık kaynak projesine bakın.

Sağlayıcının Azure Databricks'de OpenSharing'i kullanma şekli, verileri kiminle paylaştığına bağlıdır:

• Açık paylaşım, Azure Databricks erişimine sahip olup olmamalarına bakılmaksızın tüm kullanıcılarla veri paylaşmanıza olanak tanır.
• Databricks'ten Databricks'e paylaşım , çalışma alanları sizin çalışma alanınızdan farklı bir Unity Kataloğu meta deposuna bağlı olan Azure Databricks kullanıcılarıyla veri paylaşmanızı sağlar. Databricks-Databricks, Databricks-To-Open paylaşımında bulunmayan not defteri, birim ve model paylaşımını da destekler.

Açık OpenSharing nedir?

Databricks kullanıp kullanmadıklarına bakılmaksızın verileri Azure Databricks çalışma alanınızın dışındaki kullanıcılarla paylaşmak istiyorsanız, verilerinizi güvenli bir şekilde paylaşmak için open OpenSharing'i kullanabilirsiniz. Veri sağlayıcısı olarak, aşağıdaki yöntemlerden birini kullanarak paylaşım alıcısıyla kimlik doğrulamasını yönetirsiniz:

• Uzun ömürlü bir taşıyıcı belirteci oluşturur ve alıcıyla güvenli bir şekilde paylaşırsınız. Kimlik doğrulaması yapmak ve onlara erişim sağladığınız paylaşımlara eklediğiniz tablolara okuma erişimi elde etmek için belirteci kullanırlar.
• Alıcının kimlik sağlayıcısının (IdP) Databricks'e ilettiği JWT belirteçleri karşılığında alıcıya kısa ömürlü Databricks OAuth belirteçleri veren Open ID Connect (OIDC) federasyonunu kullanırsınız.

Alıcılar, aşağıdakiler dahil olmak üzere birçok bilgi işlem aracı ve platformu kullanarak paylaşılan verilere erişebilir:

• Azure Databricks
• Apache Spark
• Pandas
• Power BI

OpenSharing bağlayıcılarının tam listesi ve bunların nasıl kullanılacağı hakkında bilgi için OpenSharing belgelerine bakın.

Ayrıca bkz. Databricks-Open paylaşım protokolü nedir?.

Databricks'ten Databricks'e OpenSharing nedir?

Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanı olan kullanıcılarla veri paylaşmak istiyorsanız, Databricks-To-Databricks OpenSharing'i kullanabilirsiniz. Databricks-Databricks paylaşımı, AWS, Azure veya GCP'de olsun diğer Databricks hesaplarındaki kullanıcılarla veri paylaşmanızı sağlar. Ayrıca kendi Databricks hesabınızdaki farklı Unity Kataloğu meta veri depolarında verileri güvenli bir şekilde paylaşmanın da harika bir yoludur. Aynı Unity Kataloğu meta deposuna bağlı çalışma alanları arasında veri paylaşmak için OpenSharing'i kullanmanıza gerek olmadığını unutmayın, çünkü bu senaryoda çalışma alanları arasında verilere erişimi yönetmek için Unity Kataloğu'nu kullanabilirsiniz.

Databricks-Databricks paylaşımının avantajlarından biri, paylaşım alıcısının paylaşıma erişmek için bir jetonun gerekli olmaması ve sağlayıcının alıcı jetonlarını yönetmesi gerekmemesidir. Paylaşım bağlantısının güvenliği, tüm kimlik doğrulama, kimlik doğrulama ve denetim dahil olmak üzere, tamamen OpenSharing ve Databricks platformu aracılığıyla yönetilir. Bir diğer avantajı da Databricks not defteri dosyalarını, Unity Kataloğu birimlerini ve Unity Kataloğu modellerini paylaşabilmektir.

Ayrıca bkz. OpenSharing Databricks-To-Databricks protokolü nedir?.

Sağlayıcı yöneticileri OpenSharing kurup veri paylaşmayı nasıl sağlar?

Bu bölümde sağlayıcıların OpenSharing'i nasıl etkinleştirebileceğine ve Unity Kataloğu'nun etkin olduğu bir Azure Databricks çalışma alanından paylaşımı nasıl başlatabileceğine ilişkin genel bir bakış sağlıyoruz. Açık kaynak OpenSharing için bkz. açık kaynak projesi.

Aynı hesaptaki Unity Kataloğu meta veri depoları arasında Databricks-Databricks paylaşımı daima etkin durumdadır. Azure Databricks çalışma alanlarını diğer hesaplarda veya Databricks olmayan istemcilerle paylaşmak için, Azure Databricks hesap admin veya metastore admin ayrıcalıklarına sahip bir sağlayıcı aşağıdakileri yapar:

1. Veriyi yöneten Unity Kataloğu metastore'da OpenSharing etkinleştirin.

   Note

   OpenSharing'i kullanarak yalnızca hesabınızdaki diğer Unity Kataloğu meta veri depolarındaki kullanıcılarla veri paylaşmak istiyorsanız, meta veri deponuzda OpenSharing'i etkinleştirmeniz gerekmez. Tek bir Azure Databricks hesabı içinde meta veri deposundan meta veri deposuna paylaşım varsayılan olarak etkindir.

   Bkz. Meta veri deposunda OpenSharing'i etkinleştirme.

2. Bir paylaşım oluşturun ve ona veri ekleyin. Bkz. OpenSharing için paylaşım oluşturma.

3. Alıcı oluşturma. Sağlayıcı, erişim kimlik bilgilerini e-posta yoluyla paylaşabilir, böylece alıcının paylaşılan verilere erişmesini kolaylaştırır.

   Bkz: OpenSharing için veri alıcıları oluşturma (Databricks'ten Databricks'e paylaşım).

   Alıcınız Azure Databricks kullanıcısı değilse veya Unity Catalog için etkinleştirilmiş bir Azure Databricks çalışma alanına erişimi yoksa, Databricks-to-Open paylaşımını kullanmalısınız. Bu alıcı için taşıyıcı belirteç tabanlı kimlik bilgileri oluşturabilir veya OIDC federasyonu kullanabilirsiniz.

4. Alıcılarınıza verilere erişim izni verin. Bkz. OpenSharing veri paylaşımlarına erişimi yönetme (sağlayıcılar için).

İpucu

Kurulum işlemini denemek için kendinizi test alıcısı olarak kullanın.

OpenSharing e-posta ile

Important

Bu özellik Beta sürümündedir. Kullanmak için, sağlayıcının hesabındaki hesap yöneticisinin hesap konsolu önizleme sayfasından e-posta yoluyla OpenSharing etkinleştirmesi gerekir. Bkz. Hesap düzeyinde önizlemeleri yönetme.

OpenSharing sağlayıcıları, alıcının e-posta adresini kullanarak alıcıyı davet etmek için e-posta paylaşımını kullanır; önce Databricks'ten Databricks'e paylaşım için alıcının paylaşım tanımlayıcısını toplamak veya açık paylaşım için elle kimlik dosyası teslim etmek yerine. Bu yeni bir paylaşım protokolü ya da kimlik doğrulama türü değildir. Bu, oluşturduğunuz alıcının üzerine eklenen bir teslimat yöntemidir.

Alıcıyı oluştururken, davetin izin verdiği bağlantı yöntemlerini seçersiniz: Azure Databricks, açık paylaşım veya her ikisi biri. E-posta davetleri OIDC federasyonunu desteklemez.

E-posta paylaşımı, sağlayıcı için kurulumu kolaylaştırır:

• Sadece alıcının e-posta adresine ihtiyacınız var. Alıcıyı oluşturmadan önce alıcıdan metastore paylaşım tanımlayıcısını istemeniz veya kimlik dosyasını teslim etmek için güvenli bir kanal bulmanız gerekmez.
• OpenSharing erişim verdiğinizde güvenli aktivasyon bağlantısını sağlar, yani bu devri kendiniz yönetmiyorsunuz.
• Her iki bağlantı yöntemine de izin verirseniz, aynı davet alıcının Azure Databricks veya açık paylaşım yoluyla (hangisi ortamına uygunsa) bağlantı kurmasına izin verir.

Oluşturma, verme ve erişim adımları, herhangi bir alıcının kullandığı adımlarla aynıdır:

1. Alıcıyı oluşturun ve e-posta adresini verin. Databricks-to-Databricks alıcıları için bkz. OpenSharing (Databricks-to-Databricks paylaşımı) için veri alıcıları oluştur. Açık alıcılar için, taşıyıcı belirteçler kullanarak Databricks olmayan kullanıcılar için bir alıcı nesnesi oluşturma (Databricks'ten Open paylaşımı) bölümüne bakın.
2. Alıcıya bir paylaşıma erişim ver, bu da OpenSharing tarafından alıcıya güvenli bir aktivasyon bağlantısı göndermesini tetikler. Bkz. OpenSharing veri paylaşımlarına erişimi yönetme (sağlayıcılar için).
3. Alıcı, daveti kabul etmek ve paylaşılan verileri okumak için bağlantıyı takip eder. Paylaştığınız verilere erişim için bkz.

Sınırlamaların tam listesi için E-posta ile Paylaşım davetiyesine bakınız.

Alıcılar paylaşılan verilere nasıl erişebilir?

Alıcılar paylaşılan veri varlıklarına salt okunur biçimde erişmektedir. Paylaşılan not defteri dosyaları salt okunur durumdadır, ancak kopyalanabilir ve daha sonra diğer tüm not defterleri gibi alıcı çalışma alanında değiştirilebilir ve çalıştırılabilir.

Güvenli erişim, paylaşım modeline bağlıdır:

• Databricks’ten Open’a paylaşımın (alıcının Unity Catalog için etkinleştirilmiş bir Databricks çalışma alanı yoksa) iki seçeneği vardır:

  • Taşıyıcı belirteç akışında alıcı, Apache Spark, pandas, Power BI, Databricks ve daha birçok araçta verilere her erişişinde kimlik bilgilerini sağlar. Bkz. Taşıyıcı belirteçlerle paylaşılan verileri okuma.
  • OIDC belirteci federasyon akışında, alıcı veya alıcının istemci uygulaması kendi kimlik sağlayıcısını (IdP) kullanarak verilere erişir. Bkz. U2M akışında Open ID Connect (OIDC) federasyonu kullanılarak paylaşılan verileri okuma ve M2M akışında Open ID Connect (OIDC) federasyonu kullanılarak paylaşılan verileri okuma.

• Databricks'ten Databricks'e (Unity Kataloğu için alıcı çalışma alanı etkinleştirildi): Alıcı, Databricks'i kullanarak verilere erişir. Unity Kataloğu'nu kullanarak Databricks hesaplarındaki diğer kullanıcılara erişim izni verebilir ve erişimi reddedebilirler. Bkz. Databricks-to-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.

Veri sağlayıcısı kendi Databricks hesabındaki veri tablolarını veya birimleri güncelleştirdiğinde, güncelleştirmeler alıcının sisteminde neredeyse gerçek zamanlı olarak görünür. OpenSharing kullanarak sizinle paylaşılan verilere nasıl erişeceğinizi öğrenmek için bkz. OpenSharing kullanarak sizinle paylaşılan verilere erişme (alıcılar için).

Paylaşılan verileri paylaşan ve bunlara erişen kişileri nasıl takip edebilirsiniz?

Unity Kataloğu'nun etkinleştirildiği Azure Databricks çalışma alanlarındaki veri sağlayıcıları, paylaşımların ve alıcıların oluşturulmasını ve değiştirilmesini izlemek için Azure Databricks denetim günlüğünü ve sistem tablolarını kullanabilir ve paylaşımlardaki alıcı etkinliğini izleyebilir. Bkz. Veri paylaşımını denetleme ve izleme.

Databricks çalışma alanında paylaşılan verileri kullanan veri alıcıları, hangi verilere kimin eriştiğini anlamak için Databricks denetim günlüğünü ve sistem tablolarını kullanabilir. Bkz. Veri paylaşımını denetleme ve izleme.

Hacimleri paylaşma

Databricks'ten Databricks'e paylaşım akışını kullanarak hacimleri paylaşabilirsiniz. Bkz.: Bir paylaşıma birimler ekleme (sağlayıcılar için) ve Databricks-to-Databricks OpenSharing kullanılarak paylaşılan verileri okuma (alıcılar için).

Modelleri paylaşma

Databricks ile Databricks paylaşım akışını kullanarak modelleri paylaşabilirsiniz. Bkz. Paylaşıma model ekleme (sağlayıcılar için) ve Databricks-To-Databricks OpenSharing kullanarak paylaşılan verileri okuma (alıcılar için) (alıcılar için).

Not defterlerini paylaşma

Databricks-Databricks paylaşım akışını kullanarak not defteri dosyalarını paylaşmak için OpenSharing'i kullanabilirsiniz. Bkz. Bir not defteri dosyasını paylaşım için ekleme (sağlayıcılar için) ve Paylaşılan not defterlerini okuma (alıcılar için).

Görünümleri paylaşırken satır ve sütun düzeyinde erişimi kısıtlama

Alıcı özelliklerine göre belirli tablo verilerine erişimi kısıtlayan dinamik görünümleri paylaşabilirsiniz. satır ve sütunları filtrelemek için bkz. Paylaşıma dinamik görünümler ekleme.

OpenSharing ve streaming

OpenSharing, Apache Spark Yapılandırılmış Akış'ı destekler. Sağlayıcı bir tabloyu geçmiş veya akış tablosuyla paylaşabilir, böylece alıcı bunu Yapılandırılmış Akış kaynağı olarak kullanabilir ve paylaşılan verileri düşük gecikme süresiyle artımlı olarak işler. Alıcılar ayrıca geçmişle paylaşılan tablolarda Delta Lake zaman yolculuğu sorguları gerçekleştirebilir.

Geçmişle tablo paylaşmayı öğrenmek için bkz. Paylaşıma tablo ekleme. Paylaşılan tabloları akış kaynakları olarak kullanmayı öğrenmek için bkz. Apache Spark Yapılandırılmış Akışı kullanarak tablo sorgulama (Databricks-Databricks paylaşımının alıcıları için) veya Spark Yapılandırılmış Akış kullanarak paylaşılan tabloya erişme (Databricks-Açık paylaşım verilerinin alıcıları için).

Akış tablolarını paylaşmayı öğrenmek için bkz. Paylaşıma akış tabloları ekleme.

Ayrıca bkz . Yapılandırılmış Akış kavramları.

Delta Lake özellik destek matrisi

OpenSharing, bir tabloyu paylaştığınızda Delta Lake özelliklerinin çoğunu destekler. Bu destek matrisi şu listeleri listeler:

• Databricks Runtime'ın belirli sürümlerini, açık kaynak OpenSharing Spark bağlayıcısını veya açık kaynak OpenSharing Python bağlayıcısını gerektiren Delta özellikleri.
• Kısmen desteklenen özellikler.

Özellik	Provider	Databricks alıcısı	Açık kaynak alıcı
Silme vektörleri	Tablolar geçmişle paylaşılmalıdır.	Toplu sorgular için Databricks Runtime 14.1+ CDF ve akış sorguları için Databricks Runtime 14.2+	OpenSharing Spark bağlayıcısı 3.1+ OpenSharing Python bağlayıcısı 1.1.0+ Power BI v2.132.908.0+
Sütun eşlemesi	Tablolar geçmişle paylaşılmalıdır.	Toplu sorgular için Databricks Runtime 14.1+ CDF ve akış sorguları için Databricks Runtime 14.2+	OpenSharing Spark bağlayıcısı 3.1+ OpenSharing Python bağlayıcısı sınırlamalarıyla desteklenir Power BI v2.132.908.0+
Delta ile Iceberg okuma	Tablolar geçmişle paylaşılmalıdır.	Toplu sorgular için Databricks Runtime 14.1+ CDF ve akış sorguları için Databricks Runtime 14.2+	OpenSharing Spark bağlayıcısı 3.1+ OpenSharing Python bağlayıcısı 1.1.0+ Power BI v2.132.908.0+
V2 denetim noktası	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir
TimestampNTZ	Destekleniyor	Databricks Runtime 14.1+	OpenSharing Spark bağlayıcısı 3.3+
Sıvı kümeleme	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir	Sınırlamalarla desteklenir

OpenSharing SSS

Aşağıda OpenSharing hakkında sık sorulan sorular yer alır.

OpenSharing'i kullanmak için Unity Kataloğu'na ihtiyacım var mı?

Hayır, paylaşılan verileri (alıcı olarak) paylaşmak (sağlayıcı olarak) veya kullanmak için Unity Kataloğu'na ihtiyacınız yoktur. Ancak Unity Kataloğu, tablosal olmayan ve yapay zeka varlık paylaşımı desteği, kullanıma hazır yönetim, basitlik ve sorgu performansı gibi avantajlar sağlar.

Sağlayıcılar verileri iki yolla paylaşabilir:

• Paylaşacağınız varlıkları Unity Kataloğu yönetimi altına yerleştirin ve yerleşik Azure Databricks OpenSharing sunucusunu kullanarak paylaşın.

  Tüm varlıkları Unity Kataloğu'na geçirmeniz gerekmez. Paylaşmak istediğiniz varlıkları yönetmek için Unity Kataloğu için etkinleştirilen yalnızca bir Azure Databricks çalışma alanınız olmalıdır. Bazı hesaplarda, Unity Kataloğu için yeni çalışma alanları otomatik olarak etkinleştirilir. Bkz. Unity Kataloğu'nu kullanmaya başlama.

• Azure Databricks hesabınızı kullanmak zorunda kalmadan verileri paylaşmak için Databricks-To-Open paylaşım sunucusunu uygulayın.

Alıcılar verileri iki şekilde kullanabilir:

• Databricks çalışma alanı olmadan. Power BI, pandas ve açık kaynak Apache Spark gibi birçok veri platformunda kullanılabilen açık kaynak OpenSharing bağlayıcılarını kullanın. Bkz. bearer belirteçleriyle paylaşılan verileri okuma ve OpenSharing açık kaynak projesi.

• Databricks çalışma alanında. Alıcı çalışma alanlarının Unity Kataloğu için etkinleştirilmesi gerekmez, ancak varsa idare, basitlik ve performans avantajları vardır.

  Bu avantajları isteyen alıcı kuruluşların tüm varlıkları Unity Kataloğu'na geçirmesi gerekmez. Sizinle paylaşılan varlıkları yönetmek için Unity Kataloğu için etkinleştirilen yalnızca bir Azure Databricks çalışma alanınız olmalıdır. Bazı hesaplarda, Unity Kataloğu için yeni çalışma alanları otomatik olarak etkinleştirilir. Bkz. Unity Kataloğu'nu kullanmaya başlama.

Bkz. Taşıyıcı belirteçleriyle paylaşılan verileri okuma ve Databricks-to-Databricks OpenSharing kullanılarak paylaşılan verileri okuma (alıcılar için).

OpenSharing'i kullanmak için Databricks müşterisi mi olmak istiyorum?

Hayır, OpenSharing açık bir protokoldür. Databricks olmayan verileri herhangi bir veri platformundaki alıcılarla paylaşabilirsiniz. Sağlayıcılar açık bir OpenSharing sunucusunu herhangi bir bilgi işlem platformundan paylaşmak üzere yapılandırabilir. Alıcılar Power BI, pandas ve açık kaynak Spark gibi birçok veri ürünü için OpenSharing bağlayıcılarını açık kaynak kullanarak paylaşılan verileri kullanabilir.

Ancak, Azure Databricks üzerinde OpenSharing kullanmanın, özellikle Unity Kataloğu'nun etkin olduğu bir çalışma alanından paylaşmanın birçok avantajı vardır.

Ayrıntılar için bu SSS'deki ilk soruya bakın.

OpenSharing maliyetlerini nasıl karşılayıp denetleyebilirim?

OpenSharing maliyeti, görünümlerin, somutlaştırılmış görünümlerin ve akış tablolarının paylaşılması ve bunlara erişilmesi sırasında oluşur. Paylaşım için olası maliyet kaynakları şunlardır:

• Azure Databricks tarafından ücretlendirilen işlem maliyeti.

• Depolama ve ağ aktarımı (çıkış) maliyeti, depolama sağlayıcısı tarafından veya sağlayıcı SecureConnect kullanıyorsa Azure Databricks tarafından ücretlendirilir.

• Yabancı şemaları ve tabloları paylaşırken yabancı işlem kaynağı maliyeti.

İşlemin hangi yöntemle gerçekleştirildiği ve bunun için kimin ödeme yaptığı çeşitli faktörlere bağlıdır:

• Alıcı hesaplama türü
• Paylaşım aynı Azure Databricks hesabı içinde mi yoksa hesaplar arasında mı gerçekleşir?

Aşağıdaki tabloda, OpenSharing kullanarak görünümleri paylaşmak ve görünümlere erişmek için faturalama yöntemi açıklanmaktadır:

Alıcı hesaplama	Hesap ilişkisi	Ödeme yapan kişi	Faturalama için kullanılan SKU	Erişim yöntemi
Databricks Serverless	Any	Recipient*	Alıcının sunucusuz sistemi	Alıcı temel alınan verilere doğrudan erişim alır
Databricks Classic	Aynı hesap	Recipient*	Alıcının klasiği	Alıcı temel alınan verilere doğrudan erişim alır
Databricks Classic	Farklı hesap	Recipient	Sağlayıcının etkileşim sunabilen sunucusuz sistemi	Sağlayıcı filtreleme gerçekleştirir
Databricks'ten Open'a paylaşım bağlayıcıları	Any	Provider	Sağlayıcının etkileşim sunabilen sunucusuz sistemi	Sağlayıcı filtreleme gerçekleştirir

* OpenSharing'i farklı bir hesapta Sunucusuz işlem kullanan bir alıcıyla veya aynı hesaptaki bir alıcıyla kullandığınızda artımlı ücret alınmaz. Bu, veri varlığının gerçekleştirilmesi için ek maliyet olmadığı anlamına gelir.

Yabancı tablolar paylaşılırken, materyalizasyon her zaman sağlayıcı tarafında yapılır ve saklanır. Yabancı Iceberg tablolarında, Iceberg istemcisi kullanmayan açık bir alıcıyla paylaşılırken, sağlayıcı tarafında veri hazırlanması yapılır. Sağlayıcılar, veri gerçekleştirme için kullanılan varsayılan depolamaya atfedilen ek bir ücret görebilir.

Databricks-to-Databricks paylaşım akışı kullanılarak yabancı tablolar paylaşılırken, filtreleme her zaman sağlayıcı tarafında yapılır ve alıcı filtreleme hesaplama maliyetini öder. Databricks açık paylaşım protokolünü kullanıyorsanız, filtreleme sağlayıcı tarafında yapılır ve sağlayıcı maliyeti öder.

Faturalandırma ilişkilendirmesi, Faturalandırılabilir kullanım sistem tablosu başvurusu ve OpenSharing gerçekleştirme geçmişi sistem tablosu başvurusu kullanılarak da sorgulanabilir. Alıcı ilişkilendirme için ödeme verirse, sistem tablosunda ilişkili kaydı yalnızca alıcı görebilir. Örneğin sorgular için bkz . Örnek sorgular.

OpenSharing çıkış maliyetlerine neden olur mu?

Bir bölge içinde OpenSharing hiçbir çıkış maliyetine neden olmaz. Diğer veri paylaşım platformlarından farklı olarak, OpenSharing veri çoğaltması gerektirmez. Bu modelin birçok avantajı vardır ancak bulut satıcınız bulutlar veya bölgeler arasında veri paylaştığınızda veri çıkışı ücretleri alabilir. Azure Databricks, çıkış ücreti ödemeyen Cloudflare R2'den paylaşımı destekler ve çıkış ücretlerini izlemek ve önlemek için başka araçlar ve öneriler sağlar. Bkz. OpenSharing çıkış maliyetlerini izleme ve yönetme (sağlayıcılar için).

Ancak sağlayıcı SecureConnect kullanıyorsa, veri aktarımı bulut satıcısı yerine Azure Databricks tarafından faturalandırılır.

Alıcıların paylaşılan görünümlerdeki, gerçekleştirilmiş görünümlerdeki ve akış tablolarındaki temel verilere doğrudan erişimi var mı?

Paylaşılan görünümler, gerçekleştirilmiş görünümler ve akış tabloları için, aşağıdakilerden biri doğruysa veri alıcısının doğrudan erişimi vardır:

• Alıcı, sunucusuz işlem veya ayrılmış olmayan klasik işlemleri aynı Azure Databricks hesabında kullanır.
• Alıcı farklı bir Azure Databricks hesabında sunucusuz işlem kullanır.

Aksi takdirde, veriler sağlayıcı tarafında somutlaştırılır ve filtrelenir.

SecureConnect etkinleştirildiğinde, bu varlıklar yukarıda listelenen senaryolarda dahi sağlayıcı tarafında her zaman oluşturulur ve filtrelenir.

Veri gerçekleştirme, paylaşılan veri varlığının üst depolama konumu altında depolanır.

Gerçekleştirilmiş varlıkları paylaşırken işlem, gerekli filtreleri uygulayarak ve sağlayıcının depolama alanında önbelleğe alınmış geçici gerçekleştirme oluşturarak isteği işler. Bu filtrelenmiş veriler, sağlayıcıdan alıcıya erişim denetimini korurken güvenli erişim sağlamak için önceden imzalanmış kısa süreli URL'ler kullanılarak alıcılara teslim edilir.

Sağlayıcılar alıcı erişimini iptal edebilir mi?

Evet, alıcı erişimi isteğe bağlı olarak ve belirtilen ayrıntı düzeyinde iptal edilebilir. Alıcının belirli paylaşımlara ve belirli IP adreslerine erişimini reddedebilir, alıcı için tablosal verileri filtreleyebilir, alıcı belirteçlerini iptal edebilir ve alıcıları tamamen silebilirsiniz. Bkz: bir paylaşıma alıcının erişimini iptal etme ve OpenSharing için veri alıcıları oluşturma (Databricks'ten Databricks'e paylaşım).

Önceden imzalanan URL'leri kullanmak güvenli değil mi?

OpenSharing, nesne depolamadaki bir dosyaya geçici erişim sağlamak için önceden imzalanan URL'leri kullanır. Bunlar yalnızca paylaşılan verilere zaten erişimi olan alıcılara verilir. Kısa ömürlü oldukları ve alıcıların zaten sahip oldukları erişim düzeyini aşmadıkları için güvenlidirler.

Databricks-Open paylaşım protokolünde kullanılan belirteçler güvenli mi?

OpenSharing platformlar arası paylaşımı mümkün kıldığı için, diğer mevcut veri paylaşım platformlarının aksine, paylaşım protokolü açık token gerektirir. Sağlayıcılar belirteç ömrünü yapılandırarak, ağ denetimlerini ayarlayarak ve isteğe bağlı olarak erişimi iptal ederek belirteç güvenliğini sağlayabilir. Buna ek olarak, belirteç erişim düzeyini alıcılara zaten verilmiş olanın ötesine genişletmez. Bkz. Belirteçler için güvenlikle ilgili dikkat edilmesi gereken noktalar.

Alıcı paylaşımlarına erişimi yönetmek için belirteçleri kullanmamak istiyorsanız, Databricks'ten Databricks'e paylaşım kullanmalı veya alternatifler için Databricks hesap ekibinize başvurmalısınız.

Lakeflow Connect ile OpenSharing arasındaki fark nedir?

OpenSharing canlı verileri platformlar, bulutlar ve bölgeler arasında güvenli bir şekilde paylaşmanızı sağlar. Databricks, yüksek veri hacimlerine, düşük gecikme süreli sorgulamaya ve üçüncü taraf API sınırlarına uyacak şekilde ölçeklendirildiklerinden yönetilen bağlayıcıların kullanılmasını önerir. Ancak, verilerinizi taşımadan sorgulamak isteyebilirsiniz.

Yönetilen bağlayıcılar ile OpenSharing arasında seçim yaptığınızda, aşağıdaki senaryolar için OpenSharing'i seçin:

• Veri yinelemeyi sınırlama.
• Mümkün olan en yeni verileri sorgulama.

Sınırlama

Verileri ve yapay zeka varlıklarını paylaşmak için OpenSharing kullanırken aşağıdaki sınırlamaları göz önünde bulundurun.

E-posta davetiyle paylaşım

Aşağıdaki senaryolarda e-posta davetiyle paylaşma desteklenmemektedir:

• OIDC federasyonu: E-posta davetiyeleri OIDC federasyonunu desteklemiyor. Bkz. OpenSharing alıcıları için Open ID Connect (OIDC) federasyonu etkinleştirme.
• Gruplar ve hizmet prensipleri: Bir e-posta davetiyesi bireysel kullanıcının e-posta adresine gönderilmelidir, bu yüzden bir grubu veya hizmet prensibini temsil edemez.
• Farklı bir Azure Databricks kimliğiyle kabul: Databricks'ten Databricks'e paylaşımda, kabul eden kişi, e-posta adresi davetin gönderildiği adresle eşleşen bir Azure Databricks hesabında oturum açmalıdır.

E-posta ile OpenSharing aşağıdaki sınırlamalara sahiptir:

• Bir e-posta davetiyesi tek bir e-posta adresine bağlıdır ve iletilemez. Alıcı, o kullanıcı olarak giriş yapmış halde bunu kabul etmelidir.
• Her e-posta alıcısı tek bir e-posta adresine eşlenir ve aynı adres için ikinci bir e-posta alıcısı oluşturamazsınız.
• Databricks-to-Databricks davetini kabul etmek için alıcının, metastore’unda CREATE CATALOG ayrıcalığına ve paylaşılan verileri bir kataloğa bağlamak için CREATE PROVIDER ayrıcalığına sahip olması gerekir.
• Databricks-to-Databricks paylaşımı için, tek bir e-posta davetiyesi en fazla 10 metastore tarafından kabul edilebilir.
• Açık paylaşım davetiyesi, alıcının yalnızca bir kez indirebileceği tek bir kimlik dosyası kullanır.
• Alıcının zaten sahip olduğu bir paylaşım için davetiyeyi yeniden gönderemezsiniz, ancak yeni bir paylaşıma erişim verildiğinde yeni bir e-posta gönderilir. E-posta alıcılarını yönet bölümünü bkz.
• SQL CREATE RECIPIENT komutu ve Databricks CLI'si e-posta paylaşımını desteklemiyor.

Tablo biçimi ve özellik desteği

Biçim gereksinimleri:

• Tablosal veriler Delta veya yönetilen Iceberg tablo biçiminde olmalıdır. Parquet tablolarını kolayca Delta'ya ve ardından yeniden Parquet'e dönüştürebilirsiniz. Bkz. CONVERT TO DELTA.
• OpenSharing yalnızca Delta tabloları olarak Iceberg okuması etkinleştirilmiş tabloları okuyabilir.

Desteklenmeyen tablolar:

• Sağlayıcılar, bölüm filtreleme ile sıvı kümeleme kullanan tabloları paylaşamaz.
• Sağlayıcılar, R2 tablolarını V2 denetim noktasıyla paylaşamaz.
• Sağlayıcılar harmanlamaların etkinleştirildiği tabloları paylaşamaz.
• Sağlayıcılar satır filtreleri veya sütun maskeleriyle tablo paylaşamaz.
• Sağlayıcılar tabloları paylaşamaz SHALLOW CLONE . Azure Databricks, Delta günlüklerinin mutlak yollara referans verdiği durumlar için önceden imzalanmış URL'leri desteklemez.
• Yabancı anahtar kısıtlamaları paylaşılan tablolarda kullanılamaz.

• Ön imzalanmış URL erişimi, OneLake'te depolanan yönetilen veya harici Delta tablolarını desteklemez. Bu tabloları paylaşmak için alıcıların bulut tokenları kullanarak okuması gerekir. Cloud token uygunluğuna bakın.

Databricks'ten Databricks'e yalnızca paylaşım

Aşağıdaki varlıklar yalnızca Databricks-To-Databricks paylaşım akışı kullanılarak paylaşılabilir:

• Notebook paylaşımı. Bkz. Paylaşıma not defteri dosyaları ekleme ve Databricks-to-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.
• Hacim paylaşımı. Bkz. Paylaşıma birim ekleme (sağlayıcılar için) ve Databricks-To-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.
• Model paylaşımı. Bkz. Paylaşıma model ekleme (sağlayıcılar için) ve Databricks-To-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.
• Metrik görünüm paylaşımı. Paylaşmaya metrik görünümleri ekle (sağlayıcılar için) ve Paylaşılan metrik görünümlerini oku (alıcılar için) bkz.

Views

• Paylaşılabilir görünümler Delta tablolarında, yabancı tablolarda veya diğer paylaşılabilir görünümlerde tanımlanmalıdır. Bkz. Paylaşıma görünüm ekleme (sağlayıcılar için) ve Paylaşılan görünümleri okuma (alıcılar için).

Streaming

• OpenSharing, bir akış kaynağı çalışırken veya akış yeniden başlatılırken responseFormat öğesinin değiştirilmesini desteklemez.

Alıcı meta verileri

• Paylaşılan katalogdaki information_schema tablolar Unity Kataloğu'nda depolanan meta verileri yansıtır. Bu meta veriler, yalnızca paylaşılan tabloyu doğrudan sorguladığınızda veya DEDESCRIBE gibi bir komut çalıştırdığınızda sağlayıcıdan güncellenir. O zamana kadar sağlayıcının information_schema verileriyle karşılaştırıldığında eski görünebilir.

Kaynak ve teknik sınırlar

• Paylaşılan tablo için izin verilen meta verilerdeki dosya sayısıyla ilgili sınırlar vardır. Daha fazla bilgi edinmek için bkz. Kaynak sınırı aşıldığında oluşan hatalar.
• information_schema adlı şemalar Unity Kataloğu meta veri deposuna aktarılamaz çünkü bu şema adı Unity Kataloğu'nda ayrılmıştır.

Ayrıca bkz. Delta Lake özellik destek matrisi.

Art arda silmeler paylaşım korumasını atlar

Bir ana nesne, örneğin katalog veya şema, silindiğinde, bu alt nesneler etkin paylaşımlara dahil olsa bile tüm alt nesneler otomatik olarak silinir. Art arda silme işlemi bir varlığı kaldırdıktan sonra, paylaşıma aynı ada sahip bir varlığı yeniden ekleyemezsiniz.

Bu sorunu önlemek için, ebeveyn nesnelerini silmeden önce tüm paylaşımlardan varlıkları kaldırın.

Kaynak kotaları

Azure Databricks, tüm OpenSharing güvenliği sağlanabilir nesnelerine kaynak kotaları uygular. Bu kotalar Kaynak sınırları'nda listelenir. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Unity Kataloğu kaynak kotaları API'lerini kullanarak kota kullanımınızı izleyebilirsiniz. Bkz Unity Kataloğu kaynak kotalarınızın kullanımını izleyin.

Ek kaynaklar

• OpenSharing için Databricks hesabınızı etkinleştirme
• Paylaşım oluşturma
• Alıcı oluşturma
• Databricks-To-Open paylaşımı ve Databricks-to-Databricks paylaşım modelleri hakkında daha fazla bilgi edinin
• Alıcıların paylaşılan verilere nasıl eriştiğini öğrenin