Databricks-To-Databricks Delta Sharing kullanarak paylaşılan verileri okuma (alıcılar için)

Bu sayfada, Databricks'in veri paylaşımı için güvenli bir bağlantıyı yönettiği Databricks-To-Databricks Delta Sharing protokolü kullanılarak sizinle paylaşılan verilerin nasıl okunacağı açıklanır. Delta Sharing açık paylaşım protokolünden farklı olarak, Databricks-Databricks protokolü bir kimlik bilgisi dosyası (belirteç tabanlı güvenlik) gerektirmez.

Databricks-Databricks paylaşımı, alıcı olarak aşağıdaki gereksinimlerin ikisini de karşılamanızı gerektirir:

• Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanına erişiminiz vardır.
• Sağlayıcı, size bir kimlik bilgisi dosyası sağlayan açık paylaşım protokolünü değil Databricks-Databricks Delta Sharing protokolünü kullanıyor.

Her iki gereksinimden biri karşılanmazsa, Taşıyıcı belirteçlerle Delta Sharing açık paylaşım kullanılarak paylaşılan verileri okuma konusuna bakın.

Paylaşılan verileri ekibimin kullanımına Nasıl yaparım??

Databricks-To-Databricks protokolü kullanılarak sizinle paylaşılan verileri ve not defterlerini okumak için , Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanında kullanıcı olmanız gerekir. Ekibinizin bir üyesi veri sağlayıcısına Unity Kataloğu meta veri deponuz için benzersiz bir tanımlayıcı verir ve veri sağlayıcısı bu tanımlayıcıyı kullanarak kuruluşunuzla güvenli bir paylaşım bağlantısı oluşturur. Daha sonra paylaşılan veriler çalışma alanınızda okuma erişimine sunulur. Veri sağlayıcısının paylaşılan tablolara, görünümlere, birimlere ve bölümlere yaptığı güncelleştirmeler çalışma alanınıza neredeyse gerçek zamanlı olarak yansıtılır.

Note

Ekleme, yeniden adlandırma veya silme gibi sütun değişiklikleri Katalog Gezgini'nde bir dakikaya kadar görünmeyebilir. Benzer şekilde, yeni tablolar ekleme de dahil olmak üzere yeni paylaşımlar ve paylaşım güncelleştirmeleri, görüntülemeniz ve sorgulamanız için kullanılabilir hale gelmeden önce bir dakika boyunca önbelleğe alınır.

Note

Paylaşılan katalogdaki information_schema tablolar Unity Kataloğu'nda depolanan meta verileri yansıtır. Bu meta veriler sağlayıcıdan yalnızca paylaşılan tabloyu doğrudan sorguladığınızda veya DESCRIBE veya REFRESH FOREIGNgibi bir komut çalıştırdığınızda güncelleştirilir. O zamana kadar sağlayıcının information_schema verileriyle karşılaştırıldığında eski görünebilir.

Sizinle paylaşılan verileri okumak için:

1. Ekibinizdeki bir kullanıcı paylaşımı (sizinle paylaşılan tablolar, görünümler, birimler ve not defterleri için kapsayıcı) bulur ve bu paylaşımı kullanarak bir katalog oluşturur ve Databricks Unity Kataloğu'ndaki tüm veriler için en üst düzey kapsayıcıdır.
2. Ekibinizdeki bir kullanıcı, kataloğun ve katalog içindeki nesnelerin (şemalar, tablolar, görünümler ve birimler) ekibinizin üyelerine erişim izni verir veya erişimi reddeder.
3. Salt okunur (SELECT veya READ VOLUME) erişiminiz olan Databricks'teki herhangi bir veri varlığı gibi, erişim izni verilen tablo, görünüm ve birimlerdeki verileri okursunuz.
4. Katalogda ayrıcalığınız olduğu sürece paylaşımdaki not defterlerini önizleyebilir ve kopyalayabilirsiniz USE CATALOG .

Gerekli izinler

Tüm sağlayıcılar ve sağlayıcı paylaşımları hakkındaki ayrıntıları listeleyebilmek ve görüntüleyebilmek için ayrıcalığınız USE PROVIDER olmalıdır. Diğer kullanıcılar yalnızca sahip oldukları sağlayıcılara ve paylaşımlara erişebilir.

Bir sağlayıcı paylaşımından katalog oluşturmak için meta veri deposu yöneticisi, Unity Kataloğu meta veri deponuzun hem ve CREATE CATALOGUSE PROVIDER ayrıcalıklarına sahip olan bir kullanıcı hem de sağlayıcı nesnesinin CREATE CATALOG hem ayrıcalığına hem de sahipliğine sahip bir kullanıcı olmanız gerekir.

Paylaşımdan oluşturulan katalogdaki şemalara (veritabanları), tablolara, görünümlere ve birimlere salt okunur erişim verme özelliği, tipik Unity Kataloğu ayrıcalık hiyerarşisini izler. Paylaşımdan oluşturulan katalogdaki not defterlerini görüntüleyebilmek için katalogda USE CATALOG ayrıcalık gerekir. Bkz. Delta Sharing kataloğundaki şemalar, tablolar ve birimler için izinleri yönetme.

Sağlayıcıları ve paylaşımları görüntüleme

Bir veri sağlayıcısı tarafından sizinle paylaşılan verileri okumaya başlamak için sağlayıcının adını bilmeniz ve sağlayıcı sizinle veri paylaştıktan sonra Unity Kataloğu meta deponuzda depolanan nesneleri paylaşmanız gerekir.

Sağlayıcı nesnesi, verileri sizinle paylaşan kuruluşun Unity Kataloğu meta veri depolarını, bulut platformunu ve bölgesini temsil eder.

Share nesnesi, sağlayıcının sizinle paylaştığı tabloları, birimleri ve görünümleri temsil eder.

Sizinle veri paylaşan tüm sağlayıcıları görüntüleme

Kullanılabilir veri sağlayıcılarının listesini görüntülemek için, bir Azure Databricks not defterinde veya Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni, Databricks Unity Kataloğu CLI'sini veya SHOW PROVIDERS SQL komutunu kullanabilirsiniz.

Gerekli izinler: Ayrıcalığınız USE PROVIDER olmalıdır. Diğer kullanıcılar yalnızca sahip oldukları sağlayıcılara ve sağlayıcı paylaşımlarına erişebilir.

Ayrıntılar için bkz. Sağlayıcıları görüntüleme.

Sağlayıcı ayrıntılarını görüntüleme

Bir sağlayıcıyla ilgili ayrıntıları görüntülemek için, bir Azure Databricks not defterinde veya Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni, Databricks Unity Kataloğu CLI'sini veya DESCRIBE PROVIDER SQL komutunu kullanabilirsiniz.

Gerekli izinler: Meta veri deposu yöneticisi olmanız, ayrıcalığınız USE PROVIDER olması veya sağlayıcı nesnesine sahip olmanız gerekir.

Ayrıntılar için bkz. Sağlayıcı ayrıntılarını görüntüleme.

Paylaşımları görüntüleme

Bir sağlayıcının sizinle paylaştığı paylaşımları görüntülemek için, bir Azure Databricks not defterinde veya Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni, Databricks Unity Kataloğu CLI'sını veya SHOW SHARES IN PROVIDER SQL komutunu kullanabilirsiniz.

Gerekli izinler: Meta veri deposu yöneticisi olmanız, ayrıcalığınız USE PROVIDER olması veya sağlayıcı nesnesine sahip olmanız gerekir.

Ayrıntılar için bkz. Sağlayıcının sizinle paylaştığı paylaşımları görüntüleme.

Paylaşılan tablo veya birimdeki verilere erişme

Paylaşılan tablo veya birimdeki verileri okumak için:

1. Ayrıcalıklı bir kullanıcı, tabloyu veya birimi içeren paylaşımdan bir katalog oluşturmalıdır. Bu, meta veri deposu yöneticisi, Unity Kataloğu meta veri deponuz için hem CREATE CATALOG hem de USE PROVIDER ayrıcalıklarına sahip bir kullanıcı veya CREATE CATALOG ayrıcalığına sahip olmakla birlikte sağlayıcı nesnesinin tam sahipliğini elinde bulunduran bir kullanıcı olabilir.
2. Bu kullanıcı veya aynı ayrıcalıklara sahip bir kullanıcı, paylaşılan tabloya veya birime erişim izni vermelidir.
3. Tabloya veya birime, Unity Kataloğu meta veri deponuzda kayıtlı diğer veri varlıkları gibi erişebilirsiniz.

Bir paylaşımdan katalog oluşturma

Bir paylaşımdaki verilerin ekibiniz tarafından erişilebilir olmasını sağlamak için, paylaşımdan bir katalog oluşturmanız veya paylaşımı mevcut bir paylaşılan kataloğa bağlamanız gerekir. Bir paylaşımdan katalog oluşturmak için, bir Azure Databricks not defterinde veya Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni, Databricks Unity Kataloğu CLI'sini veya SQL komutlarını kullanabilirsiniz. Paylaşımı var olan bir paylaşılan kataloğa bağlamak için Katalog Gezgini'ni kullanabilirsiniz.

Katalog oluşturmak için gereken izinler: Meta veri deposu yöneticisi, Unity Kataloğu meta veri deponuzun hem ve CREATE CATALOGUSE PROVIDER ayrıcalıklarına sahip olan kullanıcı hem de sağlayıcı nesnesinin CREATE CATALOG hem ayrıcalığına hem de sahipliğine sahip olan bir kullanıcı.

Var olan bir kataloğa paylaşımı bağlamak için gereken izinler: Kullanıcının sağlayıcı nesnesinin USE PROVIDER ayrıcalığına veya sahipliğine sahip olması ve ayrıca mevcut paylaşılan kataloğun sahibi olması veya mevcut paylaşılan katalogda hem hem de MANAGEUSE CATALOG ayrıcalıklara sahip olması gerekir.

Note

SAP BDC paylaşımından katalog oluşturuyorsanız, SAP semantik meta verileri (tablo ve sütun açıklamaları, birincil anahtarlar, yabancı anahtarlar ve yönetim etiketleri) otomatik olarak kataloğa senkronize edilir. Ek eylem gerekmez. Ayrıntılar için bkz. SAP BDC anlam meta verileri.

Note

Paylaşım görünümler içeriyorsa, sağlayıcının meta veri deposundaki görünümü içeren kataloğun adından farklı bir katalog adı kullanmanız gerekir.

Katalog Tarayıcısı

1. Azure Databricks çalışma alanınızda katalog gezginini açmak için Catalog öğesine tıklayın.

2. Katalog bölmesinin üst kısmında Dişli simgesine tıklayın ve Delta Sharing'i seçin.

   Alternatif olarak, sağ üst köşede Delta Paylaşımını Paylaş'a >tıklayın.

3. Benimle paylaşılan sekmesinde sağlayıcıyı bulun ve seçin.

4. İstediğiniz paylaşımı bulun ve paylaşım satırında Kataloğa Ekle seçeneğine tıklayın.

5. Veri varlığını var olan bir kataloğa eklemek için Yeni katalog oluştur veya Var olan kataloğa bağla'ya tıklayın.

6. Yeni kataloğunuz için bir ad girin veya paylaşımın ekleneceği kataloğu seçin.

7. Oluştur veya Bağla'ya tıklayın.

Alternatif olarak, Katalog Gezgini'ni açtığınızda, paylaşılan bir katalog oluşturmak için sağ üstteki + > Katalog Oluştur'a tıklayabilirsiniz. Bkz. Katalog oluşturma.

SQL

Aşağıdaki komutu bir not defterinde veya Databricks SQL sorgu düzenleyicisinde çalıştırın.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

Bir paylaşımdan oluşturulan kataloğun katalog türü Delta Sharing'dir. Türü Katalog Gezgini'ndeki katalog ayrıntıları sayfasında veya bir not defterinde veya Databricks SQL sorgusunda DESCRIBE CATALOG SQL komutunu çalıştırarak görüntüleyebilirsiniz. Tüm paylaşılan kataloglar, Katalog Gezgini sol bölmesindeki Katalog Paylaşılan altında listelenir>.

Delta Sharing kataloğu, Unity Kataloğu meta veri deposundaki normal kataloglarla aynı şekilde yönetilebilir. Katalog Gezgini'ni, Databricks CLI'yı ve , SHOW CATALOGS, DESCRIBE CATALOGve SQL komutlarını kullanarak ALTER CATALOGDelta Sharing kataloğunu görüntüleyebilir, güncelleştirebilir ve DROP CATALOG silebilirsiniz.

Bir paylaşımdan oluşturulan Delta Sharing kataloğunun altındaki 3 düzeyli ad alanı yapısı, Unity Kataloğu'nda normal bir kataloğun altındakiyle aynıdır: catalog.schema.table veya catalog.schema.volume.

Paylaşılan bir kataloğun altındaki tablo ve birim verileri salt okunurdur; bu da aşağıdaki gibi okuma işlemleri gerçekleştirebileceğiniz anlamına gelir:

• DESCRIBE, SHOWve SELECT tabloları için.
• DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>' ve COPY INTO hacimler için.

Paylaşılan katalogdaki not defterleri, katalogdaki herhangi bir kullanıcı USE CATALOG tarafından önizlenebilir ve kopyalanabilir.

Paylaşılan katalogdaki modeller, şu ayrıcalıklara sahip herhangi bir kullanıcı tarafından çıkarılma amacıyla okunabilir ve yüklenebilir: EXECUTE kayıtlı modelde ayrıcalık, ayrıca USE SCHEMA modeli içeren şema ve USE CATALOG katalogdaki ayrıcalıklar.

Delta Sharing kataloğundaki şemalar, tablolar ve birimler için izinleri yönetme

Varsayılan olarak, katalog oluşturucu bir Delta Sharing kataloğu altındaki tüm veri nesnelerinin sahibidir ve herhangi biri için izinleri yönetebilir.

Ayrıcalıklar aşağı doğru devralınır, ancak bazı çalışma alanları devralma sağlamayan eski güvenlik modelinde olabilir. Bkz . Devralma modeli. Katalog üzerinde SELECT ayrıcalık verilen herhangi bir kullanıcı, bu ayrıcalık iptal edilmediği sürece katalogdaki tüm şema ve tablolarda SELECT ayrıcalığına sahip olur. Benzer şekilde, katalogda READ VOLUME ayrıcalığı verilen herhangi bir kullanıcı, bu ayrıcalık iptal edilmediği sürece, katalogdaki tüm birimlerde READ VOLUME ayrıcalığına sahip olur. Delta Sharing kataloğuna veya Delta Sharing kataloğundaki nesnelere yazma veya güncelleştirme erişimi veren ayrıcalıklar veremezsiniz.

Katalog sahibi, veri nesnelerinin sahipliğini diğer kullanıcılara veya gruplara devrederek bu kullanıcılara nesne izinlerini ve yaşam döngülerini yönetme olanağı verebilir.

Unity Kataloğu'nu kullanarak veri nesneleri üzerindeki ayrıcalıkları yönetme hakkında ayrıntılı bilgi için bkz. Unity Kataloğu'nda ayrıcalıkları yönetme.

Paylaşılan tablodaki verileri okuma

Paylaşılan tablodaki verileri, Azure Databricks kullanıcısı olarak kullanabileceğiniz araçlardan herhangi birini kullanarak okuyabilirsiniz: Katalog Gezgini, not defterleri, SQL sorguları, Databricks CLI ve Databricks REST API'leri. Tablo üzerinde SELECT ayrıcalığına sahip olmalısınız.

Sağlayıcınız tablosunu WITH HISTORYpaylaştıysa, tabloda işlemleri çalıştırabilirsiniz. İşlem gereksinimleri ve sınırlamaları hakkında daha fazla bilgi için bkz. İşlemler.

Paylaşılan yabancı tablodaki veya yabancı şemadaki verileri okuma

Important

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Azure Databricks kullanıcısı olarak kullanabileceğiniz araçlardan herhangi birini kullanarak paylaşılan bir yabancı tablodaki veya yabancı şemadaki verileri okuyabilirsiniz: Katalog Gezgini, not defterleri, SQL sorguları, Databricks CLI ve Databricks REST API'leri. Paylaşılan yabancı tablo veya yabancı şema üzerinde SELECT ayrıcalığına sahip olmalısınız.

Paylaşılan yabancı tablolarda işlem çalıştırabilirsiniz. bkz. işlem gereksinimleri ve sınırlamaları.

Paylaşılan bir yabancı tabloya veya yabancı şemaya erişirken ek maliyetler vardır. Paylaşım maliyetlerinin nasıl hesapıldığı hakkında bilgi için bkz. Delta Sharing maliyetlerini nasıl yansıtıp denetleyebilirim?.

Sınırlamalar: Sağlayıcı izin verse bile paylaşılan yabancı tabloları okumak için küme kısıtlamasını atlayamazsınız.

Paylaşılan harici bir Iceberg tablosundaki verileri okumak

Important

Bu özellik Genel Önizleme aşamasındadır.

Paylaşılan bir yabancı Iceberg tablosundaki verileri, Azure Databricks kullanıcı olarak kullanabileceğiniz araçlardan herhangi birini kullanarak okuyabilirsiniz: Katalog Gezgini, not defterleri, SQL sorguları, Databricks CLI ve Databricks REST API'leri. Katalog Gezgini'nde, paylaşılan bir yabancı Iceberg tablosu Yabancı tablo türü ve veri kaynağı biçimi Buzdağı ile görüntülenir.

Kaynak Iceberg konumuna erişiminiz var ancak yalnızca aşağıdaki sorgu türlerini gerçekleştirebilirsiniz:

• Anlık görüntü sorguları
• Akış sorguları

Gereksinimler:

• Paylaşılan yabancı Iceberg tablosunda SELECT ayrıcalığına sahip olmalısınız.
• Databricks Runtime 15.4 LTS veya üzerini kullanmanız gerekir.

Paylaşılan bir birimde verileri okuma

Azure Databricks kullanıcısı olarak kullanabileceğiniz araçlardan herhangi birini kullanarak paylaşılan bir birimde verileri okuyabilirsiniz: Katalog Gezgini, not defterleri, SQL sorguları, Databricks CLI ve Databricks REST API'leri. Birim üzerinde READ VOLUME ayrıcalığına sahip olmalısınız.

ABAC güvenliğine sahip verileri okuma ve ABAC ilkeleri uygulama

Important

Bu özellik Genel Önizleme aşamasındadır.

Attribute tabanlı erişim denetimi (ABAC) Azure Databricks genelinde esnek, ölçeklenebilir ve merkezi erişim denetimi sağlayan bir veri idare modelidir.

Alıcı tarafındaki hesap yöneticileri, ABAC politikaları ile güvence altına alınmış paylaşılan tabloları okuyabilmek için hesap konsolu Önizlemelerinde Delta Paylaşımı için Öznitelik Tabanlı Erişim Kontrolünü açmalıdır. Bu, sorgu sonuçlarının doğru olmasını sağlar. Aksi takdirde, verilerin doğru şekilde yönetilmemesi riski vardır.

Bir paylaşımdan oluşturulan paylaşılan tablolar, şemalar ve kataloglar için ABAC ilkeleri oluşturun. Gerçekleştirilmiş görünümler sınırlamalarla desteklenir. Paylaşılan akış tabloları veya gerçekleştirilmiş görünümler için ABAC ilkeleri oluşturamazsınız . ABAC ilkelerini yapılandırmak için bkz. Öznitelik tabanlı erişim denetimi (ABAC) ilkeleri oluşturma ve yönetme.

Paylaşılan tablolarda satır izleme sütunlarını okuma

Veri sağlayıcısı paylaşılan bir tabloda satır izlemeyi etkinleştirdiyse, satır izleme meta veri sütunlarını sorgulayabilirsiniz. Kullanılabilir sütunların listesi için bkz. Databricks'te satır izleme .

Bu sütunlara nasıl erişebileceğiniz, paylaşılan tablonun türüne bağlıdır:

• Geçmişle paylaşılan ve bölüm filtreleri olmayan tablolar: Satır izleme sütunlarını kısıtlama olmadan sorgulayabilirsiniz.

• Bölüm filtreleri veya geçmişi olmayan paylaşılan tablolar: Scala Spark'ı kullanmanız ve responseFormat seçeneğini açıkça delta olarak ayarlamanız gerekir.

  spark.read.option(“responseformat”, “delta”).table(“shared_table”).select(“_metadata.row_id”).show()
  

Çıkarım için paylaşılan model yükleme

Paylaşılan bir modeli yükleme ve toplu çıkarım için kullanım hakkında ayrıntılı bilgi için bkz: Çıkarım iş yükleri için bir takma adla model sürümünü yükleme.

Tablonun geçmiş verilerini sorgulama

Tabloyla birlikte geçmiş paylaşılıyorsa, tablo verilerini bir sürüm veya zaman damgası olarak sorgulayabilirsiniz. Databricks Runtime 12.2 LTS veya üzerini gerektirir.

Örneğin:

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Ayrıca, değişiklik veri akışı (CDF) tabloyla etkinleştirildiyse CDF'yi sorgulayabilirsiniz. Hem sürüm hem de zaman damgası desteklenir:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Değişiklik veri akışı hakkında daha fazla bilgi için bkz. Azure Databricks'te Delta Lake değişiklik veri akışını kullanma.

Apache Spark Yapılandırılmış Akış kullanarak tablo sorgulama

Tablo geçmişle paylaşılıyorsa, Spark Yapılandırılmış Akış için kaynak olarak bunu kullanabilirsiniz. Databricks Runtime 12.2 LTS veya üzerini gerektirir.

Desteklenen seçenekler:

• ignoreDeletes: Verileri silen işlemleri yoksayın.
• ignoreChanges: , UPDATE, MERGE INTO (bölümler içinde) veya DELETEgibi OVERWRITEbir veri değiştirme işlemi nedeniyle kaynak tabloda dosyalar yeniden yazıldıysa güncelleştirmeleri yeniden işleyin. Değişmemiş satırlar yine de yayılabilir. Bu nedenle aşağı akış tüketicilerinizin yinelenenleri işleyebilmesi gerekmektedir. Silme işlemleri alt aşamalara yayılmaz. ignoreChanges, ignoreDeletes'i kapsar. Bu nedenle, kullanırsanız ignoreChanges, akışınız kaynak tablodaki silmeler veya güncelleştirmeler tarafından kesintiye uğramaz.
• startingVersion: Başlangıç olarak paylaşılan tablo sürümü. Bu sürümden (dahil) başlayarak tüm tablo değişiklikleri akış kaynağı tarafından okunur.
• startingTimestamp: Başlangıç için zaman damgası. Zaman damgası (dahil) sırasında veya sonrasında işlenen tüm tablo değişiklikleri akış kaynağı tarafından okunur. Örnek: "2023-01-01 00:00:00.0"
• maxFilesPerTrigger: Her mikro toplu işlemde dikkate alınması gereken yeni dosyaların sayısı.
• maxBytesPerTrigger: Her mikro toplu işlemde işlenen veri miktarı. Bu seçenek bir "soft max" ayarlar; başka bir deyişle bir toplu işlem yaklaşık olarak bu miktarda veriyi işler ve en küçük giriş biriminin bu sınırdan büyük olduğu durumlarda akış sorgusunun ileriye doğru ilerlemesini sağlamak için sınırdan daha fazlasını işleyebilecektir.
• readChangeFeed: Akış, paylaşılan tablonun değişiklik veri akışını okur.

Desteklenmeyen seçenekler:

• Trigger.availableNow

Örnek Yapılandırılmış Akış sorguları

Scala

spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")

Python

spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Tabloyla değişiklik veri akışı (CDF) etkinleştirildiyse, CDF'yi akış olarak okuyabilirsiniz.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Satır filtreleri ve sütun maskeleri uygulama

Veri sağlayıcınız tarafından paylaşılan tablolara ve yabancı tablolara satır filtreleri ve sütun maskeleri uygulamak için bkz. Satır filtrelerini ve sütun maskelerini el ile uygulama. Akış tablolarına veya gerçekleştirilmiş görünümlere sütun maskeleri uygulayamazsınız.

Silme vektörlerinin veya sütun eşlemenin etkinleştirildiği tabloları okuma

Important

Bu özellik Genel Önizleme aşamasındadır.

Silme vektörleri, sağlayıcınızın paylaşılan Delta tablolarında etkinleştirebileceği bir depolama iyileştirme özelliğidir. Bkz . Databricks'te silme vektörleri.

Azure Databricks Delta tabloları için sütun eşlemeyi de destekler. Bkz. Delta Lake sütun eşlemesi ile sütunları yeniden adlandırma ve bırakma.

Sağlayıcınız silme vektörleri veya sütun eşlemesi etkinleştirilmiş bir tablo paylaştıysa, SQL ambarını veya Databricks Runtime 14.1 veya üzerini çalıştıran bir kümeyi kullanarak tabloda toplu okuma gerçekleştirebilirsiniz. CDF ve akış sorguları Databricks Runtime 14.2 veya üzerini gerektirir.

Toplu sorgular, paylaşılan tablonun tablo özelliklerine göre responseFormat otomatik olarak çözümlenebileceği için olduğu gibi gerçekleştirebilirsiniz.

Bir değişiklik veri akışını (CDF) okumak veya silme vektörleri veya sütun eşlemesi etkin olan paylaşılan tablolarda akış sorguları gerçekleştirmek için ek seçeneğini responseFormat=deltaayarlamanız gerekir.

Aşağıdaki örneklerde batch, CDF ve akış sorguları gösterilmektedir:

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Paylaşılan yönetilen Iceberg tablolarını okuma

Important

Bu özellik Genel Önizleme aşamasındadır.

Paylaşılan yönetilen Iceberg tablolarını okuma, paylaşılan tabloları okumakla aynıdır. Bu özel durumlar dışında:

Açık paylaşım desteği:

Bu makaledeki yönergeler, özellikle Unity Kataloğu söz dizimi ve arabirimleri Azure Databricks kullanıcı arabirimlerini kullanarak paylaşılan verileri okumaya odaklanır. Delta Sharing bağlayıcıları için gelişmiş Delta özelliği desteğiyle ilgili sınırlama nedeniyle, Python, Tableau ve Power BI kullanarak paylaşılan yönetilen Iceberg tablolarını sorgulama desteklenmez.

Veri akışını değiştirme:

Yönetilen Iceberg tablolarında değişiklik veri akışı desteklenmez.

Azure Databricks Iceberg sınırlamaları:

Iceberg tablosu ve yönetilen Iceberg tablosu sınırlamaları geçerlidir. Bkz. Iceberg tablo sınırlamaları.

Paylaşılan görünümleri okuma

Paylaşılan görünümleri okuma, paylaşılan tabloları okumakla aynıdır; bu özel durumlar dışında:

Paylaşılan görünüm kısıtlamaları:

• Paylaşılan görünümler yalnızca Databricks'teki yerleşik işlevlerin ve işleçlerin bir alt kümesini destekler. Bkz. Databricks-Databricks paylaşılan görünümlerinde desteklenen işlevler.
• Alıcılar, Databricks-Databricks paylaşımında bir sorgu içinde 20'den fazla paylaşılan görünümü sorgulayamaz. Paylaşılan görünümler beşten fazla farklı sağlayıcı paylaşımından olamaz.
• Sağlayıcı aynı hesaptan olduğunda veya sunucusuz işlemi farklı bir hesapta kullandığınızda, aynı sağlayıcıdan birden çok bağımlı görünümü tek bir sorguda sorgulayamazsınız. Örneğin, view1 sağlayıcı tarafında view2'e bağlıyse ve her iki görünüm de sizinle paylaşılıyorsa, aynı sorguda hem view1 hem de view2'e başvuramazsınız.
• Paylaşılan görünümlerde işlem çalıştırabilirsiniz. bkz. işlem gereksinimleri ve sınırlamaları.

Adlandırma gereksinimleri:

Görünümü içeren paylaşılan katalog için kullandığınız katalog adı, görünüm tarafından başvurulan bir tablo içeren sağlayıcı kataloğuyla aynı olamaz. Örneğin, paylaşılan görünüm kataloğunuzda test yer alıyorsa ve sağlayıcının bu görünümde başvurulan tablolarından biri sağlayıcının test kataloğunda yer alıyorsa, sorgu ad alanı çakışma hatasına neden olur. Bkz. Paylaşımdan katalog oluşturma.

Sorgu sonucu zaman aşımı:

Temel alınan verilere doğrudan erişiminiz yoksa, Azure Databricks görünümü sorgularken anı materyalizasyon yapar. Bu gerçekleştirme işlemi 5 dakikadan uzun sürdüğünde sorgu zaman aşımına uğrar. Bu sınırlamayı önlemek için sunucusuz işlem kullanın.

Geçmiş ve akış:

Geçmişi sorgulayamaz veya bir görünümü akış kaynağı olarak kullanamazsınız.

Açık paylaşımda desteği görüntüleyin:

Bu makaledeki yönergeler, özellikle Unity Kataloğu söz dizimi ve arabirimleri Azure Databricks kullanıcı arabirimlerini kullanarak paylaşılan verileri okumaya odaklanır. Ayrıca, Tableau ve Power BI gibi Apache Spark, Python ve BI araçlarını kullanarak paylaşılan görünümleri sorgulayabilirsiniz.

Costs:

Paylaşım maliyetlerinin nasıl hesapıldığı hakkında bilgi için bkz. Delta Sharing maliyetlerini nasıl yansıtıp denetleyebilirim?.

Paylaşılan akış tablolarını ve gerçekleştirilmiş görünümleri okuma

Paylaşılan akış tablolarını ve gerçekleştirilmiş görünümleri okumak, paylaşılan tabloları okumakla aynıdır; bu özel durumlar dışında:

Açık paylaşım desteği:

Bu sayfadaki yönergeler, özellikle Unity Catalog söz dizimi ve arabirimlerini kullanarak Azure Databricks kullanıcı arabirimleri aracılığıyla paylaşılan verileri okumaya odaklanır. Ayrıca Apache Spark, Python ve Tableau ve Power BI gibi BI araçlarını kullanarak paylaşılan akış tablolarını ve gerçekleştirilmiş görünümleri sorgulayabilirsiniz. Bkz. Taşıyıcı belirteçlerle Delta Sharing açık paylaşımı kullanılarak paylaşılan verileri okuma.

Hareket:

• Paylaşılan gerçekleştirilmiş görünümlerde ve akış tablolarında işlem çalıştırabilirsiniz. bkz. işlem gereksinimleri ve sınırlamaları.

SQL sınırlamaları:

• current_recipient işlevi desteklenmez.
• DESCRIBE EXTENDED Komut desteklenmiyor.

Sütun eşleme:

Farklı bir Azure Databricks hesabından paylaşım alırken klasik işlem kullanıyorsanız, gerçekleştirilmiş bir görünümü sorgularken veya sütun eşlemeli akış tablolarını sorgularken aşağıdaki gibi responseFormat belirtmeniz gerekir.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Herhangi bir senaryoda aynı Azure Databricks hesabı veya sunucusuz işlem içinde paylaşım yaparken klasik işlem kullanıyorsanız, kısıtlama olmadan sorgulayabilirsiniz.

Costs:

Paylaşım maliyetlerinin nasıl hesapıldığı hakkında bilgi için bkz. Delta Sharing maliyetlerini nasıl yansıtıp denetleyebilirim?.

Gerçekleştirilmiş görünüme özgü istisnalar

History:

Geçmişi sorgulayamazsınız.

Refresh:

Gerçekleştirilmiş görünümün yenileme durumuna ve yenileme zamanlamasına erişemezsiniz.

Görünüm ve akış tablosu oluşturma:

Paylaşılan gerçekleştirilmiş görünümler üzerinde akış tabloları oluşturamazsınız.

Akış tablosuna özgü özel durumlar

History:

Sorgu geçmişi, aşağıdaki Databricks'ten Databricks'e paylaşım koşulları altında kullanılabilir:

• Farklı bir Azure Databricks hesabıyla paylaşım yaparken sunucusuz işlem kullanıyorsunuz.

• Aynı Azure Databricks hesabı içinde paylaşım yaparken sunucusuz veya klasik işlem kullanıyorsunuz.

Farklı işlemlerle ilgili daha fazla bilgi için bkz. İşlem.

Refresh:

Akış tablosunun yenileme durumuna ve yenileme zamanlamasına erişemezsiniz.

Read paylaşılan Python UDF'ler

Paylaşılan Python UDF'leri okumak paylaşılan tabloları okuma ile aynıdır. Paylaşım için yeni bir katalog oluşturduktan veya paylaşımı mevcut bir kataloğa bağladıktan sonra Python UDF'ye erişebilir ve kullanabilirsiniz.

Paylaşılanı okuma FeatureSpecs

Paylaşılan FeatureSpecsokuma, paylaşılan tabloları okumakla aynıdır. Yeni bir katalog oluşturduktan sonra veya paylaşımı mevcut bir kataloğa bağladıktan sonra, FeatureSpec öğesini istediğiniz hizmet uç noktasına dağıtabilirsiniz. Uç nokta oluşturmayı öğrenmek için bkz. Uç nokta oluşturma.

Sağlayıcınız, yeni bir bağımlılıkla FeatureSpec günceller ancak bağımlılığı sizinle paylaşmazsa modeliniz başarısız olur. Yeni bağımlılıkları denetlemek için veri sağlayıcınıza başvurun.

FeatureSpec sunmadan önce çevrimiçi bir mağaza oluşturmanız ve bağımlı tabloları çalışma alanınızda yayımlamanız gerekir. Çevrimiçi mağazalar oluşturma ve tabloyu yayımlama hakkında bilgi için bkz. Databricks Online Özellik Mağazaları.

Paylaşılan not defterlerini okuma

Paylaşılan not defteri dosyalarını önizlemek ve kopyalamak için Katalog Gezgini'ni kullanabilirsiniz.

Depolama sınırlaması: Depolama alanınız Özel Uç Noktalar kullanıyorsa, paylaşılan not defterlerini okuyamazsınız.

Gerekli izinler: Katalog sahibi veya paylaşım yoluyla oluşturulan katalog üzerinde ayrıcalığa sahip kullanıcı USE CATALOG.

1. Azure Databricks çalışma alanınızda Catalog öğesine tıklayın.

2. Sol bölmede Katalog menüsünü genişletin, paylaşımdan oluşturulan kataloğu bulun ve seçin.

3. Diğer varlıklar sekmesinde paylaşılan not defteri dosyalarını görürsünüz.

4. Önizlemesini görüntülemek için paylaşılan not defteri dosyasının adına tıklayın.

5. (İsteğe bağlı) Paylaşılan not defteri dosyasını çalışma alanınıza aktarmak için Kopyala düğmesine tıklayın.

   1. Kopyala iletişim kutusunda, isteğe bağlı olarak yeni bir ad girin ve not defteri dosyasını kopyalamak istediğiniz çalışma alanı klasörünü seçin.
   2. Clone'a tıklayın.
   3. Not defteri kopyalandıktan sonra, başarıyla kopyalandığını size bildirmek için bir iletişim kutusu açılır. Diyalog kutusunda "not defteri düzenleyicisinde göster" seçeneğine tıklayarak onu not defteri düzenleyicisinde görüntüleyin.

   Bkz. Databricks not defterleri.

Paylaşımın bağlantısını kaldır

Veri varlığını kataloğundan kaldırmak için paylaşımı çıkarın.

Gerekli izinler: Paylaşılan katalogda USE CATALOG ve MANAGE ayrıcalıklarına sahip kullanıcı.

1. Azure Databricks çalışma alanınızda katalog gezginini açmak için Catalog öğesine tıklayın.

2. Katalog bölmesinin üst kısmında Dişli simgesine tıklayın ve Delta Sharing'i seçin.

   Alternatif olarak, sağ üst köşede Delta Paylaşımını Paylaş'a >tıklayın.

3. Benimle paylaşılan sekmesinde sağlayıcıyı bulun ve seçin.

4. Paylaşım satırında.

5. Paylaşımı kaldır'a tıklayın.

6. Çıkart'a tıklayın.