Aracılığıyla paylaş

Azure Synapse Analytics paylaşılan meta verileri

Azure Synapse Analytics, farklı çalışma alanı hesaplama altyapılarının Apache Spark havuzları ile sunucusuz SQL havuzu arasında veritabanlarını ve tabloları paylaşmasına olanak tanır.

Paylaşım, modern veri ambarı olarak adlandırılan düzeni destekler ve çalışma alanına SQL altyapılarının Spark ile oluşturulan veritabanlarına ve tablolara erişmesini sağlar. Ayrıca SQL altyapılarının diğer altyapılarla paylaşılmayan kendi nesnelerini oluşturmasına da olanak tanır.

Modern veri ambarını destekleme

Paylaşılan meta veri modeli, modern veri ambarı desenini aşağıdaki şekilde destekler:

  1. Data Lake'ten alınan veriler, muhtemelen birkaç veritabanında yer alan Parquet tabanlı tablolarda depolanarak Spark ile verimli bir şekilde hazırlanır ve yapılandırılır.

  2. Spark tarafından oluşturulan veritabanları ve tüm tabloları Azure Synapse çalışma alanı Spark havuzu örneklerinden birinde görünür hale gelir ve spark işlerinden herhangi birinden kullanılabilir. Çalışma alanında bulunan tüm Spark havuzları aynı temel katalog meta depolarını paylaştığından bu özellik izinlerine tabidir.

  3. Spark tarafından oluşturulan veritabanları ve Parquet destekli veya CSV destekli tabloları çalışma alanı sunucusuz SQL havuzunda görünür hale gelir. Veritabanları sunucusuz SQL havuzu meta verilerinde otomatik olarak oluşturulur ve Spark işi tarafından oluşturulan dış ve yönetilen tablolar ilgili veritabanının dbo şemasındaki sunucusuz SQL havuzu meta verilerinde dış tablolar olarak erişilebilir hale getirilir.

Nesne eşitlemesi zaman uyumsuz olarak gerçekleşir. Nesneler SQL bağlamında görünene kadar birkaç saniyelik bir gecikme süresine sahip olur. Bunlar göründükten sonra sorgulanabilir, ancak bunlara erişimi olan SQL altyapıları tarafından güncelleştirilemez veya değiştirilemez.

Paylaşılan meta veri nesneleri

Spark veritabanları, dış tablolar, yönetilen tablolar ve görünümler oluşturmanıza olanak tanır. Spark görünümleri, spark sql deyimini tanımlamak için bir Spark altyapısı gerektirdiğinden ve sql altyapısı tarafından işlenemediğinden, yalnızca Veritabanları ve Parquet veya CSV depolama biçimini kullanan dış ve yönetilen tablolar çalışma alanı SQL altyapısıyla paylaşılır. Spark görünümleri yalnızca Spark havuzu örnekleri arasında paylaşılır.

Bir bakışta güvenlik modeli

Spark veritabanları ve tabloları, SQL motorundaki eşitlenmiş temsilcileriyle birlikte temel depolama seviyesinde güvenlik altına alınır. Tablo, sorgu gönderenin kullanma hakkına sahip olduğu motorlardan herhangi biri tarafından sorgulandığında, sorgu gönderenin güvenlik ilkesi temel dosyalara iletilir. İzinler dosya sistemi düzeyinde denetlenir.

Daha fazla bilgi için bkz. Azure Synapse Analytics paylaşılan veritabanı.

Değişiklik yönetimi

Spark ile meta veri nesnesi silinir veya değiştirilirse, değişiklikler alınır ve sunucusuz SQL havuzuna yayılır. Eşitleme asenkron olup, değişiklikler kısa bir gecikmeden sonra SQL motoruna yansıtılır.

Sonraki adımlar

  • Last updated on