Azure Databricks'te kataloglar nelerdir?

Makale
06/28/2024

Katalog, Azure Databricks Unity Kataloğu veri idaresi modelindeki birincil veri düzenleme birimidir. Bu makalede Unity Kataloğu'ndaki kataloglara genel bir bakış ve bunların nasıl en iyi şekilde kullanılacağı anlatılır.

Kataloglar, Unity Kataloğu'nun üç düzeyli ad alanında (catalog.schema.table-etc) ilk katmandır. Tablolar, görünümler, birimler, modeller ve işlevler içerebilen şemalar içerir. Kataloglar, Azure Databricks hesabınızdaki Unity Kataloğu meta veri deposuna kaydedilir.

Katalog odaklı Unity Kataloğu nesne modeli diyagramı

Verilerimi kataloglar halinde nasıl düzenlemeliyim?

Veri idaresi modelinizi tasarlarken, oluşturduğunuz katalogları dikkatli bir şekilde düşünmeniz gerekir. Kuruluşunuzun veri idaresi modelindeki en üst düzey olarak, her katalog bir mantıksal veri yalıtımı birimini ve veri erişimi mantıksal kategorisini temsil ederek verimli bir izin hiyerarşisinin şemalara ve içerdikleri veri nesnelerine akmasına olanak sağlamalıdır. Bu nedenle kataloglar genellikle kuruluş birimlerini veya yazılım geliştirme yaşam döngüsü kapsamlarını yansıtır. Örneğin, üretim verileri için bir katalog ve geliştirme verileri için bir katalog ya da müşteri dışı veriler için bir katalog ve hassas müşteri verileri için bir katalog seçebilirsiniz.

Katalogları kullanarak veri yalıtımı

Her kataloğun genellikle yönetilen tabloları ve birimleri depolamak için kendi yönetilen depolama konumu vardır ve bu da katalog düzeyinde fiziksel veri yalıtımı sağlar. Kendi yönetilen depolama konumu olmayan kataloglar için varsayılan bir depolama konumu sağlayarak verileri meta veri deposu düzeyinde depolamayı da seçebilirsiniz. Daha ayrıntılı veri yalıtımı için şema düzeyinde depolama ekleyebilirsiniz.

Azure Databricks hesabınızın bölge başına bir meta veri deposu olduğundan kataloglar doğal olarak bölgeye göre yalıtılır.

Daha fazla bilgi için bkz . Azure Databricks'te veritabanı nesneleri nedir? ve Veriler depolama alanında fiziksel olarak ayrılmıştır.

Katalog düzeyi ayrıcalıkları

Unity Kataloğu nesnelerindeki izinler bu nesnenin alt öğeleri tarafından devralındığından, bir kataloğa sahip olmak veya bir katalog üzerinde geniş ayrıcalıklara sahip olmak çok güçlüdür. Örneğin, katalog sahipleri katalog ve katalogdaki nesneler üzerinde tüm ayrıcalıklara sahiptir ve katalogdaki herhangi bir nesneye erişim verebilir. Kataloğu olan SELECT kullanıcılar katalogdaki herhangi bir tabloyu okuyabilir. Kataloğu olan CREATE TABLE kullanıcılar, katalogdaki herhangi bir şemada tablo oluşturabilir.

Kullanıcıların gerekli görevlerini gerçekleştirmek için gereken en düşük erişime sahip olduğu en düşük ayrıcalık ilkesini uygulamak için, genellikle yalnızca kullanıcının gerektirdiği hiyerarşideki belirli nesnelere veya düzeye erişim verirsiniz. Ancak katalog düzeyindeki ayrıcalıklar, alt düzey nesne sahiplerinin neleri verebileceğini katalog sahibinin yönetmesine olanak sağlar. Örneğin, bir kullanıcıya tablo gibi düşük düzeyli bir veri nesnesine erişim verilmiş olsa bile, tabloyu içeren katalogda ayrıca USE CATALOG ayrıcalığı olmadığı sürece bu kullanıcıya bu tabloya erişemez.

Daha fazla bilgi için bkz . Unity Kataloğu nesne sahipliğini yönetme, Genel Unity Kataloğu ayrıcalık türleri ve Veri idaresi ve veri yalıtımı yapı taşları.

Katalog türleri

Katalog oluşturduğunuzda size iki seçenek sunulur:

Standart katalog: Unity Kataloğu'nda veri nesnelerinizi düzenlemek için birincil birim olarak kullanılan tipik katalog. Bu, bu makalede açıklanan katalog türüdür.
Yabancı katalog: Yalnızca Lakehouse Federasyon senaryolarında kullanılan unity kataloğu nesnesi. Yabancı katalog, dış veri sistemindeki bir veritabanını yansıtarak Azure Databricks çalışma alanınızdaki bu veri sisteminde salt okunur sorgular gerçekleştirmenizi sağlar. Bkz . Lakehouse Federasyonu nedir?

Bu iki katalog türüne ek olarak, Yeni bir çalışma alanı oluşturduğunuzda Azure Databricks aşağıdaki katalogları otomatik olarak sağlar:

hive_metastore katalog: Bu, Azure Databricks çalışma alanlarındaki eski Hive meta deposu tarafından yönetilen tüm verilerin deposudur. Unity Kataloğu olmayan mevcut bir çalışma alanı Unity Kataloğu'na dönüştürüldüğünde, eski Hive meta deposuna kaydedilen tüm nesneler katalogdaki Unity Kataloğu'nda hive_metastore görüntülenir. Unity Kataloğu'yla birlikte Hive meta veri deposuyla çalışma hakkında bilgi için bkz . Unity Kataloğu ve eski Hive meta veri deposuyla çalışma. Hive meta veri deposu kullanım dışıdır ve tüm Azure Databricks çalışma alanlarının Unity Kataloğu'na geçirilmesi gerekir.
Çalışma alanı kataloğu: Tüm yeni çalışma alanlarında, bu katalog varsayılan olarak sizin için oluşturulur. Genellikle adını çalışma alanınızın adıyla paylaşır. Bu katalog varsa, çalışma alanınızdaki tüm kullanıcılar (ve yalnızca çalışma alanınız) varsayılan olarak bu kataloğa erişebilir ve bu da kullanıcıların Unity Kataloğu'nda veri nesneleri oluşturma ve bunlara erişme sürecini denemesi için uygun bir yerdir. Bkz . 1. Adım: Unity Kataloğu için çalışma alanınızın etkinleştirildiğini onaylayın.

Varsayılan katalog

Unity Kataloğu için etkinleştirilen her çalışma alanı için varsayılan bir katalog yapılandırılır. Varsayılan katalog, bir katalog belirtmeden veri işlemleri gerçekleştirmenizi sağlar. Veri işlemleri gerçekleştirirken en üst düzey katalog adını atlarsanız varsayılan katalog varsayılır.

Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, önceden sağlanan çalışma alanı kataloğu varsayılan katalog olarak belirtilir. Çalışma alanı yöneticisi varsayılan kataloğu gerektiği gibi değiştirebilir.

Ayrıntılar için bkz . Varsayılan kataloğu yönetme.

Çalışma alanı-katalog bağlaması

Kullanıcı veri erişimini yalıtmak için çalışma alanları kullanıyorsanız, çalışma alanı-katalog bağlamalarını kullanmak isteyebilirsiniz. Çalışma alanı-katalog bağlamaları, katalog erişimini çalışma alanı sınırlarına göre sınırlamanıza olanak tanır. Örneğin, çalışma alanı yöneticilerinin ve kullanıcılarının içindeki üretim verilerine prod_catalog yalnızca bir üretim çalışma alanı ortamından erişebildiğinden emin olabilirsiniz. prod_workspace Bir bağlama belirtmediğiniz sürece kataloglar geçerli meta veri deposuna eklenmiş tüm çalışma alanlarıyla paylaşılır. Bkz. Verilerinizi düzenleme ve Katalog erişimini belirli çalışma alanlarıyla sınırlama.

Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, önceden sağlanan çalışma alanı kataloğu varsayılan olarak çalışma alanınıza bağlıdır.

Aracılığıyla paylaş