Aracılığıyla paylaş

Azure Databricks'te kataloglar nelerdir?

Katalog, Azure Databricks Unity Kataloğu veri idaresi modelindeki birincil veri düzenleme birimidir. Bu makalede Unity Kataloğu'ndaki kataloglara genel bir bakış ve bunların nasıl en iyi şekilde kullanılacağı anlatılır.

Kataloglar, Unity Kataloğu'nun üç düzeyli ad alanında (catalog.schema.table-etc) ilk katmandır. Şemalar içerir, ki bunlar da tablolar, görünümler, birimler, modeller ve işlevler içerebilir. Kataloglar, Azure Databricks hesabınızdaki Unity Kataloğu meta veri deposuna kaydedilir.

Katalog odaklı Unity Kataloğu nesne modeli diyagramı

Verilerimi kataloglar halinde nasıl düzenlemeliyim?

Veri idaresi modelinizi tasarlarken, oluşturduğunuz katalogları dikkatli bir şekilde düşünmeniz gerekir. Kuruluşunuzun veri idaresi modelindeki en üst düzey olarak, her katalog bir mantıksal veri yalıtımı birimini ve veri erişimi mantıksal kategorisini temsil ederek verimli bir izin hiyerarşisinin şemalara ve içerdikleri veri nesnelerine akmasına olanak sağlamalıdır. Bu nedenle kataloglar genellikle kuruluş birimlerini veya yazılım geliştirme yaşam döngüsü kapsamlarını yansıtır. Örneğin, üretim verileri için bir katalog ve geliştirme verileri için bir katalog ya da müşteri dışı veriler için bir katalog ve hassas müşteri verileri için bir katalog seçebilirsiniz.

Katalogları kullanarak veri yalıtımı

Her kataloğun genellikle yönetilen tabloları ve birimleri depolamak için kendi yönetilen depolama konumu vardır ve bu da katalog düzeyinde fiziksel veri yalıtımı sağlar. Kendi yönetilen depolama konumu olmayan kataloglar için varsayılan bir depolama konumu sağlayarak verileri meta veri deposu düzeyinde depolamayı da seçebilirsiniz. Daha ayrıntılı veri yalıtımı için şema düzeyinde depolama ekleyebilirsiniz.

Azure Databricks hesabınızın bölge başına bir meta veri deposu olduğundan kataloglar doğal olarak bölgeye göre yalıtılır.

Daha fazla bilgi için bkz. Azure Databricks'teki veritabanı nesneleri nedir? ve Kataloglar ve şemalar.

Katalog düzeyi ayrıcalıkları

Unity Kataloğu nesnelerindeki izinler bu nesnenin alt öğeleri tarafından devralındığından, bir kataloğa sahip olmak veya bir katalog üzerinde geniş erişim yetkilerine sahip olmak çok güçlüdür. Örneğin, katalog sahipleri katalog ve katalogdaki nesneler üzerinde tüm ayrıcalıklara sahiptir ve katalogdaki herhangi bir nesneye erişim verebilir. Katalogda SELECT olan kullanıcılar katalogdaki herhangi bir tabloyu okuyabilir. Kataloğu olan CREATE TABLE kullanıcılar, katalogdaki herhangi bir şemada tablo oluşturabilir.

Kullanıcıların gerekli görevlerini gerçekleştirmek için gereken en düşük erişime sahip olduğu en düşük ayrıcalık ilkesini uygulamak için, genellikle yalnızca kullanıcının gerektirdiği hiyerarşideki belirli nesnelere veya düzeye erişim verirsiniz. Ancak katalog düzeyindeki ayrıcalıklar, alt düzey nesne sahiplerinin neleri verebileceğini katalog sahibinin yönetmesine olanak sağlar. Örneğin, bir kullanıcıya tablo gibi düşük düzeyli bir veri nesnesine erişim verilmiş olsa bile, tabloyu içeren katalogda ayrıca USE CATALOG ayrıcalığı olmadığı sürece bu kullanıcıya bu tabloya erişemez.

Daha fazla bilgi için bkz. Unity Kataloğu nesne sahipliğini yönetme ve Genel Unity Kataloğu ayrıcalık türleri.

Katalog türleri

Katalog oluşturduğunuzda size iki seçenek sunulur:

  • Standart katalog: Unity Kataloğu'nda veri nesnelerinizi düzenlemek için birincil birim olarak kullanılan tipik katalog. Bu, bu makalede açıklanan katalog türüdür.
  • Yabancı katalog: Sadece Lakehouse Federasyonu senaryolarında kullanılan bir Unity Kataloğu nesnesi. Yabancı bir katalog, dış veri sistemindeki bir veritabanını yansıtarak Azure Databricks çalışma alanınızda bu veri sisteminde salt okunur sorgular gerçekleştirmenizi sağlar. Bkz. Lakehouse Federasyonu nedir?.

Bu iki katalog türüne ek olarak, Yeni bir çalışma alanı oluşturduğunuzda Azure Databricks aşağıdaki katalogları otomatik olarak sağlar:

  • hive_metastore katalog: Bu, Azure Databricks çalışma alanlarındaki eski Hive meta deposu tarafından yönetilen tüm verilerin deposudur. Unity Catalog olmayan mevcut bir çalışma alanı Unity Catalog'a dönüştürüldüğünde, eski Hive meta deposuna kaydedilen tüm nesneler hive_metastore kataloğunda Unity Catalog'da görünür. Unity Kataloğu'yla birlikte Hive meta veri deposuyla çalışma hakkında bilgi için bkz. Unity Kataloğu ile birlikte eski Hive meta veri deposuyla çalışma. Hive meta veri deposu kullanım dışıdır ve tüm Azure Databricks çalışma alanlarının Unity Kataloğu'na geçirilmesi gerekir.
  • Çalışma alanı kataloğu: Tüm yeni çalışma alanlarında, bu katalog varsayılan olarak sizin için oluşturulur. Genellikle adını çalışma alanınızın adıyla paylaşır. Bu katalog varsa, çalışma alanınızdaki tüm kullanıcılar (ve yalnızca çalışma alanınız) varsayılan olarak bu kataloğa erişebilir ve bu da kullanıcıların Unity Kataloğu'nda veri nesneleri oluşturma ve bunlara erişme sürecini denemesi için uygun bir yerdir. Bkz . 1. Adım: Unity Kataloğu için çalışma alanınızın etkinleştirildiğini onaylayın.

Varsayılan katalog

Unity Kataloğu için etkinleştirilen her çalışma alanı için varsayılan bir katalog yapılandırılır. Varsayılan katalog, bir katalog belirtmeden veri işlemleri gerçekleştirmenizi sağlar. Veri işlemleri gerçekleştirirken en üst düzey katalog adını atlarsanız varsayılan katalog varsayılır.

Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, önceden sağlanan çalışma alanı kataloğu varsayılan katalog olarak belirtilir. Çalışma alanı yöneticisi varsayılan kataloğu gerektiği gibi değiştirebilir.

Ayrıntılar için bkz . Varsayılan kataloğu yönetme.

Çalışma alanı-katalog bağlantısı

Kullanıcı veri erişimini yalıtmak için çalışma alanları kullanıyorsanız, çalışma alanı-katalog bağlamalarını kullanmak isteyebilirsiniz. Çalışma alanı-katalog bağlamaları, katalog erişimini çalışma alanı sınırlarına göre sınırlamanıza olanak tanır. Örneğin, prod_catalog üretim verilerine yalnızca bir üretim çalışma alanı ortamından prod_workspace erişilebileceğinden emin olabilirsiniz. Çalışma alanı yöneticileri ve kullanıcıları yalnızca bu ortamda erişim sağlar. Bir bağlama belirtmediğiniz sürece kataloglar geçerli meta veri deposuna eklenmiş tüm çalışma alanlarıyla paylaşılır. Bkz . Çalışma alanı-katalog bağlamasını kullanarak ortam yalıtımı ve Katalog erişimini belirli çalışma alanlarıyla sınırlama.

Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, önceden sağlanan çalışma alanı kataloğu varsayılan olarak çalışma alanınıza bağlıdır.

Daha Fazla Bilgi