Unity Kataloğu nedir?

Bu makalede, Azure Databricks'te veriler ve yapay zeka varlıkları için birleşik bir idare çözümü olan Unity Kataloğu tanıtilmektedir.

Not

Unity Kataloğu, açık kaynak uygulaması olarak da kullanılabilir. Duyuru blogu ve genel Unity Kataloğu GitHub deposuna bakın.

Unity Kataloğuna Genel Bakış

Unity Kataloğu, Azure Databricks çalışma alanlarında merkezi erişim denetimi, denetim, köken ve veri bulma özellikleri sağlar.

Unity Kataloğu'nun önemli özellikleri şunlardır:

• Her yerde bir kez tanımla, her yerde güvenlidir: Unity Kataloğu, tüm çalışma alanlarında geçerli olan veri erişim ilkelerini yönetmek için tek bir yer sunar.
• Standartlara uyumlu güvenlik modeli: Unity Kataloğu'nun güvenlik modeli standart ANSI SQL'i temel alır ve yöneticilerin kataloglar, şemalar (veritabanları da denir), tablolar ve görünümler düzeyinde tanıdık söz dizimini kullanarak mevcut veri göllerinde izinler vermesine olanak tanır.
• Yerleşik denetim ve köken: Unity Kataloğu, verilerinize erişimi kaydeden kullanıcı düzeyindeki denetim günlüklerini otomatik olarak yakalar. Unity Kataloğu, veri varlıklarının tüm dillerde nasıl oluşturulduğunu ve kullanıldığını izleyen köken verilerini de yakalar.
• Veri bulma: Unity Kataloğu, veri varlıklarını etiketlemenize ve belgelenize olanak tanır ve veri tüketicilerinin verileri bulmasına yardımcı olacak bir arama arabirimi sağlar.
• Sistem tabloları (Genel Önizleme): Unity Kataloğu, denetim günlükleri, faturalanabilir kullanım ve köken gibi hesabınızın işletimsel verilerine kolayca erişmenizi ve bunları sorgulamanızı sağlar.

Unity Kataloğu nesne modeli

Unity Kataloğu'nda tüm meta veriler bir meta veri deposuna kaydedilir. Herhangi bir Unity Kataloğu meta veri deposundaki veritabanı nesnelerinin hiyerarşisi, tablolara, görünümlere, birimlere, modellere ve işlevlere başvurarak üç düzeyli ad alanı (catalog.schema.table-etc) olarak temsil edilen üç düzeye ayrılır.

Meta veri depoları

Meta veri deposu, Unity Kataloğu'ndaki meta veriler için en üst düzey kapsayıcıdır. Veriler, yapay zeka varlıkları ve bunlara erişimi yöneten izinler hakkındaki meta verileri kaydeder. Bir çalışma alanının Unity Kataloğu'nu kullanabilmesi için, bir Unity Kataloğu meta deposu ekli olmalıdır.

Çalışma alanlarınız olan her bölge için bir meta veri deponuz olmalıdır. Genellikle, bir bölgede ilk kez bir Azure Databricks çalışma alanı oluşturduğunuzda otomatik olarak bir meta veri deposu oluşturulur. Bazı eski hesaplar için hesap yöneticisinin meta veri depoyu oluşturması ve bu bölgedeki çalışma alanlarını meta veri deposuna ataması gerekir.

Bkz . Unity Kataloğu meta veri deposu oluşturma.

Meta veri deposunda nesne hiyerarşisi

Unity Kataloğu meta veri deposundaki üç düzeyli veritabanı nesne hiyerarşisi, tablolar ve modeller gibi veriler ve yapay zeka nesneleri içeren şemalar içeren kataloglardan oluşur.

Birinci düzey:

• Kataloglar , veri varlıklarınızı düzenlemek için kullanılır ve genellikle veri yalıtım düzeninizde en üst düzey olarak kullanılır. Kataloglar genellikle kuruluş birimlerini veya yazılım geliştirme yaşam döngüsü kapsamlarını yansıtır. Bkz. Azure Databricks'te kataloglar nelerdir?.
• Depolama kimlik bilgileri ve dış konumlar gibi veri güvenliği sağlanamaz nesneler Unity Kataloğu'nda veri idare modelinizi yönetmek için kullanılır. Bunlar da doğrudan meta veri deposunun altında yer alır. Bunlar Diğer güvenli hale getirilebilir nesneler bölümünde daha ayrıntılı olarak açıklanmıştır.

İkinci düzey:

• Şemalar (veritabanları olarak da bilinir), tablolar, görünümler, birimler, yapay zeka modelleri ve işlevler içerir. Şemalar, verileri ve yapay zeka varlıklarını kataloglardan daha ayrıntılı mantıksal kategoriler halinde düzenler. Şema genellikle tek bir kullanım örneğini, projeyi veya takım korumalı alanını temsil eder. Bkz. Azure Databricks'te şemalar nelerdir?.

Üçüncü düzey:

• Birimler , bulut nesne depolamasında yapılandırılmamış, tablosal olmayan verilerin mantıksal birimleridir. Birimler, Unity Kataloğu'nun depolamadaki verilerin tam yaşam döngüsünü ve düzenini yönetmesiyle ya da Birim Kataloğu'nun Azure Databricks içinden verilere erişimi yönetmesiyle yönetilebilir, ancak diğer istemcilerden bulut depolamadaki verilere erişimi yönetemez. Bkz . Unity Kataloğu birimleri nedir? ve Yönetilen ile dış tablolar ve birimler karşılaştırması.
• Tablolar , satırlara ve sütunlara göre düzenlenmiş veri koleksiyonlarıdır. Tablolar, Unity Kataloğu tablonun tüm yaşam döngüsünü yönetirken yönetilebilir veya Unity Kataloğu Azure Databricks'in içinden verilere erişimi yönetirken diğer istemcilerden bulut depolamadaki verilere erişimi yönetemez. Bkz . Tablo nedir? ve Yönetilen ile dış tablolar ve birimler karşılaştırması.
• Görünümler , bir veya daha fazla tabloya yönelik olarak kaydedilen sorgulardır. Bkz. Görünüm nedir?.
• İşlevler , skaler değer veya satır kümesi döndüren kaydedilmiş mantık birimleridir. Bkz . Unity Kataloğu'nda Kullanıcı tanımlı işlevler (UDF' ler).
• Modeller , MLflow ile paketlenmiş ve Unity Kataloğu'nda kayıtlı yapay zeka modelleridir. Bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.

Unity Kataloğu'nda veritabanı nesneleriyle çalışma

Unity Kataloğu'nda veritabanı nesneleriyle çalışmak, Hive meta veri deposunun nesne ad alanına katalog içermemesi dışında, Hive meta veri deposunda kayıtlı veritabanı nesneleriyle çalışmaya çok benzer. Unity Kataloğu'nda veritabanı nesneleri oluşturmak, veritabanı nesnelerini yönetmek, izinleri yönetmek ve verilerle çalışmak için tanıdık ANSI söz dizimlerini kullanabilirsiniz. Ayrıca Katalog Gezgini kullanıcı arabirimini kullanarak veritabanı nesneleri oluşturabilir, veritabanı nesnelerini yönetebilir ve veritabanı nesneleri üzerindeki izinleri yönetebilirsiniz.

Daha fazla bilgi için bkz . Azure Databricks'teki veritabanı nesneleri ve Unity Kataloğu ile çalışma ve eski Hive meta veri deposu.

Güvenli hale getirilebilen diğer nesneler

Unity Catalog, şemalarda yer alan veritabanı nesnelerine ve yapay zeka varlıklarına ek olarak aşağıdaki güvenli hale getirilebilir nesneleri kullanarak verilere erişimi de yönetir:

• Bulut depolamaya erişim sağlayan uzun vadeli bir bulut kimlik bilgilerini kapsülleyen depolama kimlik bilgileri. bkz. Azure Data Lake Storage 2. Nesil bağlanmak için depolama kimlik bilgisi oluşturma.
• Depolama kimlik bilgilerine ve bulut depolama yoluna başvuru içeren dış konumlar. Dış konumlar, dış tablolar oluşturmak veya yönetilen tablolar ve birimler için yönetilen depolama konumu atamak için kullanılabilir. Bkz . Bulut depolamayı Azure Databricks'e bağlamak için dış konum oluşturma, Yönetilen depolama kullanarak veri yalıtımı ve Unity Kataloğu'nda yönetilen depolama konumu belirtme.
• Lakehouse Federation kullanarak MySQL gibi bir veritabanı sistemindeki bir dış veritabanına salt okunur erişim sağlayan kimlik bilgilerini temsil eden bağlantılar. Bkz . Lakehouse Federasyonu ve Unity Kataloğu ve Lakehouse Federasyonu nedir?
• Bir veri sağlayıcısının bir veya daha fazla alıcıyla paylaştığı salt okunur bir veri koleksiyonunu ve yapay zeka varlıklarını temsil eden Delta Sharing nesneleri olan paylaşımlar.
• Alıcılar, veri sağlayıcısından paylaşım alan bir varlığı temsil eden Delta Sharing nesneleridir.
• Sağlayıcılar, alıcıyla veri paylaşan bir varlığı temsil eden Delta Sharing nesneleridir.

Delta Sharing güvenli hale getirilebilir nesneleri hakkında daha fazla bilgi için bkz . Delta Sharing kullanarak verileri ve yapay zeka varlıklarını güvenli bir şekilde paylaşma.

Unity Kataloğu'nda veritabanı nesnelerine ve diğer güvenli hale getirilebilir nesnelere erişim verme ve bu nesnelere erişimi iptal etme

Meta veri deposunun kendisi de dahil olmak üzere hiyerarşideki herhangi bir düzeyde güvenli kılınabilir nesnelere erişim verebilir ve bu nesnelere erişimi iptal edebilirsiniz. Bir nesneye erişim, erişim iptal edilmediği sürece, bu nesnenin tüm alt öğelerine örtük olarak aynı erişimi verir.

Unity Kataloğu'ndaki nesnelere erişim vermek ve bunları iptal etmek için tipik ANSI SQL komutlarını kullanabilirsiniz. Örneğin:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Nesne izinlerini yönetmek için Katalog Gezgini, Databricks CLI ve REST API'lerini de kullanabilirsiniz.

Unity Kataloğu'nda ayrıcalıkları yönetmeyi öğrenmek için bkz . Unity Kataloğu'nda ayrıcalıkları yönetme.

Unity Kataloğu'nda veritabanı nesnelerine varsayılan erişim

Unity Kataloğu, kullanıcıların gerekli görevlerini gerçekleştirmek için ihtiyaç duydukları en düşük erişime sahip olduğu en az ayrıcalık ilkesiyle çalışır. Bir çalışma alanı oluşturulduğunda, yönetici olmayan kullanıcılar yalnızca otomatik olarak sağlanan Çalışma Alanı kataloğuna erişebilir ve bu da bu kataloğu kullanıcıların Unity Kataloğu'nda veritabanı nesneleri oluşturma ve bunlara erişme sürecini denemeleri için uygun bir yer haline getirir. Bkz . Çalışma alanı kataloğu ayrıcalıkları.

Yönetici rolleri

Çalışma alanı yöneticileri ve hesap yöneticileri varsayılan olarak ek ayrıcalıklara sahiptir. Meta veri deposu yöneticisi isteğe bağlı bir roldür; tablo ve birim depolamayı meta veri deposu düzeyinde yönetmek istiyorsanız gereklidir ve verileri bir bölgedeki birden çok çalışma alanında merkezi olarak yönetmek istiyorsanız kullanışlıdır. Daha fazla bilgi için bkz . Unity Kataloğu'nda yönetici ayrıcalıkları ve (İsteğe bağlı) Meta veri deposu yönetici rolünü atama.

Yönetilen ve dış tablolar ve birimler

Tablolar ve birimler yönetilebilir veya dış olabilir.

• Yönetilen tablolar Unity Kataloğu tarafından tamamen yönetilir. Bu, Unity Kataloğu'nun yönetilen her tablo için hem idareyi hem de temel alınan veri dosyalarını yönettiği anlamına gelir. Yönetilen tablolar, bulut depolama alanınızda Unity Kataloğu tarafından yönetilen bir konumda depolanır. Yönetilen tablolar her zaman Delta Lake biçimini kullanır. Yönetilen tabloları meta veri deposu, katalog veya şema düzeylerinde depolayabilirsiniz.
• Dış tablolar , Azure Databricks'ten erişimi Unity Kataloğu tarafından yönetilen ancak veri yaşam döngüsü ve dosya düzeni bulut sağlayıcınız ve diğer veri platformları kullanılarak yönetilen tablolardır. Genellikle Azure Databricks'e büyük miktarda mevcut verilerinizi kaydetmek için veya Azure Databricks dışındaki araçları kullanarak verilere yazma erişimine de ihtiyacınız varsa dış tablolar kullanırsınız. Dış tablolar birden çok veri biçiminde desteklenir. Bir dış tablo Unity Kataloğu meta veri deposuna kaydedildikten sonra, yönetilen tablolarda olduğu gibi Azure Databricks erişimini yönetebilir ve denetleyebilirsiniz ve bu tabloyla çalışabilirsiniz.
• Yönetilen birimler Unity Kataloğu tarafından tamamen yönetilir. Bu, Unity Kataloğu'nun birimin bulut sağlayıcısı hesabınızdaki depolama konumuna erişimi yönettiği anlamına gelir. Yönetilen birim oluşturduğunuzda, bu birim otomatik olarak içeren şemaya atanan yönetilen depolama konumunda depolanır.
• Dış birimler , Azure Databricks dışında yönetilen ancak Azure Databricks içinden erişimi denetlemek ve denetlemek için Unity Kataloğu'na kaydedilen depolama konumlarındaki mevcut verileri temsil eder. Azure Databricks'te bir dış birim oluşturduğunuzda, birim kataloğu dış konumunda tanımlanan bir yolda olması gereken konumunu belirtirsiniz.

Databricks, Unity Kataloğu idare özelliklerinden ve performans iyileştirmelerinden tam olarak yararlanmak için yönetilen tabloları ve birimleri önerir.

Bkz . Yönetilen tablolarla çalışma, Dış tablolarla çalışma ve Yönetilen ve dış birimler.

Yönetilen depolama kullanarak veri yalıtımı

Kuruluşunuz, belirli türlerdeki verilerin bulut kiracınızdaki belirli hesaplarda veya demetlerde depolanmasını gerektirebilir.

Unity Kataloğu, bu gereksinimleri karşılamak için meta veri deposu, katalog veya şema düzeyinde depolama konumlarını yapılandırma olanağı sağlar. Sistem, şemadan kataloğa ve meta veri deposuna kadar depolama konumlarının hiyerarşisini değerlendirir.

Örneğin, kuruluşunuzun insan kaynaklarıyla ilgili üretim verilerinin kapsayıcı abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net bulunmasına ihtiyaç duyan bir şirket uyumluluk ilkesi olduğunu varsayalım. Unity Kataloğu'nda, katalog düzeyinde bir konum ayarlayarak, örneğin hr_prodadlı bir katalog oluşturarak ve buna abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog konumunu atayarak bu gereksinimi elde edebilirsiniz. Bu, katalogda oluşturulan yönetilen tabloların veya birimlerin hr_prod (örneğin, kullanarak CREATE TABLE hr_prod.default.table …) verilerini abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog içinde depoladıkları anlamına gelir. İsteğe bağlı olarak, içindeki verileri daha ayrıntılı bir düzeyde düzenlemek için şema düzeyinde konumlar sağlamayı hr_prod catalog seçebilirsiniz.

Bazı kataloglar için depolama yalıtımı gerekli değilse, isteğe bağlı olarak meta veri deposu düzeyinde bir depolama konumu ayarlayabilirsiniz. Bu konum, depolama alanı atanmamış kataloglardaki ve şemalardaki yönetilen tablolar ve birimler için varsayılan bir konum görevi görür. Ancak Databricks genellikle her katalog için ayrı yönetilen depolama konumları atamanızı önerir.

Daha fazla bilgi için bkz . Unity Kataloğu'nda yönetilen depolama konumu belirtme ve Veriler depolama alanında fiziksel olarak ayrılmıştır.

Çalışma alanı-katalog bağlaması

Varsayılan olarak, katalog sahipleri (ve hesap için tanımlanmışsa meta veri deposu yöneticileri) bir kataloğu aynı Unity Kataloğu meta veri deposuna bağlı birden çok çalışma alanında bulunan kullanıcılar için erişilebilir hale getirir. Bununla birlikte, kullanıcı veri erişimini yalıtmak için çalışma alanları kullanıyorsanız, belirli veri türlerinin yalnızca bu çalışma alanlarında işlenmesini sağlamak için katalog erişimini hesabınızdaki belirli çalışma alanlarıyla sınırlamak isteyebilirsiniz. Örneğin, ayrı üretim ve geliştirme çalışma alanları veya kişisel verileri işlemek için ayrı bir çalışma alanı isteyebilirsiniz. Bu, çalışma alanı-katalog bağlaması olarak bilinir. Bkz. Katalog erişimini belirli çalışma alanlarıyla sınırlama.

Not

Daha fazla veri yalıtımı için bulut depolama erişimini belirli çalışma alanlarına da bağlayabilirsiniz. Bkz. (İsteğe bağlı) Belirli çalışma alanlarına depolama kimlik bilgileri atama ve (İsteğe bağlı) Belirli çalışma alanlarına dış konum atama.

Veri erişimini denetleme

Unity Kataloğu, meta veri deposuna karşı gerçekleştirilen eylemlerin denetim günlüğünü yakalar ve yöneticilerin belirli bir veri kümesine erişen kişiler ve gerçekleştirdikleri eylemler hakkında ayrıntılı ayrıntılara erişmesini sağlar.

Unity Kataloğu tarafından yönetilen sistem tablolarını kullanarak hesabınızın denetim günlüklerine erişebilirsiniz.

Bkz . Unity Kataloğu olaylarını denetleme, Unity Kataloğu olayları ve Sistem tablolarıyla kullanımı izleme.

Veri kökenini izleme

Unity Kataloğu'nu kullanarak Azure Databricks kümesinde veya SQL ambarında yürütülen herhangi bir dildeki sorgular arasında çalışma zamanı veri kökenini yakalayabilirsiniz. Köken, sütun düzeyine kadar yakalanır ve sorguyla ilgili not defterlerini, iş akışlarını ve panoları içerir. Daha fazla bilgi edinmek için bkz . Unity Kataloğu'nu kullanarak veri kökenini yakalama ve görüntüleme.

Lakehouse Federasyon ve Unity Kataloğu

Lakehouse Federation, Azure Databricks için sorgu federasyon platformudur. Sorgu federasyonu terimi, kullanıcıların ve sistemlerin tüm verileri birleşik bir sisteme geçirmeye gerek kalmadan birden çok silolu veri kaynağında sorgu çalıştırmasına olanak tanıyan bir özellik koleksiyonunu açıklar.

Azure Databricks, sorgu federasyonunu yönetmek için Unity Kataloğu'nu kullanır. Unity Kataloğu'nu, popüler dış veritabanı sistemlerine salt okunur bağlantılar yapılandırmak ve dış veritabanlarını yansıtan yabancı kataloglar oluşturmak için kullanırsınız. Unity Kataloğu'nun veri idaresi ve veri kökeni araçları, Azure Databricks çalışma alanlarınızdaki kullanıcılar tarafından yapılan tüm federasyon sorguları için veri erişiminin yönetilmesini ve denetlenmesini sağlar.

Bkz . Lakehouse Federasyonu nedir?

Delta Sharing, Databricks Market ve Unity Kataloğu

Delta Sharing, veri ve yapay zeka varlıklarını kuruluşunuzun dışındaki kullanıcılarla (bu kullanıcıların Databricks kullanıp kullanmadığı) paylaşmanızı sağlayan güvenli bir veri paylaşım platformudur. Delta Sharing bir açık kaynak uygulaması olarak kullanılabilse de, Databricks'te Unity Kataloğu'nun genişletilmiş işlevlerden tam olarak yararlanmasını gerektirir. Bkz . Delta Sharing kullanarak verileri ve yapay zeka varlıklarını güvenli bir şekilde paylaşma.

Veri ürünleri alışverişi için açık bir forum olan Databricks Market, Delta Sharing'in üzerine kurulmuştur ve bu nedenle Market sağlayıcısı olmak için Unity Kataloğu özellikli bir çalışma alanınız olmalıdır. Bkz . Databricks Market nedir?.

Kuruluşum için Unity Kataloğu'nu Nasıl yaparım? ayarladım?

Unity Kataloğu'nu kullanmak için, Unity Kataloğu için Azure Databricks çalışma alanınızın etkinleştirilmesi gerekir; bu da çalışma alanının bir Unity Kataloğu meta deposuna ekli olduğu anlamına gelir. Oluşturma işleminden sonra tüm yeni çalışma alanları Unity Kataloğu için otomatik olarak etkinleştirilir, ancak eski çalışma alanları bir hesap yöneticisinin Unity Kataloğu'nu el ile etkinleştirmesini gerektirebilir. Çalışma alanınızın Unity Kataloğu için otomatik olarak etkinleştirilip etkinleştirilmediğine bakılmaksızın, Unity Kataloğu'nu kullanmaya başlamak için aşağıdaki adımlar da gereklidir:

• Tablolar ve birimler gibi veritabanı nesnelerini içerecek kataloglar ve şemalar oluşturun.
• Yönetilen tabloları ve birimleri bu kataloglarda ve şemalarda depolamak için yönetilen depolama konumları oluşturun.
• Kullanıcıya kataloglara, şemalara ve veritabanı nesnelerine erişim izni verin.

Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları, tüm çalışma alanı kullanıcılarına verilen geniş ayrıcalıklara sahip bir çalışma alanı kataloğu sağlar. Bu katalog, Unity Kataloğu'nu denemek için kullanışlı bir başlangıç noktasıdır.

Ayrıntılı kurulum yönergeleri için bkz . Unity Kataloğu'nu ayarlama ve yönetme.

Mevcut çalışma alanını Unity Kataloğu'na geçirme

Unity Kataloğu için yakın zamanda etkinleştirdiğiniz eski bir çalışma alanınız varsa, büyük olasılıkla eski Hive meta veri deposu tarafından yönetilen verileriniz vardır. Unity Kataloğu'nda kayıtlı verilerin yanı sıra bu verilerle de çalışabilirsiniz, ancak eski Hive meta veri deposu kullanım dışıdır ve Unity Kataloğu'nun üstün idare özelliklerinden ve performansından yararlanmak için hive meta veri deponuzdaki verileri en kısa sürede Unity Kataloğu'na geçirmeniz gerekir.

Geçiş aşağıdakileri içerir:

1. Çalışma alanı yerel gruplarını hesap düzeyi gruplara dönüştürme. Unity Kataloğu, kimlik yönetimini hesap düzeyinde merkezileştirir.
2. Hive meta veri deposunda yönetilen tabloları ve görünümleri Unity Kataloğu'na geçirme.
3. Eski Hive meta veri deposu tabloları yerine yeni Unity Kataloğu tablolarına başvurmak için sorguları ve iş akışlarını güncelleştirin.

Aşağıdakiler geçişi yönetmenize yardımcı olabilir:

• Databricks Labs projesi olan UCX, Unity-Catalog olmayan çalışma alanınızı Unity Kataloğu'na yükseltmenize yardımcı olan araçlar sağlar. UCX, büyük ölçekli geçişler için iyi bir seçimdir. Bkz . Çalışma alanınızı Unity Kataloğu'na yükseltmek için UCX yardımcı programlarını kullanma.

• Geçirebileceğiniz tablo sayısı daha azsa, Azure Databricks kullanabileceğiniz bir kullanıcı arabirimi sihirbazı ve SQL komutları sağlar. Bkz. Hive tablolarını ve görünümlerini Unity Kataloğu'na yükseltme.

• Hive meta veri deposundaki tabloların aynı çalışma alanında Unity Kataloğu'ndaki veritabanı nesneleriyle birlikte nasıl kullanılacağını öğrenmek için bkz . Unity Kataloğu ve eski Hive meta veri deposuyla çalışma.

Unity Kataloğu gereksinimleri ve kısıtlamaları

Unity Kataloğu, aşağıda açıklanan belirli işlem ve dosya biçimleri türlerini gerektirir. Ayrıca tüm Databricks Runtime sürümlerinde Unity Kataloğu'nda tam olarak desteklenmeyen bazı Azure Databricks özellikleri de aşağıda listelenmiştir.

Bölge desteği

Tüm bölgeler Unity Kataloğu'nu destekler. Ayrıntılar için bkz . Azure Databricks bölgeleri.

İşlem gereksinimleri

Unity Kataloğu, Databricks Runtime 11.3 LTS veya üzerini çalıştıran kümelerde desteklenir. Unity Kataloğu, tüm SQL ambarı işlem sürümlerinde varsayılan olarak desteklenir.

Databricks Runtime'ın önceki sürümlerinde çalışan kümeler, tüm Unity Kataloğu GA özellikleri ve işlevleri için destek sağlamaz.

Unity Kataloğu'ndaki verilere erişmek için kümelerin doğru erişim moduyla yapılandırılması gerekir. Unity Kataloğu varsayılan olarak güvenlidir. Küme paylaşılan veya tek kullanıcılı erişim moduyla yapılandırılmamışsa, küme Unity Kataloğu'ndaki verilere erişemez. Bkz. Erişim modları.

Her Databricks Runtime sürümündeki Unity Kataloğu işlev değişiklikleri hakkında ayrıntılı bilgi için sürüm notlarına bakın.

Unity Kataloğu sınırlamaları erişim moduna ve Databricks Runtime sürümüne göre farklılık gösterir. Unity Kataloğu için bkz. İşlem erişim modu sınırlamaları.

Dosya biçimi desteği

Unity Kataloğu aşağıdaki tablo biçimlerini destekler:

• Yönetilen tablolar tablo biçimini kullanmalıdır delta .
• Dış tablolar , , CSV, JSON, avro, parquet, ORCveya textkullanabilirdelta.

Sınırlamalar

Unity Kataloğu aşağıdaki sınırlamalara sahiptir. Bunlardan bazıları eski Databricks Runtime sürümlerine ve işlem erişim modlarına özeldir.

Yapılandırılmış Akış iş yüklerinin Databricks Runtime ve erişim moduna bağlı olarak ek sınırlamaları vardır. Unity Kataloğu için bkz. İşlem erişim modu sınırlamaları.

Databricks, bu listeyi düzenli aralıklarla daraltan yeni işlevler yayınlar.

• Daha önce bir çalışma alanında oluşturulmuş gruplar (çalışma alanı düzeyinde gruplar) Unity Kataloğu GRANT deyimlerinde kullanılamaz. Bu, çalışma alanlarına yayılabilir grupların tutarlı bir görünümünü sağlamaktır. Grupları T deyimlerinde GRANkullanmak için gruplarınızı hesap düzeyinde oluşturun ve çalışma alanı uç noktaları yerine hesap uç noktalarına başvurmak üzere sorumlu veya grup yönetimi (SCIM, Okta ve Microsoft Entra ID (eski adıYla Azure Active Directory) bağlayıcıları ve Terraform gibi) otomasyonlarını güncelleştirin. Bkz. Hesap grupları ve çalışma alanı-yerel gruplar arasındaki fark.

• R'deki iş yükleri, satır düzeyi veya sütun düzeyi güvenlik için dinamik görünümlerin kullanımını desteklemez.

• Databricks Runtime 12.2 LTS ve altındaki işlemlerin Unity Kataloğu'nda sığ kopyaları desteklenmez. Databricks Runtime 13.3 LTS ve üzerinde yönetilen tablolar oluşturmak için sığ kopyaları kullanabilirsiniz. Databricks Runtime sürümünden bağımsız olarak dış tablolar oluşturmak için bunları kullanamazsınız. Bkz . Unity Kataloğu tabloları için basit kopya.

• Unity Kataloğu tablolarında demetleme desteklenmez. Unity Kataloğu'nda demetli tablo oluşturmaya çalışan komutları çalıştırırsanız, bu bir özel durum oluşturur.

• Birden çok bölgede çalışma alanlarından aynı yola veya Delta Lake tablosuna yazmak, bazı kümeler Unity Kataloğu'na erişmezse ve diğerleri erişmezse güvenilir olmayan bir performansa yol açabilir.

• gibi ALTER TABLE ADD PARTITION komutlar kullanılarak oluşturulan özel bölüm düzenleri Unity Kataloğu'ndaki tablolar için desteklenmez. Unity Kataloğu, dizin stili bölümleme kullanan tablolara erişebilir.

• Unity Kataloğuna DataFrame yazma işlemleri için üzerine yazma modu, diğer dosya biçimleri için değil yalnızca Delta tabloları için desteklenir. Kullanıcının üst şemada ayrıcalığına sahip CREATE olması ve var olan nesnenin sahibi olması veya nesne üzerinde ayrıcalığına sahip MODIFY olması gerekir.

• Python UDF'leri Databricks Runtime 12.2 LTS ve altında desteklenmez. Buna UDAF'ler, UDF'ler ve Spark üzerinde Pandas (applyInPandas ve mapInPandas) dahildir. Python skaler UDF'leri Databricks Runtime 13.3 LTS ve üzerinde desteklenir.

• Scala UDF'leri paylaşılan kümelerde Databricks Runtime 14.1 ve altında desteklenmez. Scala skaler UDF'ler, paylaşılan kümelerde Databricks Runtime 14.2 ve üzerinde desteklenir.

• Standart Scala iş parçacığı havuzları desteklenmez. Bunun yerine içindeki özel iş parçacığı havuzlarını org.apache.spark.util.ThreadUtilskullanın, örneğin, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Ancak içindeki aşağıdaki iş parçacığı havuzları ThreadUtils desteklenmez: ThreadUtils.newForkJoinPool ve herhangi bir ScheduledExecutorService iş parçacığı havuzu.

• Denetim günlüğü yalnızca çalışma alanı düzeyinde Unity Kataloğu olayları için desteklenir. Meta veri deposu oluşturma gibi bir çalışma alanına başvurmadan hesap düzeyinde gerçekleşen olaylar günlüğe kaydedilmez.

Unity Kataloğu'nda kayıtlı modellerin ek sınırlamaları vardır. Bkz. Sınırlamalar.

Kaynak kotaları

Unity Kataloğu, tüm güvenliği sağlanabilir nesnelerde kaynak kotalarını zorunlu kılar. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Aşağıdaki kota değerleri Unity Kataloğu'ndaki üst (veya üstün üstü) nesneye göre ifade edilir.

Object	Parent	Değer
table	schema	10000
table	meta veri deposu	1000000
hacim	schema	10000
function	schema	10000
kayıtlı model	schema	1000
kayıtlı model	meta veri deposu	Kategori 5000
model sürümü	kayıtlı model	10000
model sürümü	meta veri deposu	100000
schema	katalog	10000
katalog	meta veri deposu	1000
bağlantı	meta veri deposu	1000
depolama kimlik bilgisi	meta veri deposu	200
dış konum	meta veri deposu	10000

Delta Paylaşım sınırları için bkz . Kaynak kotaları.