Aracılığıyla paylaş


Unity Kataloğu nedir?

Bu makalede, Azure Databricks'te veriler ve yapay zeka varlıkları için birleşik bir idare çözümü olan Unity Kataloğu tanıtilmektedir. Önemli kavramları açıklar ve Unity Kataloğu'nu kullanarak verileri yönetmeye yönelik bir genel bakış sağlar.

Not

Unity Kataloğu, açık kaynak uygulaması olarak da kullanılabilir. Duyuru blogu ve genel Unity Kataloğu GitHub deposuna bakın.

Unity Kataloğuna Genel Bakış

Unity Kataloğu, Azure Databricks çalışma alanlarında erişim denetimi, denetim, köken, kalite izleme ve veri bulma özellikleri sağlayan merkezi bir veri kataloğudur.

Unity Kataloğu'nun önemli özellikleri şunlardır:

  • Her yerde bir kez tanımlayın, her yerde güvenli olun: Unity Kataloğu, bir bölgedeki tüm çalışma alanları için geçerli olan veri erişim ilkelerini yönetmek için tek bir yer sunar.
  • Standartlara uyumlu güvenlik modeli: Unity Kataloğu'nun güvenlik modeli standart ANSI SQL'i temel alır ve yöneticilerin tanıdık söz dizimini kullanarak mevcut veri göllerinde izin vermelerini sağlar.
  • Yerleşik denetim ve köken: Unity Kataloğu, verilerinize erişimi kaydeden kullanıcı düzeyindeki denetim günlüklerini otomatik olarak yakalar. Unity Kataloğu, veri varlıklarının tüm dillerde nasıl oluşturulduğunu ve kullanıldığını izleyen köken verilerini de yakalar.
  • Veri bulma: Unity Kataloğu, veri varlıklarını etiketlemenize ve belgelenize olanak tanır ve veri tüketicilerinin verileri bulmasına yardımcı olacak bir arama arabirimi sağlar.
  • Sistem tabloları: Unity Kataloğu, denetim günlükleri, faturalanabilir kullanım ve köken gibi hesabınızın işlem verilerine kolayca erişmenizi ve bunları sorgulamanızı sağlar.

Meta veri deposu

Meta veri deposu, Unity Kataloğu'ndaki meta veriler için en üst düzey kapsayıcıdır. Veriler, yapay zeka varlıkları ve bunlara erişimi yöneten izinler hakkındaki meta verileri kaydeder. Bir çalışma alanının Unity Kataloğu'nu kullanabilmesi için, bir Unity Kataloğu meta deposu ekli olmalıdır. Çalışma alanlarınız olan her bölge için bir meta veri deponuz olmalıdır.

Hive meta veri deposunun aksine Unity Kataloğu meta veri deposu bir hizmet sınırı değildir: çok kiracılı bir ortamda çalışır ve belirli bir Azure Databricks hesabı için bölgeye göre veri ayrımının mantıksal sınırını temsil eder.

Unity Kataloğu nesne modeli

Unity Kataloğu meta veri deposundaki üç düzeyli veritabanı nesne hiyerarşisi, tablolar ve modeller gibi veriler ve yapay zeka nesneleri içeren şemalar içeren kataloglardan oluşur. Tablolara, görünümlere, birimlere, modellere ve işlevlere başvurarak bu hiyerarşi üç düzeyli bir ad alanı (catalog.schema.table-etc) olarak temsil edilir.

Unity Kataloğu nesne modeli diyagramı

Birinci düzey:

İkinci düzey:

  • Şemalar (veritabanları olarak da bilinir), tablolar, görünümler, birimler, yapay zeka modelleri ve işlevler içerir. Şemalar, verileri ve yapay zeka varlıklarını kataloglardan daha ayrıntılı mantıksal kategoriler halinde düzenler. Genellikle bir şema, tek bir kullanım örneğini, projeyi veya takım için bir deneme alanını temsil eder. Bkz. Azure Databricks'te şemalar nelerdir?.

Üçüncü düzey:

  • Tablolar , satırlara ve sütunlara göre düzenlenmiş veri koleksiyonlarıdır. Tablolar ya Unity Catalog'un tablonun tüm yaşam döngüsünü yönettiği yönetilen tablolar olabilir ya da Unity Catalog'un Azure Databricks'in içinden verilere erişimi yönetip ancak diğer istemcilerden bulut depolamadaki verilere erişimi yönetemediği dışsal tablolar olabilir. Bkz. Azure Databricks tablolarına giriş ve Yönetilen ve dış tablolar ile birimler.
  • Görünümler , bir veya daha fazla tabloya yönelik olarak kaydedilen sorgulardır. Bkz. Görünüm nedir?.
  • Birimler, bulut nesne depolamadaki mantıksal veri hacimlerini temsil eder. Dosyaları yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriler dahil olmak üzere herhangi bir biçimde depolamak, düzenlemek ve bunlara erişmek için birimleri kullanabilirsiniz. Bunlar genellikle tablosal olmayan veriler için kullanılır. Birimler, ya Unity Kataloğu tarafından depolamadaki verilerin tam yaşam döngüsü ve düzeni yönetilerek ya da Unity Kataloğu'nun Azure Databricks içinden verilere erişimi yönetip diğer istemcilerin bulut depolamadaki verilere erişimini yönetmediği dışsal birimler olarak yönetilebilir. Bkz Unity Kataloğu birimleri nedir? ve Yönetilen ve dış tablolar ile birimlerin karşılaştırılması.
  • İşlevler , skaler değer veya satır kümesi döndüren kaydedilmiş mantık birimleridir. Bkz Unity Kataloğu'nda Kullanıcı tanımlı işlevler (UDF'ler).
  • Modeller , MLflow ile paketlenmiş ve Unity Kataloğu'nda işlev olarak kaydedilen yapay zeka modelleridir. Bkz. Unity Kataloğu'nda model yaşam döngüsünü yönetme.

Unity Kataloğu'un dış veri kaynaklarına erişimi yönetmek için kullandığı güvenli hale getirilebilir nesneler

Unity Kataloğu, şemalarda yer alan veritabanı nesnelerine ve yapay zeka varlıklarına ek olarak bulut depolamaya ve diğer dış veri kaynaklarına ve hizmetlerine erişimi yönetmek için aşağıdaki güvenli hale getirilebilir nesneleri de kullanır:

Unity Kataloğu'un paylaşılan varlıklara erişimi yönetmek için kullandığı güvenli hale getirilebilir nesneler

Unity Kataloğu, meta veri deposu veya kuruluş sınırları arasında veri ve yapay zeka varlık paylaşımını yönetmek için aşağıdaki güvenli hale getirilebilir nesneleri kullanır:

  • Birden çok katılımcının temel alınan verileri birbirleriyle paylaşmadan projeler üzerinde işbirliği yapabilecekleri Databricks tarafından yönetilen bir ortamı temsil eden temiz odalar. Bkz. Azure Databricks Temiz Odalar nedir?.
  • Paylaşımlar, bir veri sağlayıcısının bir veya daha fazla alıcıyla paylaştığı salt okunur veriler ve yapay zeka varlıkları koleksiyonunu temsil eden Delta Sharing nesneleridir.
  • Alıcılar, veri sağlayıcısından paylaşım alan bir varlığı temsil eden Delta Sharing nesneleridir.
  • Sağlayıcılar, alıcıyla veri paylaşan bir varlığı temsil eden Delta Sharing nesneleridir.

Delta Paylaşımı güvenli hale getirilebilir nesneleri hakkında daha fazla bilgi için bkz . Delta Sharing nedir?.

Yönetici rolleri

Aşağıdaki Azure Databricks yönetici rolleri varsayılan olarak birçok Unity Kataloğu ayrıcalığına sahiptir:

  • Hesap yöneticileri: meta veri depoları oluşturabilir, çalışma alanlarını meta veri depolarına bağlayabilir, kullanıcı ekleyebilir ve meta veri depolarında ayrıcalık atayabilir.
  • Çalışma alanı yöneticileri: Çalışma alanına kullanıcı ekleyebilir ve işler ve not defterleri gibi çalışma alanına özgü birçok nesneyi yönetebilir. Çalışma alanına bağlı olarak, çalışma alanı yöneticilerinin çalışma alanına bağlı meta veri deposunda birçok ayrıcalığı da olabilir.
  • Meta veri deposu yöneticileri: Tablo ve birim depolamayı meta veri deposu düzeyinde yönetmek istiyorsanız bu isteğe bağlı rol gereklidir. Ayrıca, verileri bir bölgedeki birden çok çalışma alanında merkezi olarak yönetmek istediğinizde de kullanışlıdır.

Daha fazla bilgi için bkz. Unity Kataloğu'nda yönetici ayrıcalıkları.

Güvenli hale getirilebilir nesnelere erişim verme ve erişimi iptal etme

Ayrıcalıklı kullanıcılar, meta veri deposunun kendisi de dahil olmak üzere hiyerarşideki herhangi bir düzeyde güvenli kılınabilir nesnelere erişim verebilir ve bu nesnelere erişimi iptal edebilir. Bir nesneye erişim, erişim iptal edilmediği sürece, bu nesnenin tüm alt öğelerine örtük olarak aynı erişimi verir.

Unity Kataloğu'ndaki nesnelere erişim vermek ve bunları iptal etmek için tipik ANSI SQL komutlarını kullanabilirsiniz. Örneğin:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Nesne izinlerini yönetmek için Katalog Gezgini, Databricks CLI ve REST API'lerini de kullanabilirsiniz.

Katalog Gezgini'ni kullanarak ayrıcalık verme

Meta veri deposu yöneticileri, bir nesnenin sahipleri ve üzerinde öğesi MANAGE privilege bulunan kullanıcılar erişim verebilir ve iptal edebilir. Unity Kataloğu'nda ayrıcalıkları yönetmeyi öğrenmek için bkz . Unity Kataloğu'nda ayrıcalıkları yönetme.

Unity Kataloğu'nda veritabanı nesnelerine varsayılan erişim

Unity Kataloğu, kullanıcıların gerekli görevlerini gerçekleştirmek için ihtiyaç duydukları en düşük erişime sahip olduğu en az ayrıcalık ilkesiyle çalışır. Bir çalışma alanı oluşturulduğunda, yönetici olmayan kullanıcılar yalnızca otomatik olarak sağlanan Çalışma Alanı kataloğuna erişebilir ve bu da bu kataloğu kullanıcıların Unity Kataloğu'nda veritabanı nesneleri oluşturma ve bunlara erişme sürecini denemeleri için uygun bir yer haline getirir. Bkz . Çalışma alanı kataloğu ayrıcalıkları.

Unity Kataloğu'nda veritabanı nesneleriyle çalışma

Unity Kataloğu'nda veritabanı nesneleriyle çalışmak, Hive meta veri deposunun nesne ad alanına katalog içermemesi dışında, Hive meta veri deposunda kayıtlı veritabanı nesneleriyle çalışmaya çok benzer. Unity Kataloğu'nda veritabanı nesneleri oluşturmak, veritabanı nesnelerini yönetmek, izinleri yönetmek ve verilerle çalışmak için tanıdık ANSI söz dizimlerini kullanabilirsiniz. Ayrıca Katalog Gezgini kullanıcı arabirimini kullanarak veritabanı nesneleri oluşturabilir, veritabanı nesnelerini yönetebilir ve veritabanı nesneleri üzerindeki izinleri yönetebilirsiniz.

Daha fazla bilgi için bkz. Azure Databricks'teki veritabanı nesneleri.

Yönetilen ve dış tablolar ile birimler kıyaslaması

Tablolar ve hacimler yönetilebilir veya dış olabilir.

  • Yönetilen tablolar Unity Kataloğu tarafından tamamen yönetilir. Bu, Unity Kataloğu'nun yönetilen her tablo için hem idareyi hem de temel alınan veri dosyalarını yönettiği anlamına gelir. Yönetilen tablolar, bulut depolama alanınızda Unity Kataloğu tarafından yönetilen bir konumda depolanır. Yönetilen tablolar her zaman Delta Lake biçimini kullanır. Yönetilen tabloları meta veri deposu, katalog veya şema düzeylerinde depolayabilirsiniz.
  • Dış tablolar , Azure Databricks'ten erişimi Unity Kataloğu tarafından yönetilen ancak veri yaşam döngüsü ve dosya düzeni bulut sağlayıcınız ve diğer veri platformları kullanılarak yönetilen tablolardır. Genellikle Azure Databricks'e büyük miktarda mevcut verilerinizi kaydetmek için veya Azure Databricks dışındaki araçları kullanarak verilere yazma erişimine de ihtiyacınız varsa dış tablolar kullanırsınız. Dış tablolar birden çok veri biçiminde desteklenir. Bir dış tablo Unity Kataloğu meta veri deposuna kaydedildikten sonra Azure Databricks erişimini yönetebilir ve denetleyebilirsiniz--- ve yönetilen tablolarla yaptığınız gibi--- onunla çalışabilirsiniz.
  • Yönetilen birimler Unity Kataloğu tarafından tamamen yönetilir. Bu, Unity Kataloğu'nun birimin bulut sağlayıcısı hesabınızdaki depolama konumuna erişimi yönettiği anlamına gelir. Yönetilen birim oluşturduğunuzda, bu birim otomatik olarak içeren şemaya atanan yönetilen depolama konumunda depolanır.
  • Dış birimler , Azure Databricks dışında yönetilen ancak Azure Databricks içinden erişimi denetlemek ve denetlemek için Unity Kataloğu'na kaydedilen depolama konumlarındaki mevcut verileri temsil eder. Azure Databricks'te bir dış birim oluşturduğunuzda, Unity Catalog'da tanımlanan bir dış konum üzerindeki yolu belirtirsiniz.

Databricks, Unity Kataloğu idare özelliklerinden ve performans iyileştirmelerinden tam olarak yararlanmanıza olanak sağladığından, çoğu kullanım örneği için yönetilen tabloları ve birimleri önerir. Dış tablolar ve birimler için tipik kullanım örnekleri hakkında bilgi için bkz. Yönetilen ve dış tablolar ile Yönetilen ve dış birimler.

Ayrıca bkz:

Bulut depolama ve veri yalıtımı

Unity Kataloğu, bulut depolamayı iki birincil yolla kullanır:

  • Yönetilen depolama: Azure Databricks'te oluşturduğunuz yönetilen tablolar ve yönetilen birimler (yapılandırılmamış, tablosal olmayan veriler) için varsayılan konumlar. Bu yönetilen depolama konumları meta veri deposu, katalog veya şema düzeyinde tanımlanabilir. Bulut sağlayıcınızda yönetilen depolama konumları oluşturursunuz, ancak bunların yaşam döngüsü Unity Kataloğu tarafından tamamen yönetilir.
  • Dış tabloların ve birimlerin depolandığı depolama konumları. Bunlar, Azure Databricks'ten erişimi Unity Catalog tarafından yönetilen, ancak veri yaşam döngüsü ve dosya düzeni bulut sağlayıcınız ile diğer veri platformları kullanılarak yönetilen tablolar ve hacimlerdir. Genellikle Azure Databricks'te büyük miktarda mevcut verilerinizi kaydetmek için dış tablolar veya birimler kullanırsınız veya Azure Databricks dışındaki araçları kullanarak verilere yazma erişimine de ihtiyacınız vardır.

Dış konumları kullanarak bulut depolamaya erişimi yönetme

Hem yönetilen depolama konumları hem de dış tabloların ve birimlerin depolandığı depolama konumları, Azure Databricks'ten erişimi yönetmek için dış konum güvenliği sağlanabilir nesneler kullanır. Dış konum nesneleri bir bulut depolama yoluna ve buna erişmek için gereken depolama kimlik bilgilerine başvurur. Depolama kimlik bilgileri, belirli bir depolama yoluna erişmek için gereken kimlik bilgilerini kaydeden Unity Kataloğu güvenli hale getirilebilir nesnelerdir. Bu güvenli hale getirilebilir öğeler birlikte depolamaya erişimin Unity Kataloğu tarafından denetlenmesini ve izlenmesini sağlar.

Aşağıdaki diyagram, tek bir bulut depolama kapsayıcısının dosya sistemi hiyerarşisini temsil eder ve bir depolama kimlik bilgilerini paylaşan dört dış konum vardır.

Dış konumlar

Daha fazla bilgi için bkz. Unity Kataloğu bulut depolamaya erişimi nasıl yönetir?.

Yönetilen depolama konumu hiyerarşisi

Unity Kataloğu'nda yönetilen depolamayı tanımladığınız düzey, tercih ettiğiniz veri yalıtım modeline bağlıdır. Kuruluşunuz, belirli veri türlerinin bulut kiracınızdaki belirli hesaplarda veya demetlerde depolanmasını gerektirebilir.

Unity Kataloğu, bu gereksinimleri karşılamak için meta veri deposu, katalog veya şema düzeyinde yönetilen depolama konumlarını yapılandırma olanağı sağlar.

Örneğin, kuruluşunuzun insan kaynaklarıyla ilgili üretim verilerinin abfss://mycompanyhr-prod@storage-account.dfs.core.windows.net- kapsayıcısında bulunmasına ihtiyaç duyan bir şirket uyumluluk ilkesi olduğunu varsayalım. Unity Kataloğu'nda, katalog düzeyinde bir konum ayarlayarak, örneğin hr_prodadlı bir katalog oluşturarak ve buna /unity-cataloghr-prod@storage-account.dfs.core.windows.netabfss://mycompany konumu atayarak bu gereksinimi elde edebilirsiniz. Bu, hr_prod kataloğunda oluşturulan yönetilen tabloların veya birimlerin (örneğin, CREATE TABLE hr_prod.default.table …kullanarak) verilerini abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog içinde depoladıkları anlamına gelir. İsteğe bağlı olarak, içindeki verileri daha ayrıntılı bir düzeyde düzenlemek için şema düzeyinde konumlar sağlamayı hr_prod catalog seçebilirsiniz.

Bazı kataloglar için depolama yalıtımı gerekli değilse, isteğe bağlı olarak meta veri deposu düzeyinde bir depolama konumu ayarlayabilirsiniz. Bu konum, depolama alanı atanmamış kataloglardaki ve şemalardaki yönetilen tablolar ve birimler için varsayılan bir konum görevi görür. Ancak Databricks genellikle her katalog için ayrı yönetilen depolama konumları atamanızı önerir.

Sistem, şemadan kataloğa ve meta veri deposuna kadar depolama konumlarının hiyerarşisini değerlendirir.

Örneğin, içinde myCatalog.mySchema.myTablebir tablo my-region-metastore oluşturulduysa, tablo depolama konumu aşağıdaki kurala göre belirlenir:

  1. için mySchemabir konum sağlandıysa, orada depolanır.
  2. Eğer değilse ve myCatalog üzerinde bir konum sağlanmışsa, orada depolanacaktır.
  3. Son olarak, myCatalog üzerinde konum sağlanmadıysa, my-region-metastore ile ilişkilendirilmiş konumda depolanır.

Unity Kataloğu depolama hiyerarşisi

Daha fazla bilgi için bkz. Unity Kataloğu'nda yönetilen depolama konumu belirtme.

Çalışma alanı-katalog bağlaması kullanarak ortam yalıtımı

Varsayılan olarak, katalog sahipleri (ve hesap için tanımlanmışsa meta veri deposu yöneticileri) bir kataloğu aynı Unity Kataloğu meta veri deposuna bağlı birden çok çalışma alanında bulunan kullanıcılar için erişilebilir hale getirir.

Kuruluş ve uyumluluk gereksinimleri genellikle kişisel veriler gibi belirli verileri yalnızca belirli ortamlarda erişilebilir tutmanızı belirtir. Ayrıca üretim verilerini geliştirme ortamlarından yalıtılmış olarak tutmak veya belirli veri kümelerinin ve etki alanlarının hiçbir zaman bir araya gelemediğinden emin olmak isteyebilirsiniz.

Azure Databricks'te çalışma alanı birincil veri işleme ortamıdır ve kataloglar birincil veri etki alanıdır. Unity Kataloğu, meta veri deposu yöneticilerinin, katalog sahiplerinin ve MANAGE iznine sahip kullanıcıların belirli çalışma alanlarına katalog atamasına veya "bağlamasına" olanak tanır. Bu ortam algılayan bağlamalar, kullanıcıya verilen veri nesnelerinde belirli ayrıcalıklardan bağımsız olarak çalışma alanında yalnızca belirli katalogların kullanılabilir olmasını sağlama olanağı sağlar. Bununla birlikte, kullanıcı veri erişimini yalıtmak için çalışma alanları kullanıyorsanız, belirli veri türlerinin yalnızca bu çalışma alanlarında işlenmesini sağlamak için katalog erişimini hesabınızdaki belirli çalışma alanlarıyla sınırlamak isteyebilirsiniz. Örneğin, ayrı üretim ve geliştirme çalışma alanları veya kişisel verileri işlemek için ayrı bir çalışma alanı isteyebilirsiniz. Bu, çalışma alanı-katalog bağlaması olarak bilinir. Bkz. Katalog erişimini belirli çalışma alanlarıyla sınırlama.

Unity Kataloğu katalogları

Not

Daha fazla veri yalıtımı için bulut depolama erişimi ve bulut hizmeti erişimini belirli çalışma alanlarına da bağlayabilirsiniz. Bkz . (İsteğe bağlı) Belirli çalışma alanlarına depolama kimlik bilgisi atama, (İsteğe bağlı) Belirli çalışma alanlarına dış konum atama ve (İsteğe bağlı) Belirli çalışma alanlarına hizmet kimlik bilgisi atama.

Kuruluşum için Unity Kataloğu'nu Nasıl yaparım? ayarladım?

Unity Kataloğu'nu kullanmak için, Unity Kataloğu için Azure Databricks çalışma alanınızın etkinleştirilmesi gerekir; bu da çalışma alanının bir Unity Kataloğu meta deposuna ekli olduğu anlamına gelir.

Çalışma alanı bir meta veri deposuna nasıl eklenir? Hesaba ve çalışma alanına bağlıdır:

  • Genellikle, bir bölgede ilk kez bir Azure Databricks çalışma alanı oluşturduğunuzda meta veri deposu otomatik olarak oluşturulur ve çalışma alanına eklenir.
  • Bazı eski hesaplar için hesap yöneticisinin meta veri depoyu oluşturması ve bu bölgedeki çalışma alanlarını meta veri deposuna ataması gerekir. Yönergeler için bkz. Unity Kataloğu meta veri deposu oluşturma.
  • Bir hesapta zaten bir bölge için atanmış bir meta veri deposu varsa, hesap yöneticisi meta veri deposunun bu bölgedeki tüm yeni çalışma alanlarına otomatik olarak eklenip eklenmeyeceğine karar verebilir. Bkz Yeni çalışma alanlarına otomatik olarak atanacak bir metastore'u etkinleştirme.

Çalışma alanınızın Unity Kataloğu için otomatik olarak etkinleştirilip etkinleştirilmediğine bakılmaksızın, Unity Kataloğu'nu kullanmaya başlamak için aşağıdaki adımlar da gereklidir:

  • Tablolar ve birimler gibi veritabanı nesnelerini içerecek kataloglar ve şemalar oluşturun.
  • Yönetilen tabloları ve birimleri bu kataloglarda ve şemalarda depolamak için yönetilen depolama konumları oluşturun.
  • Kullanıcıya kataloglara, şemalara ve veritabanı nesnelerine erişim izni verin.

Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları, tüm çalışma alanı kullanıcılarına verilen geniş ayrıcalıklara sahip bir çalışma alanı kataloğu sağlar. Bu katalog, Unity Kataloğu'nu denemek için kullanışlı bir başlangıç noktasıdır.

Ayrıntılı kurulum yönergeleri için bkz. Unity Kataloğu'nu kullanmaya başlama.

Mevcut çalışma alanını Unity Kataloğu'na yükseltme

Unity Kataloğu olmayan bir çalışma alanını Unity Kataloğu'na yükseltmeyi öğrenmek için bkz. Azure Databricks çalışma alanlarını Unity Kataloğu'na yükseltme.

Unity Kataloğu gereksinimleri ve kısıtlamaları

Unity Kataloğu, aşağıda açıklanan belirli işlem ve dosya biçimleri türlerini gerektirir. Ayrıca tüm Databricks Runtime sürümlerinde Unity Kataloğu'nda tam olarak desteklenmeyen bazı Azure Databricks özellikleri de aşağıda listelenmiştir.

Bölge desteği

Tüm bölgeler Unity Kataloğu'nu destekler. Ayrıntılar için bkz . Azure Databricks bölgeleri.

İşlem gereksinimleri

Unity Kataloğu, Databricks Runtime 11.3 LTS veya üzerini çalıştıran kümelerde desteklenir. Unity Kataloğu, tüm SQL ambarı işlem sürümlerinde varsayılan olarak desteklenir.

Databricks Runtime'ın önceki sürümlerinde çalışan kümeler, tüm Unity Kataloğu GA özellikleri ve işlevleri için destek sağlamaz.

Unity Kataloğu'ndaki verilere erişmek için kümelerin doğru erişim moduyla yapılandırılması gerekir. Unity Kataloğu varsayılan olarak güvenlidir. Bir küme standart veya ayrılmış erişim moduyla yapılandırılmamışsa, küme Unity Kataloğu'ndaki verilere erişemez. Bkz. Erişim modları.

Her Databricks Runtime sürümündeki Unity Kataloğu işlev değişiklikleri hakkında ayrıntılı bilgi için sürüm notlarına bakın.

Unity Kataloğu sınırlamaları erişim moduna ve Databricks Runtime sürümüne göre farklılık gösterir. Unity Kataloğu için işlem erişim modu sınırlamalarına bakın.

Dosya biçimi desteği

Unity Kataloğu aşağıdaki tablo biçimlerini destekler:

Sınırlamalar

Unity Kataloğu aşağıdaki sınırlamalara sahiptir. Bunlardan bazıları eski Databricks Runtime sürümlerine ve işlem erişim modlarına özeldir.

Yapılandırılmış Akış iş yüklerinin Databricks Runtime ve erişim moduna bağlı olarak ek sınırlamaları vardır. Unity Kataloğu için işlem erişim modu sınırlamalarına bakın.

Databricks, bu listeyi düzenli aralıklarla daraltan yeni işlevler yayınlar.

  • Daha önce bir çalışma alanında oluşturulmuş gruplar (çalışma alanı düzeyinde gruplar) Unity Kataloğu GRANT deyimlerinde kullanılamaz. Bu, çalışma alanlarına yayılabilir grupların tutarlı bir görünümünü sağlamaktır. Grupları T ifadelerinde GRANkullanmak için, gruplarınızı hesap düzeyinde oluşturun ve kullanıcı veya grup yönetimi (SCIM, Okta, Microsoft Entra ID bağlayıcıları ve Terraform gibi) için tüm otomasyonları, çalışma alanı uç noktaları yerine hesap uç noktalarına başvuracak şekilde güncelleyin. Bkz. Grup kaynakları.
  • R'deki iş yükleri, Databricks Runtime 15.3 ve üzerini çalıştıran işlemde satır düzeyi veya sütun düzeyi güvenlik için dinamik görünümlerin kullanımını desteklemez.

R'de dinamik görünümleri sorgulayan iş yükleri için Databricks Runtime 15.4 LTS veya üzerini çalıştıran ayrılmış bir işlem kaynağı kullanın. Bu tür iş yükleri sunucusuz işlem için etkinleştirilmiş bir çalışma alanı da gerektirir. Ayrıntılar için bkz. Ayrılmış işlemde ayrıntılı erişim denetimi.

  • Databricks Runtime 12.2 LTS ve altındaki sürümlerde çalışan hesaplama üzerinde Unity Catalog'da sığ kopyalar desteklenmez. Databricks Runtime 13.3 LTS ve sonraki sürümlerde yönetilen tablolar oluşturmak için yalın kopyaları kullanabilirsiniz. Databricks Runtime sürümünden bağımsız olarak dış tablolar oluşturmak için bunları kullanamazsınız. Bkz Unity Kataloğu tabloları için yüzeysel kopya.

  • Unity Kataloğu tablolarında demetleme desteklenmez. Unity Kataloğu'nda kümelemiş tablo oluşturmaya çalışan komutları çalıştırırsanız, bir hata mesajı verir.

  • Birden çok bölgede çalışma alanlarından aynı yola veya Delta Lake tablosuna yazmak, bazı kümeler Unity Katalog'a erişirken diğerleri erişmezse güvenilmez bir performansa yol açabilir.

  • Gibi ALTER TABLE ADD PARTITION komutları kullanarak dış tablolar için bölümlerin düzenlenmesi için bölüm meta veri günlüğünün etkinleştirilmesi gerekir. Bkz Harici tablolar için bölüm keşfi.

  • Delta biçiminde olmayan tablolar için üzerine yazma modunu kullanırken, kullanıcının üst şemada CREATE TABLE ayrıcalığına sahip olması ve var olan nesnenin sahibi olması veya nesnede MODIFY ayrıcalığına sahip olması gerekir.

  • Python UDF'leri Databricks Runtime 12.2 LTS ve altında desteklenmez. Buna UDAF'ler, UDTF'ler ve Pandas Spark üzerinde (applyInPandas ve mapInPandas) dahildir. Python skaler UDF'leri Databricks Runtime 13.3 LTS ve üzerinde desteklenir.

  • Scala UDF'leri, standart erişim moduyla işlemde Databricks Runtime 14.1 ve altında desteklenmez. Scala skaler UDF'ler, standart erişim moduyla işlemde Databricks Runtime 14.2 ve üzerinde desteklenir.

  • Standart Scala iş parçacığı havuzları desteklenmez. Bunun yerine org.apache.spark.util.ThreadUtils'deki özel iş parçacığı havuzlarını kullanın, örneğin org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Ancak ThreadUtils içindeki aşağıdaki iş parçacığı havuzları desteklenmez: ThreadUtils.newForkJoinPool ve herhangi bir ScheduledExecutorService iş parçacığı havuzu.

  • Denetim günlüğü yalnızca çalışma alanı düzeyinde Unity Kataloğu olayları için desteklenir. Meta veri deposu oluşturma gibi bir çalışma alanına başvurmadan hesap düzeyinde gerçekleşen olaylar günlüğe kaydedilmez.

Unity Kataloğu'nda kayıtlı modellerin ek sınırlamaları vardır. Bkz. Sınırlamalar.

Kaynak kotaları

Unity Kataloğu, tüm güvenliği sağlanabilir nesnelerde kaynak kotalarını zorunlu kılar. Bu kotalar Kaynak sınırları'nda listelenir. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Unity Kataloğu kaynak kotaları API'lerini kullanarak kota kullanımınızı izleyebilirsiniz. Bakınız Unity Kataloğu kaynak kotalarınızı kullanımınızı izleme.

Ek kaynaklar