Unity Kataloğu nedir?

Unity Kataloğu, doğrudan Azure Databricks platformunda yerleşik olarak bulunan birleşik bir veri ve yapay zeka idare çözümüdür. Bu, Unity Kataloğu'ndaki temel kavramlara ve verileri yönetmek için Unity Kataloğu'nun nasıl kullanılacağına genel bir bakıştır.

Unity Kataloğu'nun temel sütunları şunlardır:

• Birleşik erişim denetimi: Unity Kataloğu tablolar, dosyalar, modeller ve diğer nesneler için izinleri tek bir arabirimden yönetmek için tek bir yer sunar.
• Veri bulma: Unity Kataloğu, kullanıcıların etiketler, açıklamalar ve meta verilerle zenginleştirilmiş aranabilir bir arabirim aracılığıyla veri varlıklarını bulmalarını ve anlamalarını sağlar.
• Otomatik köken izleme: Veri akışını ve kaynaktan son görünümlere ve panolara nasıl dönüştürüldüğünü otomatik olarak izleyin.
• Denetim: Güvenlik gereksinimlerini ve mevzuat uyumluluğunu karşılamak için tüm veri erişiminin ve sistem etkinliğinin tam kaydını tutma.
• Veri kalitesi izleme: Yerleşik profil oluşturma ve aşağı akış tüketicilerine ulaşmadan anomalileri yakalayan uyarılar ile veri varlıklarınızın durumunu proaktif olarak izleyin.
• Güvenli veri paylaşımı: Açık Delta Sharing protokolunu kullanarak kuruluşlar ve bulutlar arasında canlı verileri güvenli bir şekilde alışverişi yaparak karmaşık ETL veya veri kopyalama gereksinimini ortadan kaldırır.

Unity Kataloğu, açık kaynak uygulaması olarak da kullanılabilir. Duyuru blogu ve genel Unity Kataloğu GitHub deposuna bakın.

Unity Kataloğu nesne modeli

Unity Kataloğu'nda, idare ettiğiniz her varlık bir nesne olarak modellenmiştir. Daha açık belirtmek gerekirse, bu nesneler Unity Kataloğu'nda güvenli hale getirilebilir nesneler olarak adlandırılır. Bu güvenli hale getirilebilir nesneleri yönetmek için erişim denetimi ilkelerini ve etiketler gibi meta verileri kullanabilirsiniz.

Güvenliği sağlanabilir nesneler Unity Kataloğu nesne modeli hiyerarşisinde bulunur ve meta veri deposu adı verilen özel bir nesnede köklendirilir. Bunun altında tablolar, görünümler, birimler, işlevler ve modeller gibi veri varlıkları üç düzeyli ad alanını (catalog.schema.object ) izler. Depolama kimlik bilgileri, dış konumlar, bağlantılar ve paylaşımlar gibi diğer nesneler doğrudan meta veri deposunun altında yer alır.

Bu hiyerarşi, Unity Kataloğu'nun varlıkları düzenleme ve idareyi zorlama biçiminin temelini oluşturur. Unity Kataloğu nesne modelini ve güvenliği sağlanabilir her nesneyi daha ayrıntılı olarak anlamak için bkz. Unity Kataloğu güvenli hale getirilebilir nesneler başvurusu. İzin modelinin Unity Kataloğu nesne modeli bağlamında nasıl çalıştığını anlamak için bkz. Unity Kataloğu izin modeli kavramları.

Yönetici rolleri

Yöneticiler Unity Kataloğu'nda idareyi denetlemekle sorumludur. Yönetici rollerinin farklı düzeyleri ve bunların varsayılan ayrıcalıkları aşağıda belirtilmiştir:

• Hesap yöneticileri meta veri depoları oluşturabilir, çalışma alanlarını meta veri depolarına bağlayabilir, kullanıcı ekleyebilir ve meta veri depolarında ayrıcalık atayabilir.
• Çalışma alanı yöneticileri çalışma alanına kullanıcı ekleyebilir ve işler ve not defterleri gibi çalışma alanına özgü birçok nesneyi yönetebilir. Çalışma alanına bağlı olarak, çalışma alanı yöneticilerinin çalışma alanına bağlı meta veri deposunda birçok ayrıcalığı da olabilir.
• Meta veri deposu yöneticileri , tablo ve birim depolamayı meta veri deposu düzeyinde yönetebilen isteğe bağlı rollerdir. Ayrıca, verileri bir bölgedeki birden çok çalışma alanında merkezi olarak yönetmek istediğinizde de kullanışlıdır.

Daha fazla bilgi için bkz. Unity Kataloğu'nda yönetici ayrıcalıkları.

Güvenli hale getirilebilir nesnelere erişim verme ve erişimi iptal etme

Ayrıcalıklı kullanıcılar, meta veri deposunun kendisi de dahil olmak üzere hiyerarşideki herhangi bir düzeyde güvenli kılınabilir nesnelere erişim verebilir ve bu nesnelere erişimi iptal edebilir. Bir nesneye erişim, erişim iptal edilmediği sürece, bu nesnenin tüm alt öğelerine örtük olarak aynı erişimi verir.

Unity Kataloğu'ndaki nesnelere erişim vermek ve bunları iptal etmek için tipik ANSI SQL komutlarını kullanabilirsiniz. Örneğin:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Nesne izinlerini yönetmek için Katalog Gezgini, Databricks CLI ve REST API'lerini de kullanabilirsiniz.

Meta veri deposu yöneticileri, bir nesnenin sahipleri ve üzerinde öğesi MANAGE privilege bulunan kullanıcılar erişim verebilir ve iptal edebilir. Unity Kataloğu'nda ayrıcalıkları yönetmeyi öğrenmek için bkz . Unity Kataloğu'nda ayrıcalıkları yönetme.

Unity Kataloğu'nda veritabanı nesnelerine varsayılan erişim

Unity Kataloğu, kullanıcıların gerekli görevlerini gerçekleştirmek için ihtiyaç duydukları en düşük erişime sahip olduğu en az ayrıcalık ilkesiyle çalışır. Bir çalışma alanı oluşturulduğunda, yönetici olmayan kullanıcılar yalnızca otomatik olarak sağlanan Çalışma Alanı kataloğuna erişebilir ve bu da bu kataloğu kullanıcıların Unity Kataloğu'nda veritabanı nesneleri oluşturma ve bunlara erişme sürecini denemeleri için uygun bir yer haline getirir. Bkz . Çalışma alanı kataloğu ayrıcalıkları.

Yönetilen ve dış tablolar ile birimler kıyaslaması

Tablolar ve hacimler yönetilebilir veya dış olabilir.

• Yönetilen tablolar Unity Kataloğu tarafından tamamen yönetilir. Bu, Unity Kataloğu'nun yönetilen her tablo için hem idareyi hem de temel alınan veri dosyalarını yönettiği anlamına gelir. Yönetilen tablolar, bulut depolama alanınızda Unity Kataloğu tarafından yönetilen bir konumda depolanır. Yönetilen tablolar her zaman Delta Lake biçimini kullanır. Yönetilen tabloları meta veri deposu, katalog veya şema düzeylerinde depolayabilirsiniz.
• Dış tablolar , Azure Databricks'ten erişimi Unity Kataloğu tarafından yönetilen ancak veri yaşam döngüsü ve dosya düzeni bulut sağlayıcınız ve diğer veri platformları kullanılarak yönetilen tablolardır. Genellikle Azure Databricks'e büyük miktarda mevcut verilerinizi kaydetmek için veya Azure Databricks dışındaki araçları kullanarak verilere yazma erişimine de ihtiyacınız varsa dış tablolar kullanırsınız. Dış tablolar birden çok veri biçiminde desteklenir. Bir dış tablo Unity Kataloğu meta veri deposuna kaydedildikten sonra Azure Databricks erişimini yönetebilir ve denetleyebilirsiniz--- ve yönetilen tablolarla yaptığınız gibi--- onunla çalışabilirsiniz.
• Yönetilen birimler Unity Kataloğu tarafından tamamen yönetilir. Bu, Unity Kataloğu'nun birimin bulut sağlayıcısı hesabınızdaki depolama konumuna erişimi yönettiği anlamına gelir. Yönetilen birim oluşturduğunuzda, bu birim otomatik olarak içeren şemaya atanan yönetilen depolama konumunda depolanır.
• Dış birimler , Azure Databricks dışında yönetilen ancak Azure Databricks içinden erişimi denetlemek ve denetlemek için Unity Kataloğu'na kaydedilen depolama konumlarındaki mevcut verileri temsil eder. Azure Databricks'te bir dış birim oluşturduğunuzda, Unity Catalog'da tanımlanan bir dış konum üzerindeki yolu belirtirsiniz.

Databricks, Unity Kataloğu idare özelliklerinden ve performans iyileştirmelerinden tam olarak yararlanmanıza olanak sağladığından, çoğu kullanım örneği için yönetilen tabloları ve birimleri önerir. Dış tablolar ve birimler için tipik kullanım örnekleri hakkında bilgi için bkz. Yönetilen ve dış tablolar ile Yönetilen ve dış birimler.

Ayrıca bkz:

• Azure Databricks'teki Unity Kataloğu tarafından yönetilen Delta Lake ve Apache Iceberg tabloları
• Dış tablolarla çalışma
• Yönetilen birimler ve dış birimler.

Bulut depolama ve veri yalıtımı

Unity Kataloğu, bulut depolamayı iki birincil yolla kullanır:

• Yönetilen depolama: Azure Databricks'te oluşturduğunuz yönetilen tablolar ve yönetilen birimler (yapılandırılmamış, tablosal olmayan veriler) için varsayılan konumlar. Bu yönetilen depolama konumları meta veri deposu, katalog veya şema düzeyinde tanımlanabilir. Bulut sağlayıcınızda yönetilen depolama konumları oluşturursunuz, ancak bunların yaşam döngüsü Unity Kataloğu tarafından tamamen yönetilir.
• Dış tabloların ve birimlerin depolandığı depolama konumları. Bunlar, Azure Databricks'ten erişimi Unity Catalog tarafından yönetilen, ancak veri yaşam döngüsü ve dosya düzeni bulut sağlayıcınız ile diğer veri platformları kullanılarak yönetilen tablolar ve hacimlerdir. Genellikle Azure Databricks'te büyük miktarda mevcut verilerinizi kaydetmek için dış tablolar veya birimler kullanırsınız veya Azure Databricks dışındaki araçları kullanarak verilere yazma erişimine de ihtiyacınız vardır.

Dış konumları kullanarak bulut depolamaya erişimi yönetme

Hem yönetilen depolama konumları hem de dış tabloların ve birimlerin depolandığı depolama konumları, Azure Databricks'ten erişimi yönetmek için dış konum güvenliği sağlanabilir nesneler kullanır. Dış konum nesneleri bir bulut depolama yoluna ve buna erişmek için gereken depolama kimlik bilgilerine başvurur. Depolama kimlik bilgileri, belirli bir depolama yoluna erişmek için gereken kimlik bilgilerini kaydeden Unity Kataloğu güvenli hale getirilebilir nesnelerdir. Bu güvenli hale getirilebilir öğeler birlikte depolamaya erişimin Unity Kataloğu tarafından denetlenmesini ve izlenmesini sağlar.

Aşağıdaki diyagram, dış konumların depolama kimlik bilgilerini ve bulut depolama konumlarını nasıl referans aldığını göstermektedir.

Bu diyagramda:

• Her dış konum bir depolama kimlik bilgilerine ve bir bulut depolama konumuna başvurur.
• Birden çok dış konum aynı depolama kimlik bilgilerine başvurabilir. Depolama kimlik bilgileri 1 , yolunun bucket/tables/*altındaki her şeye erişim verir, bu nedenle hem Dış konum A hem de Dış konum B buna başvurur.

Daha fazla bilgi için bkz. Unity Kataloğu bulut depolamaya erişimi nasıl yönetir?.

Yönetilen depolama konumu hiyerarşisi

Unity Kataloğu'nda yönetilen depolamayı tanımladığınız düzey, tercih ettiğiniz veri yalıtım modeline bağlıdır. Kuruluşunuz, belirli veri türlerinin bulut kiracınızdaki belirli hesaplarda veya demetlerde depolanmasını gerektirebilir.

Unity Kataloğu, bu gereksinimleri karşılamak için meta veri deposu, katalog veya şema düzeyinde yönetilen depolama konumlarını yapılandırma olanağı sağlar.

Örneğin, kuruluşunuzun insan kaynaklarıyla ilgili üretim verilerinin abfss://mycompanyhr-prod@storage-account.dfs.core.windows.net- kapsayıcısında bulunmasına ihtiyaç duyan bir şirket uyumluluk ilkesi olduğunu varsayalım. Unity Kataloğu'nda, katalog düzeyinde bir konum ayarlayarak, örneğin hr_prodadlı bir katalog oluşturarak ve buna /unity-cataloghr-prod@storage-account.dfs.core.windows.netabfss://mycompany konumu atayarak bu gereksinimi elde edebilirsiniz. Bu, hr_prod kataloğunda oluşturulan yönetilen tabloların veya birimlerin (örneğin, CREATE TABLE hr_prod.default.table …kullanarak) verilerini abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog içinde depoladıkları anlamına gelir. İsteğe bağlı olarak, içindeki verileri daha ayrıntılı bir düzeyde düzenlemek için şema düzeyinde konumlar sağlamayı hr_prod catalog seçebilirsiniz.

Bazı kataloglar için depolama yalıtımı gerekli değilse, isteğe bağlı olarak meta veri deposu düzeyinde bir depolama konumu ayarlayabilirsiniz. Bu konum, depolama alanı atanmamış kataloglardaki ve şemalardaki yönetilen tablolar ve birimler için varsayılan bir konum görevi görür. Ancak Databricks genellikle her katalog için ayrı yönetilen depolama konumları atamanızı önerir.

Sistem, şemadan kataloğa ve meta veri deposuna kadar depolama konumlarının hiyerarşisini değerlendirir.

Örneğin, içinde myCatalog.mySchema.myTablebir tablo my-region-metastore oluşturulduysa, tablo depolama konumu aşağıdaki kurala göre belirlenir:

1. için mySchemabir konum sağlandıysa, orada depolanır.
2. Eğer değilse ve myCatalog üzerinde bir konum sağlanmışsa, orada depolanacaktır.
3. Son olarak, myCatalog üzerinde konum sağlanmadıysa, my-region-metastore ile ilişkilendirilmiş konumda depolanır.

Daha fazla bilgi için bkz. Unity Kataloğu'nda yönetilen depolama konumu belirtme.

Çalışma alanı-katalog bağlaması kullanarak ortam yalıtımı

Varsayılan olarak, katalog sahipleri (ve hesap için tanımlanmışsa meta veri deposu yöneticileri) bir kataloğu aynı Unity Kataloğu meta veri deposuna bağlı birden çok çalışma alanında bulunan kullanıcılar için erişilebilir hale getirir.

Kuruluş ve uyumluluk gereksinimleri genellikle kişisel veriler gibi belirli verileri yalnızca belirli ortamlarda erişilebilir tutmanızı belirtir. Ayrıca üretim verilerini geliştirme ortamlarından yalıtılmış olarak tutmak veya belirli veri kümelerinin ve etki alanlarının hiçbir zaman bir araya gelemediğinden emin olmak isteyebilirsiniz.

Azure Databricks'te çalışma alanı birincil veri işleme ortamıdır ve kataloglar birincil veri etki alanıdır. Unity Kataloğu, meta veri deposu yöneticilerinin, katalog sahiplerinin ve MANAGE iznine sahip kullanıcıların belirli çalışma alanlarına katalog atamasına veya "bağlamasına" olanak tanır. Bu ortam algılayan bağlamalar, kullanıcıya verilen veri nesnelerinde belirli ayrıcalıklardan bağımsız olarak çalışma alanında yalnızca belirli katalogların kullanılabilir olmasını sağlama olanağı sağlar. Bununla birlikte, kullanıcı veri erişimini yalıtmak için çalışma alanları kullanıyorsanız, belirli veri türlerinin yalnızca bu çalışma alanlarında işlenmesini sağlamak için katalog erişimini hesabınızdaki belirli çalışma alanlarıyla sınırlamak isteyebilirsiniz. Örneğin, ayrı üretim ve geliştirme çalışma alanları veya kişisel verileri işlemek için ayrı bir çalışma alanı isteyebilirsiniz. Bu, çalışma alanı-katalog bağlaması olarak bilinir. Bkz. Katalog erişimini belirli çalışma alanlarıyla sınırlama.

Not

Daha fazla veri yalıtımı için bulut depolama erişimi ve bulut hizmeti erişimini belirli çalışma alanlarına da bağlayabilirsiniz. Bkz . (İsteğe bağlı) Belirli çalışma alanlarına depolama kimlik bilgisi atama, (İsteğe bağlı) Belirli çalışma alanlarına dış konum atama ve (İsteğe bağlı) Belirli çalışma alanlarına hizmet kimlik bilgisi atama.

Kuruluşum için Unity Kataloğu'nu Nasıl yaparım? ayarladım?

Unity Kataloğu'nu kullanmak için, Unity Kataloğu için Azure Databricks çalışma alanınızın etkinleştirilmesi gerekir; bu da çalışma alanının bir Unity Kataloğu meta deposuna ekli olduğu anlamına gelir.

Çalışma alanı bir meta veri deposuna nasıl eklenir? Hesaba ve çalışma alanına bağlıdır:

• Genellikle, bir bölgede ilk kez bir Azure Databricks çalışma alanı oluşturduğunuzda meta veri deposu otomatik olarak oluşturulur ve çalışma alanına eklenir.
• Bazı eski hesaplar için hesap yöneticisinin meta veri depoyu oluşturması ve bu bölgedeki çalışma alanlarını meta veri deposuna ataması gerekir. Yönergeler için bkz. Unity Kataloğu meta veri deposu oluşturma.
• Bir hesapta zaten bir bölge için atanmış bir meta veri deposu varsa, hesap yöneticisi meta veri deposunun bu bölgedeki tüm yeni çalışma alanlarına otomatik olarak eklenip eklenmeyeceğine karar verebilir. Bkz Yeni çalışma alanlarına otomatik olarak atanacak bir metastore'u etkinleştirme.

Çalışma alanınızın Unity Kataloğu için otomatik olarak etkinleştirilip etkinleştirilmediğine bakılmaksızın, Unity Kataloğu'nu kullanmaya başlamak için aşağıdaki adımlar da gereklidir:

• Tablolar ve birimler gibi veritabanı nesnelerini içerecek kataloglar ve şemalar oluşturun.
• Yönetilen tabloları ve birimleri bu kataloglarda ve şemalarda depolamak için yönetilen depolama konumları oluşturun.
• Kullanıcıya kataloglara, şemalara ve veritabanı nesnelerine erişim izni verin.

Unity Kataloğu için otomatik olarak etkinleştirilen çalışma alanları, tüm çalışma alanı kullanıcılarına verilen geniş ayrıcalıklara sahip bir çalışma alanı kataloğu sağlar. Bu katalog, Unity Kataloğu'nu denemek için kullanışlı bir başlangıç noktasıdır.

Ayrıntılı kurulum yönergeleri için bkz. Unity Kataloğu'nu kullanmaya başlama.

Mevcut çalışma alanını Unity Kataloğu'na yükseltme

Unity Kataloğu olmayan bir çalışma alanını Unity Kataloğu'na yükseltmeyi öğrenmek için bkz. Azure Databricks çalışma alanını Unity Kataloğu'na yükseltme.

Unity Kataloğu gereksinimleri ve kısıtlamaları

Unity Kataloğu, aşağıda açıklanan belirli işlem ve dosya biçimleri türlerini gerektirir. Ayrıca tüm Databricks Runtime sürümlerinde Unity Kataloğu'nda tam olarak desteklenmeyen bazı Azure Databricks özellikleri de aşağıda listelenmiştir.

Bölge desteği

Tüm bölgeler Unity Kataloğu'nu destekler. Ayrıntılar için bkz . Azure Databricks bölgeleri.

İşlem gereksinimleri

Unity Kataloğu, Databricks Runtime 11.3 LTS veya üzerini çalıştıran kümelerde desteklenir. Unity Kataloğu, tüm SQL ambarı işlem sürümlerinde varsayılan olarak desteklenir.

Databricks Runtime'ın önceki sürümlerinde çalışan kümeler, tüm Unity Kataloğu GA özellikleri ve işlevleri için destek sağlamaz.

Unity Kataloğu'ndaki verilere erişmek için kümelerin doğru erişim moduyla yapılandırılması gerekir. Unity Kataloğu varsayılan olarak güvenlidir. Bir küme standart veya ayrılmış erişim moduyla yapılandırılmamışsa, küme Unity Kataloğu'ndaki verilere erişemez. Bkz. Erişim modları.

Her Databricks Runtime sürümündeki Unity Kataloğu işlev değişiklikleri hakkında ayrıntılı bilgi için sürüm notlarına bakın.

Dosya biçimi desteği

Unity Kataloğu aşağıdaki tablo biçimlerini destekler:

• Yönetilen tablolar veya delta tablo biçimini kullanmalıdıriceberg.
• Dış tablolar , , delta, CSV, JSON, avro, parquetveya ORCkullanabilirtext.

Sınırlamalar

Unity Kataloğu aşağıdaki sınırlamalara sahiptir. Bunlardan bazıları eski Databricks Runtime sürümlerine ve işlem erişim modlarına özeldir.

Yapılandırılmış Akış iş yüklerinin Databricks Runtime ve erişim moduna bağlı olarak ek sınırlamaları vardır. Bkz. Standart işlem gereksinimleri ve sınırlamaları ile Ayrılmış işlem gereksinimleri ve sınırlamaları.

Databricks, bu listeyi düzenli aralıklarla daraltan yeni işlevler yayınlar.

• Daha önce bir çalışma alanında oluşturulmuş gruplar (çalışma alanı düzeyinde gruplar) Unity Kataloğu GRANT deyimlerinde kullanılamaz. Bu, çalışma alanlarına yayılabilir grupların tutarlı bir görünümünü sağlamaktır. Deyimlerdeki GRANT grupları kullanmak için gruplarınızı hesap düzeyinde oluşturun ve çalışma alanı uç noktaları yerine hesap uç noktalarına başvurmak üzere sorumlu veya grup yönetimi (SCIM, Okta ve Microsoft Entra ID bağlayıcıları ve Terraform gibi) için tüm otomasyonları güncelleştirin. Bkz. Grup kaynakları.

• R'deki iş yükleri, Databricks Runtime 15.3 ve üzerini çalıştıran işlemde satır düzeyi veya sütun düzeyi güvenlik için dinamik görünümlerin kullanımını desteklemez.

  • R'de dinamik görünümleri sorgulayan iş yükleri için Databricks Runtime 15.4 LTS veya üzerini çalıştıran ayrılmış bir işlem kaynağı kullanın. Bu tür iş yükleri sunucusuz işlem için etkinleştirilmiş bir çalışma alanı da gerektirir. Ayrıntılar için bkz. Ayrılmış işlemde ayrıntılı erişim denetimi.

• Yönetilen bir tablo, Databricks Runtime 13.3 LTS ve üzeri sürümlerde başka bir yönetilen tabloya yüzeysel olarak kopyalanabilir. Dış tablo Databricks Runtime 14.2 ve üzeri sürümlerde başka bir dış tabloya sığ kopyalanabilir. Yönetilen tablo dış tabloya sığ kopyalanamaz. Ayrıca, harici bir tablo, yönetilen bir tabloya yüzeysel olarak kopyalanamaz. Daha fazla bilgi için bkz Unity Kataloğu tabloları için sığ kopya.

• Unity Kataloğu tablolarında demetleme desteklenmez. Unity Kataloğu'nda kümelemiş tablo oluşturmaya çalışan komutları çalıştırırsanız, bir hata mesajı verir.

• Birden çok bölgede çalışma alanlarından aynı yola veya Delta Lake tablosuna yazmak, bazı kümeler Unity Katalog'a erişirken diğerleri erişmezse güvenilmez bir performansa yol açabilir.

• Gibi ALTER TABLE ADD PARTITION komutları kullanarak dış tablolar için bölümlerin düzenlenmesi için bölüm meta veri günlüğünün etkinleştirilmesi gerekir. Bkz Harici tablolar için bölüm keşfi.

• Delta biçiminde olmayan tablolar için üzerine yazma modunu kullanırken, kullanıcının üst şemada CREATE TABLE ayrıcalığına sahip olması ve var olan nesnenin sahibi olması veya nesnede MODIFY ayrıcalığına sahip olması gerekir.

• Python UDF'leri Databricks Runtime 12.2 LTS ve altında desteklenmez. Buna UDAF'ler, UDTF'ler ve Pandas Spark üzerinde (applyInPandas ve mapInPandas) dahildir. Python skaler UDF'leri Databricks Runtime 13.3 LTS ve üzerinde desteklenir.

• Scala UDF'leri, standart erişim moduyla işlemde Databricks Runtime 14.1 ve altında desteklenmez. Skaler UDF'ler, standart erişim moduyla işlemde Databricks Runtime 14.2 ve üzerinde desteklenir.

• Standart Scala iş parçacığı havuzları desteklenmez. Bunun yerine org.apache.spark.util.ThreadUtils'deki özel iş parçacığı havuzlarını kullanın, örneğin org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Ancak ThreadUtils içindeki aşağıdaki iş parçacığı havuzları desteklenmez: ThreadUtils.newForkJoinPool ve herhangi bir ScheduledExecutorService iş parçacığı havuzu.

• Azure tanılama günlükleri yalnızca Unity Kataloğu olaylarını çalışma alanı düzeyinde günlüğe kaydeder. Hesap düzeyinde eylemleri görüntülemek için denetim günlüğü sistem tablosunu kullanmanız gerekir. bkz. Denetim günlüğü sistem tablosuna.

Unity Kataloğu'nda kayıtlı modellerin ek sınırlamaları vardır. Bkz. Sınırlamalar.

Kaynak kotaları

Unity Kataloğu, tüm güvenliği sağlanabilir nesnelerde kaynak kotalarını zorunlu kılar. Bu kotalar Kaynak sınırları'nda listelenir. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Unity Kataloğu kaynak kotaları API'lerini kullanarak kota kullanımınızı izleyebilirsiniz. Bakınız Unity Kataloğu kaynak kotalarınızı kullanımınızı izleme.

Ek kaynaklar

• Azure Databricks ile veri idaresi
• Azure Databricks çalışma alanını Unity Kataloğu'na yükseltme
• Unity Catalog en iyi uygulamalar