Co je katalog Unity?

Tento článek představuje katalog Unity, jednotné řešení zásad správného řízení pro data a prostředky AI v datovém jezeře Databricks.

Přehled katalogu Unity

Katalog Unity poskytuje centralizované možnosti řízení přístupu, auditování, rodokmenu a zjišťování dat v pracovních prostorech Azure Databricks.

Mezi klíčové funkce katalogu Unity patří:

• Definovat jednou a bezpečně všude: Katalog Unity nabízí jedno místo pro správu zásad přístupu k datům, které platí pro všechny pracovní prostory.
• Model zabezpečení kompatibilní se standardy: Model zabezpečení katalogu Unity je založený na standardu ANSI SQL a umožňuje správcům udělit oprávnění ve stávajícím datovém jezeře pomocí známé syntaxe na úrovni katalogů, databází (označovaných také jako schémata), tabulek a zobrazení.
• Integrované auditování a rodokmen: Katalog Unity automaticky zaznamenává protokoly auditu na úrovni uživatele, které zaznamenávají přístup k vašim datům. Unity Catalog také zaznamenává data rodokmenu, která sledují způsob vytváření a používání datových prostředků ve všech jazycích.
• Zjišťování dat: Katalog Unity umožňuje označit a dokumentovat datové prostředky a poskytuje vyhledávací rozhraní, které uživatelům dat pomůže najít data.
• Systémové tabulky (Public Preview):: Katalog Unity umožňuje snadný přístup k provozním datům vašeho účtu a dotazování se na ně, včetně protokolů auditu, fakturovatelného využití a rodokmenu.

Jak katalog Unity řídí přístup k datům a prostředkům AI v cloudovém úložišti objektů?

Databricks doporučuje nakonfigurovat veškerý přístup ke cloudovému úložišti objektů pomocí katalogu Unity. Viz Připojení do cloudového úložiště objektů pomocí katalogu Unity.

Katalog Unity představuje následující koncepty pro správu vztahů mezi daty v Azure Databricks a cloudovým úložištěm objektů:

• Přihlašovací údaje úložiště zapouzdřují dlouhodobé přihlašovací údaje cloudu, které poskytují přístup ke cloudovému úložišti. Například spravovaná identita Azure, která má přístup ke kontejneru Azure Data Lake Storage Gen2 nebo tokenu rozhraní API Cloudflare R2. Viz Vytvoření přihlašovacích údajů úložiště pro připojení k Azure Data Lake Storage Gen2 a vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2.
• Externí umístění obsahují odkaz na přihlašovací údaje úložiště a cestu cloudového úložiště. Viz Vytvoření externího umístění pro připojení cloudového úložiště k Azure Databricks.
• Spravovaná umístění úložiště přidružují umístění úložiště v kontejneru Azure Data Lake Storage Gen2 nebo kontejneru Cloudflare R2 ve vašem vlastním účtu cloudového úložiště s metastorem, katalogem nebo schématem. Spravovaná umístění úložiště se používají jako výchozí umístění úložiště pro spravované tabulky a spravované svazky. Viz Určení spravovaného umístění úložiště v katalogu Unity.
• Svazky poskytují přístup k tabulkovým datům uloženým v cloudovém úložišti objektů. Viz Vytvoření svazků a práce se svazky.
• Tabulky poskytují přístup k tabulkovým datům uloženým v cloudovém úložišti objektů.

Poznámka:

Lakehouse Federation poskytuje integraci s daty v jiných externích systémech. Tyto objekty nejsou zálohovány cloudovým úložištěm objektů.

Objektový model Katalogu Unity

V katalogu Unity hierarchie primárních datových objektů proudí z metastoru do tabulky nebo svazku:

• Metastore: Kontejner nejvyšší úrovně pro metadata. Každý metastor zveřejňuje tříúrovňový obor názvů (catalog.schema.table), který uspořádá vaše data.
• Katalog: První vrstva hierarchie objektů, která slouží k uspořádání datových prostředků.
• Schéma: Také známé jako databáze, schémata jsou druhou vrstvou hierarchie objektů a obsahují tabulky a zobrazení.
• Tabulky, zobrazení a svazky: Na nejnižší úrovni hierarchie datových objektů jsou tabulky, zobrazení a svazky. Svazky poskytují zásady správného řízení pro ne tabulková data.
• Modely: I když nejsou, přísně řečeno, datové prostředky, registrované modely lze také spravovat v katalogu Unity a nacházejí se na nejnižší úrovni v hierarchii objektů.

Toto je zjednodušené zobrazení zabezpečitelných objektů katalogu Unity. Další podrobnosti najdete v tématu Zabezpečitelné objekty v katalogu Unity.

Na všechna data v katalogu Unity odkazujete pomocí tříúrovňového oboru názvů: catalog.schema.asset, kde asset může být tabulka, zobrazení, svazek nebo model.

Metastory

Metastore je kontejner objektů nejvyšší úrovně v katalogu Unity. Zaregistruje metadata o datech a prostředcích AI a oprávněních, která k nim řídí přístup. Správci účtu Azure Databricks by měli vytvořit jeden metastor pro každou oblast, ve které pracují, a přiřadit je k pracovním prostorům Azure Databricks ve stejné oblasti. Aby mohl pracovní prostor používat katalog Unity, musí mít připojený metastore katalogu Unity.

Metastore můžete volitelně nakonfigurovat se spravovaným umístěním úložiště v kontejneru Azure Data Lake Storage Gen2 nebo kontejneru Cloudflare R2 ve vašem vlastním účtu cloudového úložiště. Viz Spravované úložiště.

Poznámka:

Tento metastor se liší od metastoru Hive zahrnutého v pracovních prostorech Azure Databricks, které nejsou povolené pro katalog Unity. Pokud váš pracovní prostor obsahuje starší metastore Hive, budou data v daném metastoru stále k dispozici společně s daty definovanými v katalogu Unity v katalogu s názvem hive_metastore. Všimněte si, že hive_metastore katalog není spravován katalogem Unity a nemá prospěch ze stejné sady funkcí jako katalogy definované v katalogu Unity.

Viz Vytvoření metastoru katalogu Unity.

Katalogy

Katalog je první vrstva tříúrovňového oboru názvů katalogu Unity. Slouží k uspořádání datových prostředků. Uživatelé můžou zobrazit všechny katalogy, ke kterým jim bylo přiřazeno USE CATALOGoprávnění k datům.

V závislosti na tom, jak byl váš pracovní prostor vytvořen a povolený pro katalog Unity, můžou mít uživatelé výchozí oprávnění k automaticky zřízeným katalogům, včetně main katalogu nebo katalogu pracovních prostorů (<workspace-name>). Další informace najdete v tématu Výchozí uživatelská oprávnění.

Viz Vytváření a správa katalogů.

Schémata

Schéma (označované také jako databáze) je druhá vrstva tříúrovňového oboru názvů katalogu Unity. Schéma uspořádá tabulky a zobrazení. Uživatelé můžou zobrazit všechna schémata, ke kterým mají přiřazená USE SCHEMA oprávnění, spolu s oprávněním USE CATALOG nadřazeného katalogu schématu. Pokud chcete získat přístup k tabulce nebo zobrazení ve schématu, musí mít SELECT uživatelé také oprávnění k tabulce nebo zobrazení.

Pokud byl váš pracovní prostor pro katalog Unity povolen ručně, obsahuje výchozí schéma pojmenované default v main katalogu, které je přístupné všem uživatelům ve vašem pracovním prostoru. Pokud byl váš pracovní prostor povolený pro katalog Unity automaticky a obsahuje <workspace-name> katalog, obsahuje tento katalog schéma default , které je přístupné všem uživatelům ve vašem pracovním prostoru.

Viz Vytváření a správa schémat (databází).

Tabulky

Tabulka se nachází ve třetí vrstvě tříúrovňového oboru názvů katalogu Unity. Obsahuje řádky dat. Aby uživatelé mohli vytvořit tabulku, musí mít CREATE ke schématu oprávnění a USE SCHEMA musí mít USE CATALOG oprávnění pro nadřazený katalog. Pokud chcete zadat dotaz na tabulku, musí mít SELECT uživatelé oprávnění k tabulce, USE SCHEMA oprávnění nadřazeného schématu a USE CATALOG oprávnění nadřazeného katalogu.

Tabulku je možné spravovat nebo externí.

Spravované tabulky

Spravované tabulky představují výchozí způsob vytváření tabulek v katalogu Unity. Katalog Unity spravuje životní cyklus a rozložení souborů pro tyto tabulky. K přímé manipulaci se soubory v těchto tabulkách byste neměli používat nástroje mimo Azure Databricks. Spravované tabulky vždy používají formát tabulky Delta .

U pracovních prostorů, které byly povoleny pro Katalog Unity ručně, jsou spravované tabulky uloženy v kořenovém úložišti, které nakonfigurujete při vytváření metastoru. Volitelně můžete určit umístění úložiště spravovaných tabulek na úrovni katalogu nebo schématu, které přepisují umístění kořenového úložiště.

U pracovních prostorů, které byly povoleny pro Katalog Unity automaticky, je umístění kořenového úložiště metastoru volitelné a spravované tabulky se obvykle ukládají na úrovni katalogu nebo schématu.

Když dojde k vyřazení spravované tabulky, její podkladová data se ze svého cloudového tenanta odstraní do 30 dnů.

Viz Spravované tabulky.

Externí tabulky

Externí tabulky jsou tabulky, jejichž životní cyklus dat a rozložení souborů nespravuje katalog Unity. Pomocí externích tabulek zaregistrujte velké objemy existujících dat v katalogu Unity nebo pokud potřebujete přímý přístup k datům pomocí nástrojů mimo clustery Azure Databricks nebo služby Databricks SQL Warehouse.

Když odstraníte externí tabulku, katalog Unity neodstraní podkladová data. Oprávnění k externím tabulkám můžete spravovat a používat je v dotazech stejným způsobem jako spravované tabulky.

Externí tabulky můžou používat následující formáty souborů:

• DELTA
• CSV
• JSON
• AVRO
• PARKETOVÉ
• ORC
• TEXT

Viz Externí tabulky.

Zobrazení

Zobrazení je objekt jen pro čtení vytvořený z jedné nebo více tabulek a zobrazení v metastoru. Nachází se ve třetí vrstvě tříúrovňového oboru názvů katalogu Unity. Zobrazení lze vytvořit z tabulek a dalších zobrazení ve více schématech a katalogech. Pokud chcete povolit oprávnění na úrovni řádků a sloupců, můžete vytvořit dynamická zobrazení .

Viz Vytvoření dynamického zobrazení.

Svazky

Svazek se nachází ve třetí vrstvě tříúrovňového oboru názvů katalogu Unity. Svazky jsou na stejné úrovni jako tabulky, zobrazení a další objekty uspořádané do schématu v katalogu Unity.

Svazky obsahují adresáře a soubory pro data uložená v libovolném formátu. Svazky poskytují ne tabulkový přístup k datům, což znamená, že soubory ve svazcích nelze zaregistrovat jako tabulky.

• Aby uživatelé mohli vytvořit svazek, musí mít CREATE VOLUME ke schématu oprávnění a USE SCHEMA musí mít USE CATALOG oprávnění pro nadřazený katalog.
• Aby uživatelé mohli číst soubory a adresáře uložené ve svazku, musí mít READ VOLUME oprávnění, USE SCHEMA oprávnění k nadřazeným schématu a USE CATALOG oprávnění nadřazeného katalogu.
• Aby uživatelé mohli přidávat, odebírat nebo upravovat soubory a adresáře uložené ve svazku, musí mít WRITE VOLUME oprávnění, USE SCHEMA oprávnění nadřazeného schématu a USE CATALOG oprávnění nadřazeného katalogu.

Svazek je možné spravovat nebo externí.

Poznámka:

Při definování svazku se přístup ke cloudovým identifikátorům URI k datům v cestě ke svazku řídí oprávněními svazku.

Spravované svazky

Spravované svazky představují praktické řešení, když chcete zřídit spravované umístění pro práci s ne tabulkovými soubory.

Spravované svazky ukládají soubory do výchozího umístění úložiště katalogu Unity pro schéma, ve kterém jsou obsaženy. U pracovních prostorů, které byly povoleny pro Katalog Unity ručně, se spravované svazky ukládají do kořenového úložiště, které nakonfigurujete při vytváření metastoru. Volitelně můžete určit umístění spravovaného úložiště svazků na úrovni katalogu nebo schématu a přepíšete umístění kořenového úložiště. U pracovních prostorů, které byly povoleny pro Katalog Unity automaticky, je umístění kořenového úložiště metastoru volitelné a spravované svazky se obvykle ukládají na úrovni katalogu nebo schématu.

Následující priorita určuje, které umístění se používá pro spravovaný svazek:

• Umístění schématu
• Umístění katalogu
• Umístění kořenového úložiště metastoru katalogu Unity

Když odstraníte spravovaný svazek, soubory uložené v tomto svazku se také odstraní z cloudového tenanta do 30 dnů.

Podívejte se, co je spravovaný svazek?

Externí svazky

Externí svazek je zaregistrovaný v externím umístění katalogu Unity a poskytuje přístup k existujícím souborům v cloudovém úložišti bez nutnosti migrace dat. Aby uživatelé mohli vytvořit externí svazek, musí mít CREATE EXTERNAL VOLUME oprávnění k externímu umístění.

Externí svazky podporují scénáře, kdy se soubory vytvářejí jinými systémy a připravené pro přístup z Azure Databricks pomocí úložiště objektů nebo kde nástroje mimo Azure Databricks vyžadují přímý přístup k souborům.

Katalog Unity nespravuje životní cyklus a rozložení souborů v externích svazcích. Když odstraníte externí svazek, katalog Unity neodstraní podkladová data.

Podívejte se, co je externí svazek?

Modely

Model se nachází ve třetí vrstvě tříúrovňového oboru názvů katalogu Unity. V tomto kontextu "model" odkazuje na model strojového učení, který je zaregistrovaný v registru modelů MLflow. Pokud chcete vytvořit model v katalogu Unity, musí mít CREATE MODEL uživatelé oprávnění pro katalog nebo schéma. Uživatel musí mít USE CATALOG také oprávnění pro nadřazený katalog a USE SCHEMA nadřazené schéma.

Spravované úložiště

Spravované tabulky a spravované svazky můžete ukládat na kterékoli z těchto úrovní v hierarchii objektů katalogu Unity: metastor, katalog nebo schéma. Úložiště na nižších úrovních v hierarchii přepisuje úložiště definované na vyšších úrovních.

Když správce účtu vytvoří metastore ručně, bude mít možnost přiřadit umístění úložiště v kontejneru Azure Data Lake Storage Gen2 nebo kontejneru Cloudflare R2 ve vašem vlastním účtu cloudového úložiště, které se použije jako úložiště na úrovni metastoru pro spravované tabulky a svazky. Pokud je přiřazené umístění spravovaného úložiště na úrovni metastoru, jsou spravovaná umístění úložiště na úrovni katalogu a schématu volitelné. To znamená, že úložiště na úrovni metastoru je volitelné a Databricks doporučuje přiřadit spravované úložiště na úrovni katalogu pro logickou izolaci dat. Viz zásady správného řízení dat a stavební bloky izolace dat.

Důležité

Pokud byl váš pracovní prostor pro katalog Unity povolen automaticky, metastore katalogu Unity se vytvořil bez spravovaného úložiště na úrovni metastoru. Můžete se rozhodnout přidat úložiště na úrovni metastoru, ale Databricks doporučuje přiřazovat spravované úložiště na úrovni katalogu a schématu. Pomoc s rozhodováním, jestli potřebujete úložiště na úrovni metastoru, najdete v tématu (Volitelné) Vytvoření úložiště na úrovni metastoru a fyzicky oddělená data v úložišti.

Spravované úložiště má následující vlastnosti:

• Spravované tabulky a spravované svazky ukládají data a soubory metadat ve spravovaném úložišti.
• Spravovaná umístění úložiště se nesmí překrývat s externími tabulkami nebo externími svazky.

Následující tabulka popisuje, jak se spravované úložiště deklaruje a přidružuje k objektům katalogu Unity:

Přidružený objekt katalogu Unity	Jak nastavit	Vztah k externím umístěním
Metastore	Pokud se při vytváření metastoru nezadá žádné úložiště, nakonfiguroval správce účtu během vytváření metastoru nebo ho přidal.	Externí umístění nelze překrývat.
Katalog	Zadané při vytváření katalogu pomocí klíčového MANAGED LOCATION slova.	Musí být obsažen v externím umístění.
Schéma	Zadané při vytváření schématu pomocí klíčového MANAGED LOCATION slova.	Musí být obsažen v externím umístění.

Spravované umístění úložiště použité k ukládání dat a metadat pro spravované tabulky a spravované svazky používá následující pravidla:

• Pokud obsahuje schéma spravované umístění, data se ukládají do umístění spravovaného schématem.
• Pokud obsahující schéma nemá spravované umístění, ale katalog má spravované umístění, data se ukládají do spravovaného umístění katalogu.
• Pokud žádné obsahující schéma ani katalog obsahující nemají spravované umístění, data se ukládají do spravovaného umístění metastoru.

Přihlašovací údaje úložiště a externí umístění

Ke správě přístupu k podkladovému cloudovému úložišti pro externí tabulky, externí svazky a spravované úložiště používá Katalog Unity následující typy objektů:

• Přihlašovací údaje úložiště zapouzdřují dlouhodobé přihlašovací údaje cloudu, které poskytují přístup ke cloudovému úložišti, například spravovanou identitu Azure, která má přístup ke kontejneru Azure Data Lake Storage Gen2 nebo tokenu rozhraní API Cloudflare R2. Viz Vytvoření přihlašovacích údajů úložiště pro připojení k Azure Data Lake Storage Gen2 a vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2.
• Externí umístění obsahují odkaz na přihlašovací údaje úložiště a cestu cloudového úložiště.

Viz Připojení do cloudového úložiště objektů pomocí katalogu Unity.

Správa identit pro katalog Unity

Služba Unity Catalog používá identity v účtu Azure Databricks k řešení uživatelů, instančních objektů a skupin a k vynucení oprávnění.

Pokud chcete nakonfigurovat identity v účtu, postupujte podle pokynů v tématu Správa uživatelů, instančních objektů a skupin. Při vytváření zásad řízení přístupu v katalogu Unity se podívejte na tyto uživatele, instanční objekty a skupiny.

Uživatelé katalogu Unity, instanční objekty a skupiny musí být také přidáni do pracovních prostorů pro přístup k datům katalogu Unity v poznámkovém bloku, dotazu Sql Databricks, Průzkumníku katalogu nebo příkazu ROZHRANÍ REST API. Přiřazení uživatelů, instančních objektů a skupin do pracovních prostorů se nazývá federace identit.

Všechny pracovní prostory s připojeným metastorem katalogu Unity jsou povolené pro federaci identit.

Zvláštní aspekty pro skupiny

Všechny skupiny, které už v pracovním prostoru existují, jsou v konzole účtu označené jako Místní pracovní prostor. Tyto místní skupiny pracovního prostoru nelze použít v katalogu Unity k definování zásad přístupu. Musíte použít skupiny na úrovni účtu. Pokud je v příkazu odkazovaná místní skupina pracovního prostoru, vrátí tento příkaz chybu, že skupina nebyla nalezena. Pokud jste dříve použili místní skupiny pracovního prostoru ke správě přístupu k poznámkovým blokům a dalším artefaktům, zůstanou tato oprávnění platná.

Viz Správa skupin.

role Správa pro katalog Unity

Správci účtů, správci metastoru a správci pracovních prostorů se podílejí na správě katalogu Unity:

Viz oprávnění Správa v katalogu Unity.

Oprávnění k datům v katalogu Unity

Data v katalogu Unity jsou ve výchozím nastavení zabezpečená. Uživatelé zpočátku nemají přístup k datům v metastoru. Přístup může udělit správce metastoru, vlastník objektu nebo vlastník katalogu nebo schématu, které objekt obsahuje. Zabezpečitelné objekty v katalogu Unity jsou hierarchické a oprávnění se dědí dolů.

Oprávnění můžete přiřadit a odvolat pomocí Průzkumníka katalogu, příkazů SQL nebo rozhraní REST API.

Viz Správa oprávnění v katalogu Unity.

Podporované režimy přístupu k výpočetním prostředkům a clusterům pro Katalog Unity

Katalog Unity je podporován v clusterech, na kterých běží Databricks Runtime 11.3 LTS nebo vyšší. Katalog Unity se ve výchozím nastavení podporuje ve všech výpočetních verzích SQL Warehouse .

Clustery spuštěné v dřívějších verzích databricks Runtime neposkytují podporu pro všechny funkce a funkce ga katalogu Unity.

Aby bylo možné získat přístup k datům v katalogu Unity, musí být clustery nakonfigurované se správným režimem přístupu. Katalog Unity je ve výchozím nastavení zabezpečený. Pokud cluster není nakonfigurovaný s jedním z režimů přístupu podporujících Unity-Catalog (tj. sdílený nebo přiřazený), cluster nemůže získat přístup k datům v katalogu Unity. Viz režimy Accessu.

Podrobné informace o změnách funkcí katalogu Unity v jednotlivých verzích modulu Databricks Runtime najdete v poznámkách k verzi.

Omezení katalogu Unity se liší podle režimu přístupu a verze Databricks Runtime. Podívejte se na omezení režimu výpočetního přístupu pro katalog Unity.

Rodokmen dat pro katalog Unity

Katalog Unity můžete použít k zachycení rodokmenu dat modulu runtime napříč dotazy v libovolném jazyce spuštěného v clusteru Azure Databricks nebo SQL Warehouse. Rodokmen je zachycený na úrovni sloupce a zahrnuje poznámkové bloky, pracovní postupy a řídicí panely související s dotazem. Další informace najdete v tématu Zachycení a zobrazení rodokmenu dat pomocí katalogu Unity.

Lakehouse Federation a Unity Catalog

Lakehouse Federation je platforma federace dotazů pro Azure Databricks. Federace dotazů termínů popisuje kolekci funkcí, které uživatelům a systémům umožňují spouštět dotazy na více vyloděných zdrojů dat, aniž by bylo nutné migrovat všechna data do sjednoceného systému.

Azure Databricks ke správě federace dotazů používá katalog Unity. Katalog Unity slouží ke konfiguraci připojení jen pro čtení k oblíbeným externím databázovým systémům a vytváření cizích katalogů, které zrcadlí externí databáze. Nástroje pro zásady správného řízení dat a rodokmen dat v Unity zajišťují, že přístup k datům je spravovaný a auditovaný pro všechny federované dotazy provedené uživateli v pracovních prostorech Azure Databricks.

Podívejte se , co je Federace Lakehouse.

Návody nastavit katalog Unity pro moji organizaci?

Informace o nastavení katalogu Unity najdete v tématu Nastavení a správa katalogu Unity.

Podporované oblasti

Všechny oblasti podporují katalog Unity. Podrobnosti najdete v oblastech Azure Databricks.

Podporované formáty datových souborů

Katalog Unity podporuje následující formáty tabulek:

• Spravované tabulky musí používat delta formát tabulky.
• Externí tabulky mohou používat delta, , CSV, avroJSONparquet, , , ORC, nebo .text

Omezení katalogu Unity

Katalog Unity má následující omezení.

Poznámka:

Pokud je váš cluster spuštěný ve verzi Databricks Runtime nižší než 11.3 LTS, můžou existovat další omezení, která tady nejsou uvedená. Katalog Unity se podporuje ve službě Databricks Runtime 11.3 LTS nebo vyšší.

Omezení katalogu Unity se liší podle databricks Runtime a režimu přístupu. Úlohy strukturovaného streamování mají další omezení na základě databricks Runtime a režimu přístupu. Podívejte se na omezení režimu výpočetního přístupu pro katalog Unity.

• Úlohy v jazyce R nepodporují použití dynamických zobrazení pro zabezpečení na úrovni řádků nebo sloupců.

• Ve službě Databricks Runtime 13.3 LTS a novějších jsou klony s mělkými podporou vytváření spravovaných tabulek Katalogu Unity z existujících spravovaných tabulek Služby Unity. V Databricks Runtime 12.2 LTS a níže neexistuje žádná podpora pro mělké klony v katalogu Unity. Viz "Mělké klonování" pro tabulky katalogu Unity.

• Kontejnery nejsou podporovány pro tabulky katalogu Unity. Pokud spustíte příkazy, které se pokusí vytvořit tabulku v katalogu Unity, vyvolá výjimku.

• Zápis do stejné cesty nebo tabulky Delta Lake z pracovních prostorů ve více oblastech může vést k nespolehlivému výkonu, pokud některé clustery přistupují ke katalogu Unity a jiné ne.

• Vlastní schémata oddílů vytvořená pomocí příkazů, jako ALTER TABLE ADD PARTITION jsou, nejsou podporována pro tabulky v katalogu Unity. Katalog Unity má přístup k tabulkám, které používají dělení ve stylu adresáře.

• Režim přepsání operací zápisu do objektu DataFrame do katalogu Unity je podporován pouze pro tabulky Delta, ne pro jiné formáty souborů. Uživatel musí mít CREATE oprávnění pro nadřazené schéma a musí být vlastníkem existujícího objektu nebo mít MODIFY oprávnění k objektu.

• Ve službě Databricks Runtime 13.3 LTS a vyšší jsou podporované skalární funkce definované uživatelem Pythonu. V Databricks Runtime 12.2 LTS a níže nemůžete použít definované uživatelem Pythonu, včetně UDAF, UDF a Pandas ve Sparku (applyInPandas a mapInPandas).

• Ve službě Databricks Runtime 14.2 a novějších jsou skalární uživatelem definované funkce Scala podporovány ve sdílených clusterech. V Databricks Runtime 14.1 a níže nejsou ve sdílených clusterech podporované všechny funkce definované uživatelem Scala.

• Skupiny, které byly dříve vytvořeny v pracovním prostoru (tj. skupinách na úrovni pracovního prostoru), nelze použít v příkazech GRANT katalogu Unity. Tím zajistíte konzistentní zobrazení skupin, které můžou překlenovat mezi pracovními prostory. Pokud chcete použít skupiny v příkazech GRANT, vytvořte skupiny na úrovni účtu a aktualizujte všechny automatizace pro správu objektů zabezpečení nebo skupin (například konektory SCIM, Okta a Microsoft Entra ID (dříve Azure Active Directory) a Terraform pro odkazování na koncové body účtu místo koncových bodů pracovního prostoru. Podívejte se na rozdíl mezi skupinami účtů a místními skupinami pracovního prostoru.

• Standardní fondy vláken Scala se nepodporují. Místo toho použijte speciální fondy vláken například org.apache.spark.util.ThreadUtilsorg.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Následující fondy ThreadUtils vláken však nejsou podporovány: ThreadUtils.newForkJoinPool a žádný ScheduledExecutorService fond vláken.

• Protokolování auditu je podporováno pouze pro události katalogu Unity na úrovni pracovního prostoru. Události, které probíhají na úrovni účtu bez odkazu na pracovní prostor, jako je například vytvoření metastoru, se nezaprotokolují.

Pro všechny názvy objektů v katalogu Unity platí následující omezení:

• Názvy objektů nesmí překročit 255 znaků.
• Následující speciální znaky nejsou povoleny:
  • Období (.)
  • Mezera ( )
  • Lomítko (/)
  • Všechny řídicí znaky ASCII (šestnáctkové 00–1F)
  • Znak DELETE (šestnáctkový 7F)
• Katalog Unity ukládá všechny názvy objektů malými písmeny.
• Při odkazování na názvy UC v SQL je nutné použít backticks k řídicím názvům, které obsahují speciální znaky, jako jsou spojovníky (-).

Poznámka:

Názvy sloupců můžou používat speciální znaky, ale pokud se použijí speciální znaky, musí být název uchycený pomocí zpětných znamétek ve všech příkazech SQL. Katalog Unity zachovává velikost písmen názvů sloupců, ale dotazy na tabulky katalogu Unity nerozlišují malá a velká písmena.

Pro modely v katalogu Unity existují další omezení. Viz Omezení podpory katalogu Unity.

Kvóty prostředků

Katalog Unity vynucuje kvóty prostředků pro všechny zabezpečitelné objekty. Omezení respektují stejnou hierarchickou organizaci v rámci celého katalogu Unity. Pokud očekáváte překročení těchto limitů prostředků, obraťte se na svůj tým účtů Azure Databricks.

Níže uvedené hodnoty kvóty jsou vyjádřeny vzhledem k nadřazenému objektu (nebo objektu nadřazenému tomuto objektu) v katalogu Unity.

Object	Parent	Hodnota
table	schema	10000
table	metastore	100000
volume	schema	10000
function	schema	10000
registrovaný model	schema	1000
registrovaný model	metastore	5000
verze modelu	registrovaný model	10000
verze modelu	metastore	100000
schema	katalog	10000
katalog	metastore	1000
připojení	metastore	1000
přihlašovací údaje	metastore	200
externí umístění	metastore	500

Informace o limitech rozdílového sdílení najdete v tématu Kvóty prostředků.