Nastavení a správa katalogu Unity

  • Článek

Tento článek vysvětluje, jak nakonfigurovat a používat Katalog Unity ke správě dat v pracovním prostoru Azure Databricks. Je určen především pro správce pracovních prostorů, kteří používají katalog Unity poprvé.

Na konci tohoto článku budete mít:

  • Pracovní prostor, který je povolený pro katalog Unity.
  • Výpočetní prostředky, které mají přístup ke katalogu Unity.
  • Uživatelé s oprávněním pro přístup k objektům a vytváření objektů v katalogu Unity.

Můžete si také projít další úvodní články:

Poznámka:

Pokud chcete upgradovat existující pracovní prostor mimo Unity-Catalog na Katalog Unity, můžete využít UCX, projekt Databricks Labs, který poskytuje sadu pracovních postupů a nástrojů pro upgrade identit, oprávnění a tabulek na Katalog Unity. Viz Použití nástrojů UCX k upgradu pracovního prostoru na Katalog Unity.

Přehled povolení katalogu Unity

Pokud chcete použít katalog Unity, musí být pro Katalog Unity povolené pracovní prostory Azure Databricks, což znamená, že pracovní prostory jsou připojené k metastoru katalogu Unity, kontejneru nejvyšší úrovně pro metadata katalogu Unity.

Způsob, jakým správci nastavují katalog Unity, závisí na tom, jestli byl pracovní prostor automaticky povolený pro katalog Unity, nebo vyžaduje ruční povolení.

Automatické povolení katalogu Unity

Databricks začala automaticky povolovat nové pracovní prostory pro Katalog Unity 9. listopadu 2023 s postupným zaváděním napříč účty. Povolené pracovní prostory mají automaticky následující vlastnosti:

  • Automaticky zřízený metastor katalogu Unity (pokud metastor katalogu Unity již pro oblast pracovního prostoru neexistoval).

  • Výchozí oprávnění pro správce pracovního prostoru, například možnost vytvořit katalog nebo připojení k externí databázi.

  • Žádný správce metastoru (pokud se nepoužil existující metastore katalogu Unity a správce metastoru už byl přiřazený).

  • Žádné úložiště na úrovni metastoru pro spravované tabulky a spravované svazky (pokud nebyl použit existující metastore katalogu Unity s úložištěm na úrovni metastoru).

  • Katalog pracovních prostorů, který je původně zřízený, má název po vašem pracovním prostoru.

    Všichni uživatelé ve vašem pracovním prostoru mohou vytvářet prostředky ve schématu default v tomto katalogu. Ve výchozím nastavení je tento katalog svázán s vaším pracovním prostorem, což znamená, že k němu lze přistupovat pouze prostřednictvím vašeho pracovního prostoru. Automatické zřizování katalogu pracovních prostorů při vytváření pracovního prostoru se postupně zavádí napříč účty.

Tyto výchozí konfigurace budou fungovat dobře pro většinu pracovních prostorů, ale všechny je může upravit správce pracovního prostoru nebo správce účtu. Správce účtu může například přiřadit správce metastoru a vytvořit úložiště na úrovni metastoru a správce pracovního prostoru může změnit název a přístup katalogu pracovních prostorů.

Co když můj pracovní prostor nebyl pro katalog Unity povolen automaticky?

Pokud váš pracovní prostor nebyl pro katalog Unity aktivován automaticky, musí správce účtu nebo správce metastoru pracovní prostor ručně připojit k metastoru katalogu Unity ve stejné oblasti. Pokud v dané oblasti neexistuje metastore katalogu Unity, musí ho vytvořit správce účtu. Pokyny najdete v tématu Vytvoření metastoru katalogu Unity.

Návody vědět, jestli byl můj pracovní prostor povolený pro katalog Unity?

Pokud chcete ověřit, jestli je pro katalog Unity povolený váš pracovní prostor, požádejte správce pracovního prostoru Azure Databricks nebo správce účtu, aby vás zkontroloval. Viz také krok 1: Potvrzení, že je váš pracovní prostor povolený pro katalog Unity.

Návody vědět, jestli můj pracovní prostor obsahuje katalog pracovních prostorů?

Některé nové pracovní prostory mají katalog pracovních prostorů, který je při původním zřízení pojmenován po vašem pracovním prostoru. Pokud chcete zjistit, jestli má váš pracovní prostor jeden, kliknutím na Ikona kataloguKatalog na bočním panelu otevřete Průzkumníka katalogu a vyhledejte katalog, který jako název katalogu používá název vašeho pracovního prostoru.

Poznámka:

Katalog pracovních prostorů je podobný jakémukoli jinému katalogu v katalogu Unity: správce pracovního prostoru může změnit jeho název, změnit jeho vlastnictví nebo ho dokonce odstranit. Nicméně hned po vytvoření pracovního prostoru nese název pracovního prostoru.

Než začnete

Než začnete s úlohami popsanými v tomto článku, měli byste se seznámit se základními koncepty katalogu Unity, včetně metastorů, rolí správců a spravovaného úložiště. Viz téma Co je katalog Unity?.

Měli byste také potvrdit, že splňujete následující požadavky:

  • Pracovní prostor Azure Databricks v plánu Premium

  • Následující role a oprávnění, která závisí na stavu vašeho pracovního prostoru:

    • Správce pracovního prostoru: Pokud byl váš pracovní prostor při vytváření automaticky povolen pro katalog Unity, musíte být správcem pracovního prostoru, abyste mohli dokončit požadované úkoly.

    • Správce účtu: Pokud váš pracovní prostor ještě není pro katalog Unity povolený, musí správce účtu pracovní prostor připojit k metastoru.

      Pokud není ve stejné oblasti jako pracovní prostor žádný metastore katalogu Unity, musí správce účtu také vytvořit metastore katalogu Unity.

      Pokyny k určení, jestli existuje metastor pro vaši oblast pracovního prostoru, spolu s pokyny k vytvoření metastoru, postupujte podle pokynů v tomto článku.

    Viz Správa oprávnění v katalogu Unity a automatické povolení katalogu Unity.

Krok 1: Potvrzení, že je váš pracovní prostor povolený pro katalog Unity

V tomto kroku určíte, jestli je váš pracovní prostor již povolený pro katalog Unity, kde je povolení definováno jako metastore katalogu Unity připojené k pracovnímu prostoru. Pokud pro katalog Unity není povolený váš pracovní prostor, musíte pracovní prostor pro Katalog Unity povolit ručně. Další kroky najdete v případě, že pro katalog Unity není povolený váš pracovní prostor.

Pokud to chcete potvrdit, udělejte jednu z následujících věcí.

Ověření povolení katalogu Unity pomocí konzoly účtu

  1. Jako správce účtu Azure Databricks se přihlaste ke konzole účtu.
  2. Klikněte na Ikona Pracovních prostorůPracovní prostory.
  3. Vyhledejte pracovní prostor a zkontrolujte sloupec Metastore . Pokud existuje název metastoru, je váš pracovní prostor připojený k metastoru katalogu Unity a proto je povolený pro katalog Unity.

Spuštěním dotazu SQL potvrďte povolení katalogu Unity.

V editoru dotazů SQL nebo poznámkovém bloku připojeném ke clusteru, který používá sdílený nebo uživatelský režim přístupu, spusťte následující dotaz SQL. Viz režimy Accessu. Nevyžaduje se žádná role správce.

SELECT CURRENT_METASTORE();

Pokud dotaz vrátí ID metastoru podobné následujícímu, pak je váš pracovní prostor připojený k metastoru katalogu Unity, a proto je povolený pro katalog Unity.

Aktuální výstup metastoru

Další kroky, pokud váš pracovní prostor není povolený pro katalog Unity

Pokud váš pracovní prostor není povolený pro katalog Unity (připojený k metastoru), další krok závisí na tom, jestli už máte metastor katalogu Unity definovaný pro vaši oblast pracovního prostoru:

  • Pokud už váš účet obsahuje metastore katalogu Unity definovaný pro vaši oblast pracovního prostoru, můžete pracovní prostor jednoduše připojit k existujícímu metastoru. Přejděte na Povolit pracovní prostor pro Katalog Unity.
  • Pokud pro oblast vašeho pracovního prostoru není definován žádný metastore katalogu Unity, musíte vytvořit metastor a pak pracovní prostor připojit. Přejděte na Vytvoření metastoru katalogu Unity.

Pokud je váš pracovní prostor povolený pro Katalog Unity, přejděte k dalšímu kroku.

Krok 2: Přidání uživatelů a přiřazení role správce pracovního prostoru

Uživatel, který pracovní prostor vytvoří, se automaticky přidá jako uživatel pracovního prostoru s rolí správce pracovního prostoru (to znamená uživatel v admins místní skupině pracovního prostoru). Jako správce pracovního prostoru můžete přidávat a zvát uživatele do pracovního prostoru, přiřazovat roli správce pracovního prostoru jiným uživatelům a vytvářet instanční objekty a skupiny.

Správci účtů také můžou do pracovního prostoru přidávat uživatele, instanční objekty a skupiny. Může jim udělit roli správce účtu a správce metastoru.

Podrobnosti najdete v tématu Správa uživatelů.

(Doporučeno) Synchronizace identit na úrovni účtu z Microsoft Entra ID (dříve Azure Active Directory)

Správa přístupu uživatelů k Azure Databricks může být pohodlná nastavením zřizování z Microsoft Entra ID (dříve Azure Active Directory). Úplné pokyny najdete v tématu Synchronizace uživatelů a skupin z ID Microsoft Entra.

Krok 3: Vytvoření clusterů nebo skladů SQL, které můžou uživatelé použít ke spouštění dotazů a vytváření objektů

Pokud chcete spouštět úlohy Katalogu Unity, musí výpočetní prostředky splňovat určité požadavky na zabezpečení. Nekompatibilní výpočetní prostředky nemají přístup k datům nebo jiným objektům v katalogu Unity. Sklady SQL vždy splňují požadavky na katalog Unity, ale některé režimy přístupu ke clusteru ne. Viz režimy Accessu.

Jako správce pracovního prostoru se můžete rozhodnout, že vytváření výpočetních prostředků se omezí na správce nebo umožníte uživatelům vytvářet vlastní sklady a clustery SQL. Můžete také vytvořit zásady clusteru, které uživatelům umožňují vytvářet vlastní clustery pomocí specifikací kompatibilních s katalogem Unity, které vynucujete. Přečtěte si informace o výpočetních oprávněních a vytváření a správě zásad výpočetních prostředků.

Krok 4: Udělení oprávnění uživatelům

Pokud chcete vytvářet objekty a přistupovat k nim v katalogech a schématech Unity, musí k tomu mít uživatel oprávnění. Tato část popisuje oprávnění uživatele a správce udělená v některých pracovních prostorech ve výchozím nastavení a popisuje, jak udělit další oprávnění.

Výchozí uživatelská oprávnění

Některé pracovní prostory mají při spuštění výchozí oprávnění uživatele (bez oprávnění správce):

  • Pokud je váš pracovní prostor spuštěný s automaticky zřízeným katalogem pracovních prostorů, můžou všichni uživatelé pracovního prostoru vytvářet objekty ve schématu katalogu default pracovních prostorů.

    Informace o tom, jak zjistit, jestli má váš pracovní prostor katalog pracovních prostorů, najdete v tématu Návody zjistit, jestli můj pracovní prostor obsahuje katalog pracovních prostorů?.

  • Pokud byl váš pracovní prostor pro katalog Unity povolen ručně, automaticky se main zřídí katalog.

    Uživatelé pracovního prostoru mají USE CATALOG oprávnění k main katalogu, což neuděluje možnost vytvářet ani vybírat z objektů v katalogu, ale je předpokladem pro práci s libovolnými objekty v katalogu. Uživatel, který vytvořil metastore, main ve výchozím nastavení vlastní katalog a může převést vlastnictví a udělit přístup jiným uživatelům.

    Pokud se po vytvoření metastoru přidá úložiště metastoru, nezřídí se žádný main katalog.

Ostatní pracovní prostory nemají ve výchozím nastavení žádné katalogy a ve výchozím nastavení nejsou povolená žádná uživatelská oprávnění bez oprávnění správce. Správce pracovního prostoru musí vytvořit první katalog a udělit uživatelům přístup k němu a objektům v něm. Než dokončíte kroky v této části, přeskočte k kroku 5: Vytvořte nové katalogy a schémata .

Výchozí oprávnění správce

Některé pracovní prostory mají při spuštění výchozí oprávnění správce pracovního prostoru:

  • Pokud byl váš pracovní prostor pro katalog Unity povolen automaticky:
    • Správci pracovních prostorů můžou vytvářet nové katalogy a objekty v nových katalogech a udělovat jim přístup.
    • Ve výchozím nastavení neexistuje žádný správce metastoru.
    • Správci pracovního prostoru vlastní katalog pracovních prostorů (pokud existuje) a můžou udělit přístup k ho katalogu a všem objektům v daném katalogu.
  • Pokud byl váš pracovní prostor pro Katalog Unity povolen ručně:
    • Správci pracovních prostorů nemají ve výchozím nastavení žádná zvláštní oprávnění katalogu Unity.
    • Správci metastoru musí existovat a mohou vytvořit libovolný objekt katalogu Unity a mohou převzít vlastnictví libovolného objektu katalogu Unity.

Seznam dalších oprávnění objektu udělených správcům pracovního prostoru v automaticky povolených pracovních prostorech katalogu Unity najdete v tématu Oprávnění správce pracovního prostoru, pokud jsou pracovní prostory povoleny pro katalog Unity automaticky.

Udělení oprávnění

Pro přístup k objektům jiným než objektům uvedeným v předchozích částech musí privilegovaný uživatel udělit tento přístup.

Pokud například chcete skupině udělit možnost vytvářet nová schémata, my-catalogmůže vlastník katalogu spustit následující příkaz v editoru SQL nebo poznámkovém bloku:

GRANT CREATE SCHEMA ON my-catalog TO `data-consumers`;

Pokud byl váš pracovní prostor pro katalog Unity povolen automaticky, správce pracovního prostoru vlastní katalog pracovních prostorů a může udělit možnost vytvářet nová schémata:

GRANT CREATE SCHEMA ON <workspace-catalog> TO `data-consumers`;

Oprávnění můžete také udělit a odvolat pomocí Průzkumníka katalogu.

Důležité

Nemůžete udělit oprávnění místnímu users pracovnímu prostoru nebo admins skupinám. Pokud chcete udělit oprávnění ke skupinám, musí se jednat o skupiny na úrovni účtu.

Podrobnosti o správě oprávnění v katalogu Unity najdete v tématu Správa oprávnění v katalogu Unity.

Krok 5: Vytvoření nových katalogů a schémat

Pokud chcete začít používat Katalog Unity, musíte mít definovaný aspoň jeden katalog. Katalogy jsou primární jednotkou izolace dat a organizace v katalogu Unity. Všechna schémata a tabulky jsou v katalogu aktivní, stejně jako objemy, zobrazení a modely.

Některé pracovní prostory nemají automaticky zřízený katalog. Pokud chcete použít Katalog Unity, musí správce pracovního prostoru vytvořit první katalog pro tyto pracovní prostory.

Ostatní pracovní prostory mají přístup k předem zřízenému katalogu, ke kterému mají vaši uživatelé přístup, aby mohli začít (buď katalog pracovních prostorů, nebo main katalog, v závislosti na tom, jak byl váš pracovní prostor povolený pro katalog Unity). Když do Azure Databricks přidáte další data a prostředky AI, můžete vytvořit další katalogy pro seskupení těchto prostředků způsobem, který usnadňuje logické řízení dat.

Doporučení týkající se toho, jak nejlépe používat katalogy a schémata k uspořádání dat a prostředků AI, najdete v doporučených postupech katalogu Unity.

Jako správce metastoru, správce pracovního prostoru (pouze automaticky povolené pracovní prostory) nebo jiný uživatel s oprávněním CREATE CATALOG můžete v metastoru vytvářet nové katalogy. Když to uděláte, měli byste:

  1. Vytvořte spravované úložiště pro nový katalog.

    Spravované úložiště je vyhrazené umístění úložiště ve vašem účtu Azure pro spravované tabulky a spravované svazky. Spravované úložiště můžete přiřadit k metastoru, katalogům a schématům. Když uživatel vytvoří tabulku, data se uloží do umístění úložiště, které je nejnižší v hierarchii. Pokud je například umístění úložiště definované pro metastor a katalog, ale nikoli schéma, data se ukládají v umístění definovaném pro katalog.

    Databricks doporučuje přiřadit spravované úložiště na úrovni katalogu, protože katalogy obvykle představují logické jednotky izolace dat. Pokud jste obeznámeni s daty ve více katalogech, které sdílejí stejné umístění úložiště, můžete výchozí umístění úložiště na úrovni metastoru. Pokud byl váš pracovní prostor pro katalog Unity povolen automaticky, ve výchozím nastavení neexistuje žádné úložiště na úrovni metastoru. Správce účtu má možnost nakonfigurovat úložiště na úrovni metastoru. Viz Spravované úložiště a Přidání spravovaného úložiště do existujícího metastoru.

    Přiřazení spravovaného úložiště do katalogu vyžaduje, abyste vytvořili:

    • Přihlašovací údaje k úložišti.
    • Externí umístění , které odkazuje na přihlašovací údaje úložiště.

    Úvod k těmto objektům a pokyny k jejich vytvoření najdete v tématu Připojení do cloudového úložiště objektů pomocí katalogu Unity.

  2. Pokud chcete omezit přístup z jiných pracovních prostorů, které sdílejí stejný metastor, vytvořte vazbu nového katalogu s pracovním prostorem.

    Viz Vytvoření vazby katalogu k jednomu nebo více pracovním prostorům.

  3. Udělte oprávnění k katalogu.

Podrobné pokyny najdete v tématu Vytváření a správa katalogů.

Příklad vytvoření katalogu

Následující příklad ukazuje vytvoření katalogu se spravovaným úložištěm, následované udělením SELECT oprávnění k katalogu:

CREATE CATALOG IF NOT EXISTS mycatalog
  MANAGED LOCATION 'abfss://mycontainer@<myaccount.dfs.core.windows.net//depts/finance';

GRANT SELECT ON mycatalog TO `finance-team`;

Další příklady, včetně pokynů pro vytváření katalogů pomocí Průzkumníka katalogů, najdete v tématu Vytváření a správa katalogů.

Vytvoření schématu

Schémata představují podrobnější seskupení (například oddělení nebo projekty) než katalogy. Všechny tabulky a další objekty katalogu Unity v katalogu jsou obsaženy ve schématech. Jako vlastník nového katalogu můžete chtít vytvořit schémata v katalogu. Místo toho ale můžete chtít delegovat možnost vytvářet schémata jiným uživatelům tím, že jim CREATE SCHEMA udělíte oprávnění k katalogu.

Podrobné pokyny najdete v tématu Vytváření a správa schémat (databází).

(Volitelné) Přiřazení role správce metastoru

Pokud byl váš pracovní prostor pro katalog Unity povolen automaticky, není ve výchozím nastavení přiřazena žádná role správce metastoru. Správci metastoru mají určitá oprávnění, která správci pracovního prostoru nemají.

Správce metastoru můžete chtít přiřadit, pokud potřebujete:

Podrobné informace o roli správce metastoru a pokyny pro jeho přiřazení najdete v tématu Přiřazení správce metastoru.

Upgrade tabulek v metastoru Hive na tabulky katalogu Unity

Pokud byl váš pracovní prostor ve službě předtím, než byl povolen pro katalog Unity, pravděpodobně obsahuje metastor Hive obsahující data, která chcete dál používat. Databricks doporučuje migrovat tabulky spravované metastorem Hive do metastoru katalogu Unity.

Viz Upgrade tabulek a zobrazení Hive na Katalog Unity a použití nástrojů UCX k upgradu pracovního prostoru na Unity Catalog.

(Volitelné) Pokračujte v práci s metastorem Hive

Pokud má váš pracovní prostor metastore Hive, který obsahuje data, která chcete dál používat, a rozhodnete se nepostupovat podle doporučení k upgradu tabulek spravovaných metastorem Hive na metastore katalogu Unity, můžete dál pracovat s daty v metastore Hive spolu s daty v metastore katalogu Unity.

Metastor Hive je reprezentován v rozhraních Katalogu Unity jako katalog s názvem hive_metastore. Pokud chcete pokračovat v práci s daty v metastoru Hive, aniž byste museli aktualizovat dotazy pro zadání hive_metastore katalogu, můžete nastavit výchozí katalog pracovního prostoru na hive_metastore. Viz Správa výchozího katalogu.

V závislosti na tom, kdy byl váš pracovní prostor povolen pro katalog Unity, může již být hive_metastorevýchozí katalog .

(Volitelné) Vytvoření úložiště na úrovni metastoru

I když Databricks doporučuje vytvořit samostatné spravované umístění úložiště pro každý katalog v metastoru (a můžete to udělat stejně pro schémata), můžete místo toho zvolit, abyste vytvořili spravované umístění na úrovni metastoru a použili ho jako výchozí úložiště pro více katalogů a schémat.

Pokud chcete úložiště na úrovni metastoru, musíte také přiřadit správce metastoru. Viz (volitelné) Přiřazení role správce metastoru.

Úložiště na úrovni metastoru se vyžaduje pouze v případě, že platí následující:

  • Poznámkové bloky chcete sdílet pomocí sdílení Databricks-to-Databricks Delta.
  • Používáte integraci partnerského produktu Databricks, která závisí na osobních pracovních umístěních (zastaralé).

Další informace o hierarchii spravovaných umístění úložiště najdete v tématu Data jsou fyzicky oddělená v úložišti.

Informace o tom, jak přidat úložiště na úrovni metastoru do metastorů, které nemají žádné, najdete v tématu Přidání spravovaného úložiště do existujícího metastoru.

Poznámka:

Většina pracovních prostorů, které byly povoleny pro katalog Unity před 9. listopadem 2023, má kořen úložiště na úrovni metastoru.

Další kroky