Průvodce nastavením katalogu Unity

Tato stránka popisuje počáteční nastavení katalogu Unity pro správce pracovních prostorů v novém pracovním prostoru Azure Databricks, včetně:

  • Potvrzení povolení vašeho pracovního prostoru pro katalog Unity
  • Správa přístupu k pracovnímu prostoru a identit
  • Vytváření výpočetních prostředků kompatibilních s katalogem Unity
  • Vytvoření katalogu a schématu pro vaše data
  • Udělení uživatelům oprávnění, která potřebují

Než začnete

Než začnete, seznamte se s následujícími koncepty katalogu Unity:

  • Metastore: Kontejner katalogu Unity nejvyšší úrovně s oborem na jednu cloudovou oblast. Obsahuje všechny zabezpečitelné objekty: katalogy, přihlašovací údaje k úložišti, externí umístění a další. Viz Metastore.
  • Katalog: Objekt kontejneru dat nejvyšší úrovně v rámci metastoru. Katalogy obsahují schémata, která zase obsahují tabulky, zobrazení, svazky a funkce. Viz Katalog.
  • Role správce: Katalog Unity má tři hlavní role správce, správce účtu, správce pracovního prostoru a správce metastoru, z nichž každý má jiný rozsah a povinnosti. Prohlédněte si oprávnění správce v katalogu Unity.

Potřebujete také následující:

  • Pracovní prostor Azure Databricks v plánu Premium.
  • Správce pracovního prostoru – oprávnění. V následujících případech možná budete potřebovat oprávnění správce účtu :
    • Pokud váš pracovní prostor ještě nemá výpočetní prostředky, potřebujete oprávnění správce účtu, abyste ověřili, že je katalog Unity povolený prostřednictvím konzoly účtu v kroku 1: Ověřte, že je pro katalog Unity povolený váš pracovní prostor.
    • Pokud váš pracovní prostor není připojený k metastoru katalogu Unity, potřebujete oprávnění správce účtu, abyste ho mohli připojit.
    • Pokud metastore neexistuje, potřebujete k jeho vytvoření oprávnění správce účtu.

Krok 1: Potvrzení, že je váš pracovní prostor povolený pro katalog Unity

Pomocí jedné z následujících metod potvrďte, že je váš pracovní prostor připojený k metastoru katalogu Unity.

Použití konzoly účtu

Tato metoda vyžaduje oprávnění správce účtu.

  1. Jako správce účtu Azure Databricks se přihlaste ke konzole účtu.
  2. Klikněte na ikonu Pracovní prostory.Pracovní prostory.
  3. Vyhledejte svůj pracovní prostor a zkontrolujte sloupec Metastore. Pokud existuje název metastoru, je váš pracovní prostor povolený pro katalog Unity.

Spuštění dotazu SQL

Tato metoda nevyžaduje oprávnění správce, ale vyžaduje výpočetní prostředek kompatibilní s katalogem Unity. Krok 3: Vytvoření výpočetních prostředků kompatibilních s katalogem Unity vás provede vytvořením výpočetních prostředků kompatibilních s UC.

V editoru dotazů SQL nebo poznámkovém bloku připojeném k výpočetnímu prostředku spusťte následující příkaz:

SELECT CURRENT_METASTORE();

Pokud dotaz vrátí ID metastoru, je váš pracovní prostor povolený pro katalog Unity.

Aktuální výstup metastoru

Pokud pro katalog Unity není povolený váš pracovní prostor, přečtěte si téma Upgrade pracovního prostoru Azure Databricks do katalogu Unity.

Krok 2: Správa přístupu k pracovnímu prostoru a identit

Správci pracovního prostoru můžou přidávat uživatele a skupiny, přiřazovat role správců a spravovat instanční objekty.

Přidat uživatele

Přidejte jednotlivé uživatele, kteří potřebují přístup k tomuto pracovnímu prostoru. Pokyny najdete v tématu Správa uživatelů.

Uspořádání uživatelů do skupin

Databricks doporučuje spravovat přístup prostřednictvím skupin místo jednotlivých uživatelů. Udělení oprávnění skupině znamená, že se vztahují na všechny její členy, což s růstem týmu snižuje administrativní zátěž.

  • Pokud už vaše organizace má skupiny ve zprostředkovateli identity (IdP): Synchronizujte je s Azure Databricks pomocí automatické správy identit nebo zřizování SCIM, aby se členství ve skupinách automaticky synchronizovalo. Viz Automatická správa identit.
  • Pokud ještě nemáte skupiny: Jako správce pracovního prostoru vytvořte skupiny na úrovni účtu tak, že přejdete na Identitu nastavení>a budete mít přístup> kesprávě vedle skupin. Viz Správa skupin.

Přiřazení rolí správců

Správci pracovního prostoru můžou provádět většinu každodenních úloh správy: přidávání a odebírání uživatelů, správa výpočetních prostředků, konfigurace nastavení pracovního prostoru a udělení přístupu k datům. Tato role je vhodná pro členy centrální datové platformy nebo IT týmu, kteří zodpovídají za údržbu pracovního prostoru. Buďte selektivní ohledně toho, kdo tuto roli obdrží. Správci pracovního prostoru mají široký přístup k prostředkům a nastavením pracovního prostoru.

Role správce pracovního prostoru je obvykle jedinou rolí správce, kterou potřebujete přiřadit. Volitelně můžete správcům metastoru přiřadit speciální případy použití. Tuto roli můžete například přiřadit vyhrazenému týmu zásad správného řízení dat nebo malé skupině seniorních inženýrů platformy, pokud potřebujete:

  • Pověřte vytvářením katalogu správce, kteří nejsou správci pracovního prostoru.
  • Správa inicializačního skriptu a seznamu povolených souborů JAR
  • Přijímat sdílená data prostřednictvím OpenSharingu
  • Přeneste vlastnictví objektu, když člen týmu odejde.

Pokyny k přiřazování těchto rolí najdete v tématu Oprávnění správce v katalogu Unity.

Krok 3: Vytvoření výpočetních prostředků kompatibilních s katalogem Unity

Pokud chcete spouštět úlohy katalogu Unity, musí výpočetní prostředky splňovat požadavky na zabezpečení katalogu Unity. Následující tabulka uvádí, které typy výpočetních prostředků jsou kompatibilní:

Typ výpočetních prostředků Kompatibilní s UC
SQL Warehouse Ano
Bezserverové výpočty (notebooky, úlohy, pipeliney) Ano
Cluster – režim přístupu jednoho uživatele Ano
Cluster – režim sdíleného přístupu Ano
Cluster – režim sdíleného přístupu bez izolace Ne

Chcete-li vytvořit výpočetní prostředky kompatibilní se službou UC:

Jako správce pracovního prostoru můžete omezit vytváření clusteru jenom na správce nebo pomocí zásad clusteru umožnit uživatelům vytvářet vlastní clustery kompatibilní s katalogem Unity. Přečtěte si informace o výpočetních oprávněních a vytváření a správě zásad výpočetních prostředků.

Krok 4: Vytvoření katalogů a schémat

Katalogy jsou primární jednotkou izolace dat v katalogu Unity. Všechna schémata, tabulky, svazky, zobrazení a funkce jsou v katalogu aktivní.

Kdy vytvořit nový katalog

Nové pracovní prostory se automaticky zřizují s katalogem pracovního prostoru – ve výchozím nastavení je tento katalog pojmenován podle vašeho pracovního prostoru. Pokud chcete zkontrolovat, jestli máte katalog pracovních prostorů, klikněte na ikonu Data.Katalog na bočním panelu a vyhledejte katalog odpovídající názvu vašeho pracovního prostoru. Pokud existuje, možná nebudete muset hned vytvářet další katalogy.

Postupem času zvažte vytvoření nových katalogů s tím, jak poroste jejich využívání, uspořádaných podle logických celků, například:

  • Týmy nebo obchodní jednotky: samostatné katalogy pro technické, finanční a marketingové týmy
  • Prostředí: samostatné dev, staginga prod katalogy pro izolaci vývoje od produkčních dat
  • Projekty: Vyhrazený katalog na hlavní datový produkt nebo iniciativu

Pokud už jsou hranice dat vaší organizace dobře definované, můžete teď vytvářet katalogy.

Vytvoření katalogu

Pokud chcete vytvořit katalog, spusťte následující příkaz SQL.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Note

Spravovaná data v tomto katalogu se ukládají ve výchozím umístění spravovaného úložiště metastoru. Chcete-li použít jiné umístění, zadejte parametr MANAGED LOCATION. Viz Připojení ke cloudovému úložišti objektů pomocí katalogu Unity.

Pak vytvořte schéma pro uspořádání tabulek a dalších datových objektů:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Podrobné pokyny a použití Průzkumníka katalogu najdete v tématu Vytváření katalogů a vytváření schémat.

Krok 5: Udělení oprávnění uživatelům

V katalogu Unity nemají uživatelé ve výchozím nastavení přístup k datům. Správci pracovního prostoru můžou udělit oprávnění zabezpečitelným objektům v rámci pracovního prostoru. Databricks doporučuje udělit oprávnění skupinám, nikoli jednotlivým uživatelům. To usnadňuje správu přístupu, jak váš tým roste.

Povolení zjišťování dat

Azure Databricks doporučuje udělit oprávnění BROWSE všem katalogům skupině All account users. BROWSE umožňuje uživatelům zobrazit, že objekty existují, a zobrazit jejich metadata v Průzkumníku katalogu bez udělení přístupu k podkladovým datům. To umožňuje uživatelům zjišťovat data a žádat o přístup, aniž by správci museli předem udělit oprávnění.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Udělení přístupu k datům

K přístupu k datům v Unity Catalog uživatelé obvykle potřebují konkrétní oprávnění pro danou operaci (například SELECT pro čtení tabulky) a příslušná oprávnění Usage (například USE CATALOG pro nadřazený katalog a USE SCHEMA pro nadřazené schéma). Podívejte se na koncepty modelu oprávnění katalogu Unity.

Udělte tato oprávnění pouze uživatelům a skupinám, kteří potřebují přístup ke konkrétním katalogům a schématům. Pokud chcete například udělit přístup ke schématu jen pro čtení, použijte následující sql:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Pro přístup pro čtení i zápis:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Vzory přístupu se v průběhu času mění. Při správě oprávnění v katalogu Unity použijte jako referenci následující stránky:

Kontrolní seznam instalace

Pokud jste dokončili všech pět kroků, nastaví se v pracovním prostoru katalog Unity a uživatelé můžou začít pracovat s daty. Pomocí následujícího kontrolního seznamu ověřte, že je všechno splněné:

Další kroky

S nastavením katalogu Unity můžete začít v pracovním prostoru používat pokročilejší možnosti zásad správného řízení.

Řízení přístupu na základě atributů

Řízení přístupu na základě atributů (ABAC) umožňuje definovat dynamické a jemně odstupňované zásady přístupu na základě atributů dat a uživatele, který k němu přistupuje. Místo správy tabulky oprávnění podle tabulky píšete zásady, které automaticky vynucují filtrování na úrovni řádků a maskování na úrovni sloupců. Můžete například skrýt citlivé sloupce od uživatelů mimo konkrétní oblast nebo maskovat PII pro neprivilegované role.

Maskování sloupců ABAC v akci

Klasifikace dat

Klasifikace dat používá agenta AI k automatickému prohledávání katalogu a označování citlivých dat, jako jsou PII, finanční informace a přihlašovací údaje. Po klasifikaci se značky můžou integrovat přímo se zásadami ABAC, což umožňuje používat ovládací prvky zásad správného řízení na základě toho, co data skutečně obsahují, a ne na správu přístupového objektu podle objektu.

Výsledky klasifikace dat

Monitorování kvality dat

Monitorování kvality dat poskytuje detekci anomálií ve všech tabulkách ve schématu a profilaci dat na úrovni tabulky. Detekce anomálií automaticky monitoruje aktuálnost a úplnost pomocí historických vzorů dat a problémů s povrchovou úpravou bez ruční konfigurace. Profilace dat zaznamenává statistické distribuce v průběhu času, což vám umožní sledovat integritu dat a nastavit upozornění na neočekávané změny.

Řídicí panel monitorování kvality dat

Zásady správného řízení AI s využitím brány Unity AI

Unity AI Gateway rozšiřuje zásady správného řízení katalogu Unity na AI. Poskytuje podnikové zásady správného řízení pro koncové body LLM, agenty a servery MCP, které umožňují implementovat řízení přístupu, protokolování auditu a pozorovatelnost napříč všemi interakcemi AI v jednotném uživatelském rozhraní.

  • Last updated on