Databázové objekty v Azure Databricks

Azure Databricks používá k ukládání a přístupu k datům dva primární zabezpečitelné objekty.

• Tabulky řídí přístup k tabulkovým datům.
• Svazky řídí přístup k ne tabulkovým datům .

Tento článek popisuje, jak tyto databázové objekty souvisejí s katalogy, schématy, zobrazeními a dalšími databázovými objekty v Azure Databricks. Tento článek také poskytuje základní úvod do fungování databázových objektů v kontextu celkové architektury platformy.

Co jsou databázové objekty v Azure Databricks?

Databázové objekty jsou entity, které vám pomůžou uspořádat, přistupovat k datům a řídit je. Azure Databricks používá třívrstvou hierarchii k uspořádání databázových objektů:

1. Katalog: Kontejner nejvyšší úrovně obsahuje schémata. Podívejte se, co jsou katalogy v Azure Databricks?
2. Schéma nebo databáze: Obsahuje datové objekty. Podívejte se, co jsou schémata v Azure Databricks?
3. Datové objekty, které mohou být obsaženy ve schématu:
   • Svazek: Logický svazek ne tabulkových dat v cloudovém úložišti objektů. Podívejte se, co jsou svazky katalogu Unity?
   • Tabulka: kolekce dat uspořádaných podle řádků a sloupců. Podívejte se, co je tabulka?
   • Zobrazení: uložený dotaz na jednu nebo více tabulek. Podívejte se , co je zobrazení?.
   • Funkce: uložená logika, která vrací skalární hodnotu nebo sadu řádků. Viz uživatelem definované funkce (UDF) v katalogu Unity.
   • Model: model strojového učení zabalený pomocí MLflow. Viz Správa životního cyklu modelu v katalogu Unity.

Katalogy se registrují v metastoru spravovaném na úrovni účtu. Pouze správci komunikují přímo s metastorem. Viz Metastory.

Azure Databricks poskytuje další prostředky pro práci s daty, z nichž všechny se dají řídit pomocí řízení přístupu na úrovni pracovního prostoru nebo katalogu Unity, řešení zásad správného řízení dat Databricks:

• Datové prostředky na úrovni pracovního prostoru, jako jsou poznámkové bloky, pracovní postupy a dotazy.
• Zabezpečitelné objekty v katalogu Unity, jako jsou přihlašovací údaje úložiště a sdílené složky Pro sdílení delta, které primárně řídí přístup k úložišti nebo zabezpečenému sdílení.

Další informace najdete v tématu Databázové objekty a prostředky zabezpečitelných dat pracovního prostoru a zabezpečitelné přihlašovací údaje a infrastrukturu katalogu Unity.

Správa přístupu k databázovým objektům pomocí katalogu Unity

Přístup k databázovým objektům můžete udělit a odvolat na libovolné úrovni hierarchie, včetně samotného metastoru. Přístup k objektu implicitně uděluje stejný přístup všem podřízeným objektům, pokud není přístup odvolán.

K udělení a odvolání přístupu k objektům v katalogu Unity můžete použít typické příkazy ANSI SQL. Průzkumníka katalogu můžete také použít ke správě oprávnění datového objektu řízené uživatelským rozhraním.

Další informace o zabezpečení objektů v katalogu Unity naleznete v tématu Zabezpečitelné objekty v katalogu Unity.

Výchozí oprávnění objektu v katalogu Unity

V závislosti na tom, jak byl váš pracovní prostor vytvořen a povolený pro katalog Unity, můžou mít uživatelé výchozí oprávnění k automaticky zřízeným katalogům, včetně main katalogu nebo katalogu pracovních prostorů (<workspace-name>). Další informace najdete v tématu Výchozí uživatelská oprávnění.

Pokud byl váš pracovní prostor pro katalog Unity povolen ručně, obsahuje výchozí schéma pojmenované default v main katalogu, které je přístupné všem uživatelům ve vašem pracovním prostoru. Pokud byl váš pracovní prostor povolený pro katalog Unity automaticky a obsahuje <workspace-name> katalog, obsahuje tento katalog schéma default , které je přístupné všem uživatelům ve vašem pracovním prostoru.

Databázové objekty versus zabezpečitelné datové prostředky pracovního prostoru

Azure Databricks umožňuje spravovat několik datových inženýrů, analýz, ML a prostředků AI společně s databázovými objekty. Tyto datové prostředky neregistrujete v katalogu Unity. Místo toho se tyto prostředky spravují na úrovni pracovního prostoru pomocí seznamů ovládacích prvků k řízení oprávnění. Mezi tyto datové prostředky patří:

• Poznámkové bloky
• Řídicí panely
• Pracovní postupy
• Soubory pracovního prostoru
• Dotazy SQL
• Experimenty

Většina datových prostředků obsahuje logiku, která komunikuje s databázovými objekty za účelem dotazování na data, použití funkcí, registrace modelů nebo jiných běžných úloh. Další informace o zabezpečení datových prostředků pracovního prostoru najdete v tématu Seznamy řízení přístupu.

Poznámka:

Přístup k výpočetním prostředkům se řídí seznamy řízení přístupu. Výpočetní prostředky nakonfigurujete pomocí režimu přístupu a můžete přidat další cloudová oprávnění, která řídí, jak uživatelé můžou přistupovat k datům. Databricks doporučuje používat zásady výpočetních prostředků a omezit oprávnění vytváření clusteru jako osvědčený postup zásad správného řízení dat. Viz režimy Accessu.

Zabezpečitelné přihlašovací údaje a infrastrukturu katalogu Unity

Katalog Unity spravuje přístup ke cloudovému úložišti objektů, sdílení dat a federaci dotazů pomocí zabezpečitelných objektů registrovaných na úrovni metastoru. Níže jsou uvedené stručné popisy těchto zabezpečitelných objektů, které nejsou daty.

Připojení katalogu Unity k cloudovému úložišti objektů

Abyste mohli vytvořit nové spravované umístění úložiště nebo registrovat externí tabulky nebo externí svazky, musíte definovat přihlašovací údaje úložiště a externí umístění. Tyto zabezpečitelné objekty jsou zaregistrované v katalogu Unity:

• Přihlašovací údaje úložiště: Dlouhodobé cloudové přihlašovací údaje, které poskytují přístup ke cloudovému úložišti.
• Externí umístění: Odkaz na cestu cloudového úložiště objektů, která je přístupná pomocí spárovaných přihlašovacích údajů úložiště.

Viz Připojení ke cloudovému úložišti objektů pomocí katalogu Unity.

Rozdílové sdílení

Azure Databricks zaregistruje následující zabezpečitelné objekty Delta Sharing v katalogu Unity:

• Sdílená složka: Kolekce tabulek, svazků a dalších datových prostředků jen pro čtení.
• Poskytovatel: Organizace nebo entita, která sdílí data. V modelu sdílení Databricks-to-Databricks je poskytovatel zaregistrovaný v metastoru katalogu Unity příjemce jako jedinečná entita identifikovaná id metastoru.
• Příjemce: Entita, která přijímá sdílené složky od poskytovatele. V modelu sdílení Databricks-to-Databricks je příjemce identifikován zprostředkovateli pomocí jedinečného ID metastoru.

Informace o bezpečném sdílení dat a prostředků umělé inteligence pomocí rozdílového sdílení

Federace Lakehouse

Lakehouse Federation umožňuje vytvářet cizí katalogy, které poskytují přístup jen pro čtení k datům umístěným v jiných systémech, jako jsou PostgreSQL, MySQL a Snowflake. Abyste mohli vytvářet cizí katalogy, musíte definovat připojení k externímu systému.

Připojení: Zabezpečitelný objekt katalogu Unity určuje cestu a přihlašovací údaje pro přístup k externímu databázovému systému ve scénáři federace Lakehouse.

Podívejte se , co je Federace Lakehouse.

Spravovaná umístění úložiště pro spravované svazky a tabulky

Když vytváříte tabulky a svazky Azure Databricks, máte možnost je spravovat nebo externí. Katalog Unity spravuje přístup k externím tabulkám a svazkům z Azure Databricks, ale neřídí základní soubory ani plně nespravuje umístění úložiště těchto souborů. Spravované tabulky a svazky jsou naopak plně spravovány katalogem Unity a ukládají se do spravovaného umístění úložiště, které je přidružené k obsahujícímu schématu. Viz Určení spravovaného umístění úložiště v katalogu Unity.

Databricks doporučuje spravované svazky a spravované tabulky pro většinu úloh, protože zjednodušují konfiguraci, optimalizaci a zásady správného řízení.

Katalog Unity vs. starší metastore Hive

Databricks doporučuje používat Katalog Unity pro registraci a řízení všech databázových objektů, ale také poskytuje starší podporu metastoru Hive pro správu schémat, tabulek, zobrazení a funkcí.

Pokud pracujete s databázovými objekty zaregistrovanými pomocí metastoru Hive, přečtěte si téma Databázové objekty ve starší verzi metastoru Hive.