Sdílet prostřednictvím

Vytváření katalogů

  • Článek

Tento článek ukazuje, jak vytvořit katalogy v katalogu Unity. Katalog obsahuje schémata (databáze) a schéma obsahuje tabulky, zobrazení, svazky, modely a funkce.

Další informace o katalogech najdete v tématu Co jsou katalogy v Azure Databricks?

Poznámka:

Informace o tom, jak vytvořit cizí katalog, objekt Katalogu Unity, který zrcadlí databázi v externím datovém systému, najdete v tématu Vytvoření cizího katalogu. Viz také Správa a práce se zahraničními katalogy.

Požadavky

Pokud chcete vytvořit katalog bez ohledu na typ katalogu:

  • Musíte být správcem metastoru Azure Databricks nebo mít CREATE CATALOG oprávnění k metastoru.
  • Výpočetní prostředek, který používáte ke spuštění poznámkového bloku pro vytvoření katalogu, musí být ve službě Databricks Runtime 11.3 nebo vyšší a musí používat režim přístupu kompatibilní s katalogem Unity. Viz režimy Accessu. Sql Warehouse vždy podporují katalog Unity.

Vytvoření sdíleného katalogu:

  • Sdílená složka Rozdílové sdílení už musí existovat ve vašem pracovním prostoru. Viz Návody zpřístupnění sdílených dat mému týmu?
  • Musíte být správcem metastoru, mít USE PROVIDER oprávnění k metastoru nebo vlastní objekt zprostředkovatele, který obsahuje sdílenou složku.

Vytvoření standardního katalogu:

  • Pokud pro katalog zadáte spravované umístění úložiště, musíte mít CREATE MANAGED STORAGE oprávnění k cílovému externímu umístění.
  • Pokud neexistuje spravované úložiště na úrovni metastoru, musíte pro katalog zadat spravované umístění úložiště.

Vytvoření zahraničního katalogu:

  • Musíte být vlastníkem připojení, které používáte k vytvoření cizího katalogu, nebo mít CREATE FOREIGN CATALOG oprávnění k připojení.
  • Musíte použít výpočetní prostředky pro Databricks Runtime 13.1 nebo vyšší. Sql Warehouse musí být Verze Pro nebo Bezserverová.

Vytvoření katalogu

K vytvoření katalogu můžete použít Průzkumníka katalogu, příkaz SQL, rozhraní REST API, rozhraní příkazového řádku Databricks nebo Terraform. Při vytváření katalogu se automaticky vytvoří dvě schémata (databáze): default a information_schema.

Průzkumník katalogu

  1. Přihlaste se k pracovnímu prostoru, který je propojený s metastorem.

  2. Klikněte na Ikona katalogu Katalog.

  3. Klikněte na tlačítko Vytvořit katalog .

  4. V dialogovém okně Vytvořit nový katalog zadejte název katalogu a vyberte typ katalogu, který chcete vytvořit:

    • Standardní katalog: zabezpečitelný objekt, který organizuje data a prostředky AI spravované katalogem Unity. Pro všechny případy použití kromě Lakehouse Federation a katalogů vytvořených ze sdílených složek Delta.
    • Cizí katalog: zabezpečitelný objekt, který zrcadlí databázi v externím datovém systému pomocí Lakehouse Federation. Podívejte se na přehled nastavení Lakehouse Federation.
    • Sdílený katalog: zabezpečitelný objekt, který uspořádá data a další prostředky, které s vámi někdo sdílí jako sdílenou složku Delta. Vytvoření katalogu ze sdílené složky zpřístupní tyto prostředky uživatelům ve vašem pracovním prostoru ke čtení. Podívejte se, co je sdílená složka?

  5. V závislosti na typu katalogu zadejte následující možnosti:

    • Standardní katalogy: Je volitelné, ale důrazně doporučujeme zadat spravované umístění úložiště. Musíte mít CREATE MANAGED STORAGE oprávnění k cílovému externímu umístění, které používáte jako spravované umístění úložiště. Viz Určení spravovaného umístění úložiště v katalogu Unity.

      Volitelně můžete zadat dílčí cestu definovaného externího umístění. Pokud nemáte definované externí umístění, můžete ho vytvořit kliknutím na Vytvořit nové externí umístění.

      Důležité

      Pokud váš pracovní prostor nemá umístění úložiště na úrovni metastoru, musíte při vytváření katalogu zadat spravované umístění úložiště.

    • Pro zahraniční katalogy: Musíte vybrat připojení, což je zabezpečitelný objekt v katalogu Unity, který určuje cestu a přihlašovací údaje pro přístup k externímu databázovému systému. Podívejte se na přehled nastavení Lakehouse Federation.

      Po výběru připojení zadejte název databáze nebo jiného katalogu Databricks, který chcete zrcadlit.

      Požadavky se liší v závislosti na zdroji dat:

      • MySQL používá dvouvrstvý obor názvů, a proto nevyžaduje název databáze.
      • Pro připojení k katalogu v jiném pracovním prostoru Databricks zadejte místo názvu databáze název katalogu Databricks.

      Pokud nemáte definované připojení, můžete ho vytvořit kliknutím na Vytvořit nové připojení.

    • Pro sdílené katalogy: Musíte vybrat poskytovatele a sdílenou složku. Jakmile vyberete poskytovatele, můžete vybrat jednu ze sdílených složek poskytovatele.

      Pokud si nejste jistí, kterého zprostředkovatele a sdílíte, můžete snadněji procházet nebo vyhledávat poskytovatele a sdílené složky pomocí prohlížeče Průzkumník katalogu. Podívejte se na zobrazení zprostředkovatelů a zobrazení sdílených složek, které s vámi sdílel poskytovatel.

  6. Klikněte na Vytvořit.

  7. V dialogovém okně Katalog vytvořený! kliknutím na Zobrazit katalog přijměte katalog jako automaticky nakonfigurovaný nebo klikněte na konfigurovat katalog (doporučeno) a nakonfigurujte oprávnění katalogu, vazby pracovního prostoru a metadata.

    Pokud kliknete na Zobrazit katalog, bude katalog přístupný pro všechny pracovní prostory připojené k metastoru a BROWSE oprávnění se udělí všem uživatelům účtu. Zbývající kroky v tomto postupu můžete přeskočit a pokračovat přidáním schémat do katalogu. Viz Vytvoření schémat.

    Kdykoli se můžete vrátit na stránku podrobností katalogu v Průzkumníku katalogu a aktualizovat vlastníka, značky, komentáře, vazby pracovního prostoru, oprávnění a schémata.

  8. Na stránce Konfigurovat pracovní prostory katalogu > zadejte pracovní prostor, ke kterému je katalog vázán.

    Ve výchozím nastavení se katalog sdílí se všemi pracovními prostory připojenými k aktuálnímu metastoru. Pokud katalog bude obsahovat data, která by měla být omezena na konkrétní pracovní prostory, zrušte zaškrtnutí políčka Všechny pracovní prostory mít přístup a pomocí tlačítka Přiřadit k pracovním prostorům tyto pracovní prostory přidejte. Aktuální pracovní prostor musí být zahrnutý.

    Po přiřazení pracovního prostoru můžete volitelně změnit výchozí úroveň přístupu pro čtení a zápis na jen pro čtení: vyberte pracovní prostor ze seznamu a klikněte na tlačítko Spravovat úroveň přístupu.

    Další informace najdete v tématu Omezení přístupu katalogu ke konkrétním pracovním prostorům.

  9. Kliknutím na Tlačítko Další přiřadíte oprávnění pro katalog.

    Všichni uživatelé účtu mají BROWSE ve výchozím nastavení oprávnění a umožňují jim zjišťovat metadata katalogu, aniž by měli přístup ke čtení k datům.

    Pokud chcete uživateli, skupině nebo instančnímu objektu udělit oprávnění, klikněte na Udělit a postupujte podle pokynů v oprávněních katalogu Unity a zabezpečitelných objektů.

  10. Kliknutím na Tlačítko Další přidáte volitelnou značku a metadata komentáře.

    Značky jsou páry klíč-hodnota, které můžete použít k uspořádání a kategorizaci katalogů pro zjednodušení vyhledávání a zjišťování datových prostředků. Hodnoty jsou volitelné. Viz Použití značek na zabezpečitelné objekty Katalogu Unity.

    Komentář je otevřené pole, které se často používá k zadání popisu, který uživatelům pomůže zjistit datové prostředky v katalogu. Viz Přidání komentářů k datům a prostředkům AI.

  11. Klikněte na Uložit.

  12. Přidejte do katalogu schémata a datové objekty.

    Viz Vytvoření schémat.

Průzkumníka katalogu můžete použít k aktualizaci vlastníka, značek, komentářů, vazeb pracovních prostorů a oprávnění kdykoli po vytvoření katalogu.

SQL

Pokud chcete vytvořit standardní katalog, spusťte v poznámkovém bloku nebo editoru dotazů SQL následující příkaz SQL. Položky v závorkách jsou volitelné. Nahraďte zástupné hodnoty:

  • <catalog-name>: Název katalogu.

  • <location-path>: Volitelné, ale důrazně doporučujeme. Pokud chcete, aby spravované tabulky v tomto katalogu byly uloženy v umístění, které se liší od výchozího kořenového úložiště nakonfigurovaného pro metastore, zadejte cestu k umístění úložiště.

    Důležité

    Pokud váš pracovní prostor nemá umístění úložiště na úrovni metastoru, musíte při vytváření katalogu zadat spravované umístění úložiště.

    Tato cesta musí být definována v konfiguraci externího umístění a musíte mít CREATE MANAGED STORAGE oprávnění ke konfiguraci externího umístění. Můžete použít cestu definovanou v konfiguraci externího umístění nebo dílčí cestu (jinými slovy, 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' nebo 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: Volitelný popis nebo jiný komentář.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Chcete-li například vytvořit katalog s názvem example:

CREATE CATALOG IF NOT EXISTS example;

Pokud chcete vytvořit sdílený katalog, spusťte v poznámkovém bloku nebo editoru dotazů SQL následující příkaz. Položky v závorkách jsou volitelné.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Pokud chcete vytvořit cizí katalog, spusťte v poznámkovém bloku nebo editoru dotazů SQL následující příkaz. Položky v závorkách jsou volitelné. Nahraďte zástupné hodnoty:

  • <catalog-name>: Název katalogu v Azure Databricks.
  • <connection-name>: Objekt připojení, který určuje zdroj dat, cestu a přihlašovací údaje pro přístup.
  • <database-name>: Název databáze, kterou chcete zrcadlit jako katalog v Azure Databricks. Nevyžaduje se pro MySQL, který používá dvouvrstvý obor názvů. Místo toho použijte catalog '<external-catalog-name>' Databricks-to-Databricks Lakehouse Federation.
  • <external-catalog-name>: Pouze Databricks-to-Databricks : Název katalogu v externím pracovním prostoru Databricks, který zrcadlíte. Viz Spuštění federovaných dotazů v jiném pracovním prostoru Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

Viz také Vytvoření zahraničního katalogu.

Pokud chcete omezit přístup katalogu ke konkrétním pracovním prostorům ve vašem účtu, označované také jako vazby katalogu pracovních prostorů, přečtěte si téma Omezení přístupu ke katalogu na konkrétní pracovní prostory.

Podrobné popisy parametrů najdete v tématu CREATE CATALOG.

Po vytvoření katalogu přiřaďte k katalogu oprávnění. Viz oprávnění katalogu Unity a zabezpečitelné objekty.

Jiný důvod

Terraform: Katalog můžete vytvořit pomocí zprostředkovatele Databricks Terraform a databricks_catalog. Informace o katalogech můžete načíst pomocí databricks_catalogs.

REST API: Použijte POST /api/2.1/unity-catalog/catalogs.

Rozhraní příkazového řádku Databricks: databricks catalogs create <catalog-name> [options] Seznam možností zobrazíte spuštěním databricks catalogs create -hpříkazu . Možnosti jsou popsané také v referenčních informacích k rozhraní API. Postupujte podle odkazu rozhraní API v předchozím odstavci.

Po vytvoření katalogu přiřaďte k katalogu oprávnění. Viz oprávnění katalogu Unity a zabezpečitelné objekty.

Více informací