Knihovny s vymezeným výpočetním oborem

Knihovny clusteru můžou používat všechny poznámkové bloky a úlohy spuštěné v clusteru. Tento článek podrobně popisuje použití knihovny Install v pracovním prostoru Azure Databricks.

Poznámka:

Pokud vytváříte výpočetní prostředky pomocí zásad, které vynucují instalace knihoven, nemůžete na výpočetní prostředky instalovat ani odinstalovat knihovny. Správci pracovního prostoru řídí veškerou správu knihoven na úrovni zásad.

Knihovny můžete do clusteru nainstalovat pomocí následujících přístupů:

• Nainstalujte knihovnu pro použití pouze s konkrétním clusterem.
• Nainstalujte knihovnu pomocí rozhraní REST API. Podívejte se na rozhraní API knihoven.
• Nainstalujte knihovnu pomocí rozhraní příkazového řádku Databricks. Vizte Databricks CLI.
• Nainstalujte knihovnu pomocí Terraformu. Podívejte se na Databricks Terraform provider a databricks_library.

• Nainstalujte knihovnu vytvořením clusteru se zásadami, které definují instalace knihoven. Viz Přidání knihoven do zásad.
• (Nedoporučuje se) Nainstalujte knihovnu pomocí inicializačního skriptu, který se spouští při vytváření clusteru. Viz Instalace knihovny pomocí inicializačního skriptu (starší verze).

Instalace knihovny v clusteru

Instalace knihovny do clusteru:

1. Na bočním panelu klikněte na Výpočet.
2. Klikněte na název clusteru.
3. Klikněte na kartu Knihovny .
4. Klikněte na Nainstalovat nový.
5. Zobrazí se dialogové okno Instalovat knihovnu.
6. Vyberte jednu z možností zdroje knihovny, dokončete zobrazené pokyny a klikněte na nainstalovat.

Důležité

Knihovny je možné nainstalovat z DBFS při použití Databricks Runtime 14.3 LTS a níže. Každý uživatel pracovního prostoru ale může upravovat soubory knihovny uložené v DBFS. Aby se zlepšilo zabezpečení knihoven v pracovním prostoru Azure Databricks, ukládání souborů knihoven v kořenovém adresáři DBFS je ve výchozím nastavení v Databricks Runtime 15.1 a novějších zakázaných. Viz Ukládání knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané.

Místo toho Databricks doporučuje nahrávat všechny knihovny, včetně knihoven Python, souborů JAR a konektorů Spark, do souborů pracovního prostoru nebo svazků Unity Catalog, nebo používejte úložiště balíčků knihoven. Pokud vaše úloha tyto vzory nepodporuje, můžete také použít knihovny uložené v cloudovém úložišti objektů.

Ne všechny režimy přístupu ke clusteru podporují všechny konfigurace knihoven. Viz knihovny s vymezeným výpočetním oborem.

Zdroj knihovny	Pokyny
Pracovní prostor	Vyberte soubor pracovního prostoru nebo nahrajte soubor Whl, komprimovaný adresář wheelhouse (s *.wheelhouse.whl příponou), JAR, ZIP, tar nebo soubor requirements.txt. Podívejte se na instalaci knihoven ze souborů pracovního prostoru
Obsahy	Vyberte soubor Whl, JAR nebo requirements.txt ze svazku. Viz Instalace knihoven ze svazku.
Cesta k souboru/ADLS	Vyberte typ knihovny a zadejte úplný identifikátor URI objektu knihovny (například: /Workspace/path/to/library.whl, /Volumes/path/to/library.whlnebo abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Viz Instalace knihoven z úložiště objektů.
PyPI	Zadejte název balíčku PyPI. Podívejte se na balíček PyPI.
Odborník	Zadejte souřadnici Mavenu. Viz Maven nebo Spark balíček.
CRAN	Zadejte název balíčku. Viz balíček CRAN.
DBFS (nedoporučuje se)	Načtěte soubor JAR nebo Whl do kořenového adresáře DBFS. Nedoporučuje se, protože soubory uložené v DBFS můžou upravovat libovolný uživatel pracovního prostoru.

Když nainstalujete knihovnu do clusteru, poznámkový blok, který je k němu připojen, novou knihovnu okamžitě neuvidí. Musíte začít novou relaci pro poznámkový blok, abyste viděli novou knihovnu.

Poznámka:

Knihovna, jejíž instalace trvala déle než 2 hodiny, se označí jako neúspěšná.

Instalace knihovny pomocí politiky

Pokud vytvoříte cluster pomocí zásad, které vynucují instalaci knihovny, zadané knihovny se automaticky nainstalují do clusteru. Nemůžete nainstalovat další knihovny ani odinstalovat žádné knihovny.

Správci pracovního prostoru můžou přidávat knihovny do zásad, což jim umožňuje spravovat a vynucovat instalace knihoven na všech výpočetních prostředcích, které zásadu používají. Pokyny pro správce najdete v tématu Přidání knihoven do zásad.

Odinstalace knihovny z clusteru

Poznámka:

Při odinstalaci knihovny z clusteru se knihovna odebere pouze při restartování clusteru. Dokud cluster nerestartujete, zobrazí se stav knihovny po odinstalaci jako odinstalace čeká na restart.

K odinstalaci knihovny můžete použít uživatelské rozhraní clusteru:

1. Na bočním panelu klikněte na Výpočet.
2. Klikněte na název clusteru.
3. Klikněte na kartu Knihovny .
4. Zaškrtněte políčko vedle clusteru, ze kterého chcete knihovnu odinstalovat, klepněte na tlačítko Odinstalovat a potom potvrďte. Stav se změní na odinstalace čekající na restart.

Chcete-li odinstalovat knihovnu, klikněte na tlačítko Restartovat a potvrdit . Knihovna se odebere ze záložky Knihovny clusteru.

Zobrazení knihoven nainstalovaných v clusteru

1. Na bočním panelu klikněte na Výpočet.
2. Klikněte na název clusteru.
3. Klikněte na kartu Knihovny . Pro každou knihovnu se na kartě zobrazí název a verze, typ, stav instalace a zdrojový soubor( pokud se nahraje).

Aktualizace knihovny nainstalované v clusteru

Pokud chcete aktualizovat knihovnu nainstalovanou v clusteru, odinstalujte starou verzi knihovny a nainstalujte novou verzi.

Poznámka:

Requirements.txt soubory nevyžadují odinstalaci a restartování. Pokud jste změnili obsah souboru requirements.txt, můžete ho jednoduše přeinstalovat a aktualizovat obsah nainstalovaného souboru.