Knihovny clusterů
Knihovny clusteru můžou používat všechny poznámkové bloky a úlohy spuštěné v clusteru. Tento článek podrobně popisuje použití uživatelského rozhraní instalace knihovny v pracovním prostoru Azure Databricks.
Poznámka:
Pokud vytváříte výpočetní prostředky pomocí zásad, které vynucují instalace knihoven, nemůžete na výpočetní prostředky instalovat ani odinstalovat knihovny. Správci pracovního prostoru řídí veškerou správu knihoven na úrovni zásad.
Knihovny můžete do clusteru nainstalovat pomocí následujících přístupů:
Nainstalujte knihovnu pro použití pouze s konkrétním clusterem.
Nainstalujte knihovnu pomocí rozhraní REST API. Podívejte se na rozhraní API knihoven.
Nainstalujte knihovnu pomocí rozhraní příkazového řádku Databricks. Podívejte se, co je rozhraní příkazového řádku Databricks?
Nainstalujte knihovnu pomocí Terraformu. Viz poskytovatel Databricks Terraform a databricks_library.
Nainstalujte knihovnu vytvořením clusteru se zásadami, které definují instalace knihoven. Viz Přidání knihoven do zásad.
(Nedoporučuje se) Nainstalujte knihovnu pomocí inicializačního skriptu, který se spouští při vytváření clusteru. Viz Instalace knihovny pomocí inicializačního skriptu (starší verze).
Instalace knihovny v clusteru
Instalace knihovny do clusteru:
- Na bočním panelu klikněte na
Výpočty. - Klikněte na název clusteru.
- Klikněte na kartu Knihovny .
- Klikněte na Nainstalovat nový.
- Zobrazí se dialogové okno Instalovat knihovnu.
- Vyberte jednu z možností zdroje knihovny, dokončete zobrazené pokyny a klikněte na nainstalovat.
Důležité
Knihovny je možné nainstalovat z DBFS při použití Databricks Runtime 14.3 LTS a níže. Každý uživatel pracovního prostoru ale může upravovat soubory knihovny uložené v DBFS. Aby se zlepšilo zabezpečení knihoven v pracovním prostoru Azure Databricks, ukládání souborů knihovny v kořenovém adresáři DBFS je ve výchozím nastavení v Databricks Runtime 15.1 a novějších zakázaných. Viz Ukládání knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané.
Místo toho databricks doporučuje nahrát všechny knihovny, včetně knihoven Pythonu, souborů JAR a konektorů Spark, do souborů pracovních prostorů nebo svazků katalogu Unity nebo pomocí úložišť balíčků knihoven. Pokud vaše úloha tyto vzory nepodporuje, můžete také použít knihovny uložené v cloudovém úložišti objektů.
Ne všechny režimy přístupu ke clusteru podporují všechny konfigurace knihoven. Viz knihovny v oboru clusteru.
| Zdroj knihovny | Pokyny |
|---|---|
| Pracovní prostor | Vyberte soubor pracovního prostoru nebo nahrajte soubor Whl, zip wheelhouse, JAR, ZIP, tar nebo requirements.txt soubor. Viz Instalace knihoven ze souborů pracovního prostoru |
| Obsahy | Vyberte soubor Whl, JAR nebo requirements.txt ze svazku. Viz Instalace knihoven ze svazku. |
| Cesta k souboru nebo ADLS | Vyberte typ knihovny a zadejte úplný identifikátor URI objektu knihovny (například: /Workspace/path/to/library.whl, /Volumes/path/to/library.whlnebo abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Viz Instalace knihoven z úložiště objektů. |
| PyPI | Zadejte název balíčku PyPI. Viz balíček PyPI. |
| Maven | Zadejte souřadnici Mavenu. Viz balíček Maven nebo Spark. |
| CRAN | Zadejte název balíčku. Viz balíček CRAN. |
| DBFS (nedoporučuje se) | Načtěte soubor JAR nebo Whl do kořenového adresáře DBFS. Nedoporučuje se, protože soubory uložené v DBFS můžou upravovat libovolný uživatel pracovního prostoru. |
Když nainstalujete knihovnu do clusteru, poznámkový blok, který je k housku připojený, se nová knihovna okamžitě nezobrazí. Nejprve je nutné odpojit poznámkový blok a pak ho znovu připojit ke clusteru.
Poznámka:
Knihovna, která instalace trvalo déle než 2 hodiny, se označí jako neúspěšná.
Instalace knihovny pomocí zásad
Pokud vytvoříte cluster pomocí zásad, které vynucují instalaci knihovny, zadané knihovny se automaticky nainstalují do clusteru. Nemůžete nainstalovat další knihovny ani odinstalovat žádné knihovny.
Správci pracovního prostoru můžou přidávat knihovny do zásad, což jim umožňuje spravovat a vynucovat instalace knihoven na všech výpočetních prostředcích, které zásadu používají. Pokyny pro správce najdete v tématu Přidání knihoven do zásad.
Odinstalace knihovny z clusteru
Poznámka:
Při odinstalaci knihovny z clusteru se knihovna odebere pouze při restartování clusteru. Dokud cluster nerestartujete, zobrazí se stav odinstalované knihovny jako čeká na restartování odinstalace.
K odinstalaci knihovny můžete použít uživatelské rozhraní clusteru:
- Na bočním panelu klikněte na Výpočty.
- Klikněte na název clusteru.
- Klikněte na kartu Knihovny .
- Zaškrtněte políčko vedle clusteru, ze kterého chcete knihovnu odinstalovat, klepněte na tlačítko Odinstalovat a potom potvrďte. Stav se změní na odinstalaci čekající na restartování.
Chcete-li odinstalovat knihovnu, klikněte na tlačítko Restartovat a potvrdit . Knihovna se odebere z karty Knihovny clusteru.
Zobrazení knihoven nainstalovaných v clusteru
- Na bočním panelu klikněte na Výpočty.
- Klikněte na název clusteru.
- Klikněte na kartu Knihovny . Pro každou knihovnu se na kartě zobrazí název a verze, typ, stav instalace a zdrojový soubor( pokud se nahraje).
Aktualizace knihovny nainstalované v clusteru
Pokud chcete aktualizovat knihovnu nainstalovanou v clusteru, odinstalujte starou verzi knihovny a nainstalujte novou verzi.
Poznámka:
Requirements.txt soubory nevyžadují odinstalaci a restartování. Pokud jste změnili obsah souboru requirements.txt, můžete ho jednoduše přeinstalovat a aktualizovat obsah nainstalovaného souboru.