Sdílet prostřednictvím


Knihovny clusterů

Knihovny clusteru můžou používat všechny poznámkové bloky a úlohy spuštěné v clusteru. Tento článek podrobně popisuje použití uživatelského rozhraní instalace knihovny v pracovním prostoru Azure Databricks.

Poznámka:

Pokud vytváříte výpočetní prostředky pomocí zásad, které vynucují instalace knihoven, nemůžete na výpočetní prostředky instalovat ani odinstalovat knihovny. Správci pracovního prostoru řídí veškerou správu knihoven na úrovni zásad.

Knihovny můžete do clusteru nainstalovat pomocí následujících přístupů:

Instalace knihovny v clusteru

Instalace knihovny do clusteru:

  1. Na bočním panelu klikněte na Ikona výpočetních prostředků Výpočty.
  2. Klikněte na název clusteru.
  3. Klikněte na kartu Knihovny .
  4. Klikněte na Nainstalovat nový.
  5. Zobrazí se dialogové okno Instalovat knihovnu.
  6. Vyberte jednu z možností zdroje knihovny, dokončete zobrazené pokyny a klikněte na nainstalovat.

Důležité

Knihovny je možné nainstalovat z DBFS při použití Databricks Runtime 14.3 LTS a níže. Každý uživatel pracovního prostoru ale může upravovat soubory knihovny uložené v DBFS. Aby se zlepšilo zabezpečení knihoven v pracovním prostoru Azure Databricks, ukládání souborů knihovny v kořenovém adresáři DBFS je ve výchozím nastavení v Databricks Runtime 15.1 a novějších zakázaných. Viz Ukládání knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané.

Místo toho databricks doporučuje nahrát všechny knihovny, včetně knihoven Pythonu, souborů JAR a konektorů Spark, do souborů pracovních prostorů nebo svazků katalogu Unity nebo pomocí úložišť balíčků knihoven. Pokud vaše úloha tyto vzory nepodporuje, můžete také použít knihovny uložené v cloudovém úložišti objektů.

Ne všechny režimy přístupu ke clusteru podporují všechny konfigurace knihoven. Viz knihovny v oboru clusteru.

Zdroj knihovny Pokyny
Pracovní prostor Vyberte soubor pracovního prostoru nebo nahrajte soubor Whl, zip wheelhouse, JAR, ZIP, tar nebo requirements.txt soubor. Viz Instalace knihoven ze souborů pracovního prostoru
Obsahy Vyberte soubor Whl, JAR nebo requirements.txt ze svazku. Viz Instalace knihoven ze svazku.
Cesta k souboru nebo ADLS Vyberte typ knihovny a zadejte úplný identifikátor URI objektu knihovny (například: /Workspace/path/to/library.whl, /Volumes/path/to/library.whlnebo abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Viz Instalace knihoven z úložiště objektů.
PyPI Zadejte název balíčku PyPI. Viz balíček PyPI.
Maven Zadejte souřadnici Mavenu. Viz balíček Maven nebo Spark.
CRAN Zadejte název balíčku. Viz balíček CRAN.
DBFS (nedoporučuje se) Načtěte soubor JAR nebo Whl do kořenového adresáře DBFS. Nedoporučuje se, protože soubory uložené v DBFS můžou upravovat libovolný uživatel pracovního prostoru.

Když nainstalujete knihovnu do clusteru, poznámkový blok, který je k housku připojený, se nová knihovna okamžitě nezobrazí. Nejprve je nutné odpojit poznámkový blok a pak ho znovu připojit ke clusteru.

Poznámka:

Knihovna, která instalace trvalo déle než 2 hodiny, se označí jako neúspěšná.

Instalace knihovny pomocí zásad

Pokud vytvoříte cluster pomocí zásad, které vynucují instalaci knihovny, zadané knihovny se automaticky nainstalují do clusteru. Nemůžete nainstalovat další knihovny ani odinstalovat žádné knihovny.

Správci pracovního prostoru můžou přidávat knihovny do zásad, což jim umožňuje spravovat a vynucovat instalace knihoven na všech výpočetních prostředcích, které zásadu používají. Pokyny pro správce najdete v tématu Přidání knihoven do zásad.

Odinstalace knihovny z clusteru

Poznámka:

Při odinstalaci knihovny z clusteru se knihovna odebere pouze při restartování clusteru. Dokud cluster nerestartujete, zobrazí se stav odinstalované knihovny jako čeká na restartování odinstalace.

K odinstalaci knihovny můžete použít uživatelské rozhraní clusteru:

  1. Na bočním panelu klikněte na Ikona výpočetních prostředků Výpočty.
  2. Klikněte na název clusteru.
  3. Klikněte na kartu Knihovny .
  4. Zaškrtněte políčko vedle clusteru, ze kterého chcete knihovnu odinstalovat, klepněte na tlačítko Odinstalovat a potom potvrďte. Stav se změní na odinstalaci čekající na restartování.

Chcete-li odinstalovat knihovnu, klikněte na tlačítko Restartovat a potvrdit . Knihovna se odebere z karty Knihovny clusteru.

Zobrazení knihoven nainstalovaných v clusteru

  1. Na bočním panelu klikněte na Ikona výpočetních prostředků Výpočty.
  2. Klikněte na název clusteru.
  3. Klikněte na kartu Knihovny . Pro každou knihovnu se na kartě zobrazí název a verze, typ, stav instalace a zdrojový soubor( pokud se nahraje).

Aktualizace knihovny nainstalované v clusteru

Pokud chcete aktualizovat knihovnu nainstalovanou v clusteru, odinstalujte starou verzi knihovny a nainstalujte novou verzi.

Poznámka:

Requirements.txt soubory nevyžadují odinstalaci a restartování. Pokud jste změnili obsah souboru requirements.txt, můžete ho jednoduše přeinstalovat a aktualizovat obsah nainstalovaného souboru.