Správa závislostí Pythonu pro kanály

Deklarativní kanály Sparku Lakeflow podporují externí závislosti ve vašich kanálech. Databricks doporučuje k instalaci balíčků Pythonu použít jeden ze dvou vzorů:

1. Pomocí nastavení prostředí přidejte balíčky do prostředí kanálu pro všechny zdrojové soubory v kanálu.
2. Importujte moduly nebo knihovny ze zdrojového kódu uloženého v souborech pracovního prostoru. Viz Import modulů Pythonu ze složek Gitu nebo souborů pracovního prostoru.

Pipeline, které používají klasické výpočetní prostředí, také podporují inicializační skripty na úrovni clusteru. Deklarativní kanály Lakeflow Spark bez serveru nepodporují inicializační skripty. Ve všech případech databricks doporučuje používat nastavení prostředí místo inicializačních skriptů, protože externí závislosti, zejména inicializační skripty, zvyšují riziko problémů s upgrady modulu runtime. Pokud vaše zpracování vyžaduje inicializační skripty, automatizujte testování kanálu, abyste včas zjistili problémy, a Databricks doporučuje zvýšit frekvenci testování.

Důležité

Vzhledem k tomu, že knihovny JVM nejsou v kanálech podporované, nepoužívejte inicializační skript k instalaci knihoven JVM. Pomocí inicializačního skriptu ale můžete nainstalovat jiné typy knihoven, například knihovny Python.

Pythonové knihovny

Pokud chcete zadat externí knihovny Pythonu, upravte prostředí pro váš pipeline.

1. V editoru kanálů klikněte na Nastavení.
2. V části Pipeline prostředí vyberte Upravit prostředí.
3. Klikněte na Přidání závislosti
4. Zadejte název závislosti. Databricks doporučuje zafixovat verzi knihovny. Pokud chcete například přidat závislost na simplejson verzi 3.19, zadejte simplejson==3.19.*.

Balíček ve formátu wheel pro Python můžete také nainstalovat ze svazku katalogu Unity tím, že uvedete jeho cestu, například /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whl.

Note

Pipeline nepodporují ruční restart procesu Pythonu pomocí dbutils.library.restartPython(). Deklarujte všechny závislosti Pythonu v nastavení Environment namísto jejich instalace nebo opětovného načítání za běhu. Použití nastavení prostředí také umožňuje kanálům opakovaně používat knihovny uložené v mezipaměti napříč běhy místo jejich přeinstalace při každém spuštění.

Verze prostředí

Ve výchozím nastavení pochází Python jazyková verze a předinstalovaná sada knihoven dostupná pro váš kanál z aktuální verze kanálu Databricks Runtime. Aktuální verze a seznamy balíčků pro jednotlivá runtime najdete v poznámkách k verzi Lakeflow Spark Declarative Pipelines a v postupu upgradu vydání.

Důležité

Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

Chcete-li pevně určit verzi jazyka Python a sadu předinstalovaných knihoven nezávisle na aktualizacích Databricks Runtime, nakonfigurujte pro kanál verzi prostředí. I když je nastavená verze prostředí, upgrady modulu Databricks Runtime nemění jazykovou verzi Python ani předinstalované verze knihovny a všechny externí závislosti, které přidáte prostřednictvím nastavení Environment jsou nad touto základnou vrstvené. Viz Konfigurace verzí prostředí pro kanály.

Podpora knihovny Scala a Java

Ne, kanály podporují pouze SQL a Python. V pipeline nelze použít knihovny JVM. Instalace knihoven JVM způsobuje nepředvídatelné chování a v budoucích verzích produktu Lakeflow Spark Declarative Pipelines může přestat fungovat. Pokud váš kanál používá inicializační skript, musíte také zajistit, aby skript nenainstaloval knihovny JVM.