Správa balíčků s vymezeným oborem relace

Kromě balíčků na úrovni fondu můžete také na začátku relace poznámkového bloku zadat knihovny s vymezeným oborem relace. Knihovny s oborem relace umožňují určit a používat vlastní prostředí Pythonu nebo balíčky jar v rámci relace poznámkového bloku.

Při používání knihoven vymezených relací je důležité mít na paměti následující body:

  • Při instalaci knihoven s vymezeným oborem relace má k zadaným knihovnám přístup jenom aktuální poznámkový blok.
  • Tyto knihovny nebudou mít vliv na jiné relace nebo úlohy používající stejný fond Sparku.
  • Tyto knihovny se instalují nad základní knihovny modulu runtime a na úrovni fondu.
  • Knihovny poznámkových bloků budou mít nejvyšší prioritu.

Balíčky Pythonu s vymezeným oborem relace

Určení balíčků Pythonu s vymezeným oborem relace:

  1. Přejděte do vybraného fondu Sparku a ujistěte se, že máte povolené knihovny na úrovni relace. Toto nastavení můžete povolit tak, že přejdete na kartu Spravovat>balíčky fondu>Apache Sparku. Snímek obrazovky s povolením balíčků relací
  2. Po použití nastavení můžete otevřít poznámkový blok a vybrat Konfigurovatbalíčkyrelací>. Snímek obrazovky s určením balíčků relacíSnímek obrazovky s nahráním souboru Yml
  3. Tady můžete nahrát soubor Conda environment.yml pro instalaci nebo upgrade balíčků v rámci relace. Po spuštění relace se nainstalují zadané knihovny. Jakmile relace skončí, tyto knihovny už nebudou dostupné, protože jsou specifické pro vaši relaci.

Ověření nainstalovaných knihoven

Pokud chcete ověřit, jestli jsou z PyPI nainstalované správné verze správných knihoven, spusťte následující kód:

import pkg_resources
for d in pkg_resources.working_set:
     print(d)

V některých případech možná budete muset verzi balíčku z Conda zkontrolovat jednotlivě.

Balíčky Java nebo Scala s oborem relace

Pokud chcete zadat balíčky Java nebo Scala s oborem relace, můžete použít tuto %%configure možnost:

%%configure -f
{
    "conf": {
        "spark.jars": "abfss://<<file system>>@<<storage account>.dfs.core.windows.net/<<path to JAR file>>",
    }
}

Doporučujeme spustit %%configure na začátku poznámkového bloku. Úplný seznam platných parametrů najdete v tomto dokumentu .

Další kroky