Správa závislostí pomocí prostředí

Important

Tato funkce je v beta verzi. Správci účtů mohou ovládat přístup k této funkci ze stránky Preview v konzoli účtu pomocí přepínač Environments for Standard Compute . Viz Manage Azure Databricks preview.

Na klasickém výpočetním režimu umožňuje režim závislostí Environments spravovat závislosti na úrovni zátěže pomocí základních prostředí místo instalace knihoven zaměřených na výpočetní omezení. Tento model používá serverless compute.

Nastavení prostředí zůstává izolované od změn na úrovni výpočetních prostředků, takže se úlohy nenaruší, když se podkladové výpočetní prostředky změní. A protože Azure Databricks ukládá základní prostředí do cache, závislosti se neřeší a nenainstalují při startu, takže výpočetní technika startuje rychleji a zabraňuje selháním při řešení balíčků, dostupnosti repozitáře nebo spolehlivosti sítě.

Po připojení k výpočetnímu systému, který používá závislostní režim Prostředí , můžete vybrat základní prostředí a přidat závislosti z bočního panelu Prostředí zápisníku. Viz Používejte prostředí v zápisníku.

Requirements

Nastavení režimu závislosti je dostupné pouze u výpočetního zařízení, které splňuje následující požadavky:

• Databricks Runtime 19 (Beta) nebo vyšší
• Standardní režim přístupu
• Univerzální výpočetní výkon běžící v interaktivních noteboidech

Pro podrobnosti o podpoře viz Omezení.

Nastavte režim závislosti

Pro vytvoření výpočtu, který využívá závislostní režim Prostředí :

1. V postranním panelu pracovního prostoru klikněte na Vypočítat a poté otevřete záložku Všestranné výpočty .

2. Klikněte na Vytvořit výpočet.

3. V sekci Výkon vyberte 19 Beta nebo vyšší z rozbalovacího menu verze Databricks Runtime.

4. Rozbalte sekci Pokročilé a klikněte na Závislosti.

5. Pro režim závislostí nechte vybráné Auto, aby Azure Databricks režim vyřešil, nebo klikněte na Manuální a vyberte Prostředí, abyste si ho nastavili sami. Viz možnosti režimu závislostí.

   

6. Nakonfigurujte zbytek výpočtu a klikněte na Vytvořit.

Po spuštění výpočtu připojte notebook a nakonfigurujte jeho prostředí podle článku Použít prostředí v notebooku.

Možnosti režimu závislostí

Ovládání režimu závislostí má dvě nastavení, která určují, jak je režim zvolen:

• Auto: Azure Databricks řeší tento režim na základě konfigurace výpočetní techniky. Automaticky se mapuje na Environments, pokud ovšem výpočet nespecifikuje Docker, proměnné prostředí Sparku nebo inicializační skripty; v takovém případě se mapuje na Knihovny clusteru.
• Manuál: Sami si vyberete Prostředí nebo knihovny clusteru.

Když zvolíte Manual, vyberte režim, který vám vyhovuje:

• Prostředí: Spravujte závislosti na úrovni úlohy pomocí základních prostředí. Clusterové knihovny, Docker, proměnné prostředí Spark a init skripty jsou deaktivovány. Tento režim použijte pro konzistentní a přenosné prostředí pro práci se závislostmi, které odpovídá serverless výpočetnímu prostředí.
• Clusterové knihovny: Klasické chování. Instalujte závislosti na výpočetním zařízení pomocí clusterových knihoven, init skriptů nebo Dockeru. Tento režim použij, pokud tvůj pracovní zátěž vyžaduje některou z těchto nastavení.

Aktualizujte existující výpočetní soubor

Pokud upravujete nastavení pro stávající výpočetní zařízení, přepnutí do režimu Prostředí je zablokováno, pokud výpočetní zařízení nemá kompatibilní nastavení, jako jsou init skripty, clusterové knihovny nebo Docker. Pokud nejdřív odstraníte nekompatibilní nastavení, můžete pak upravit závislostní režim.

Pokud přepnete z prostředí do režimu clusterových knihoven, připojené notebooky si zachovají výběr prostředí, ale tyto možnosti se stanou neaktivními. Pokud přepnete výpočetní režim zpět do režimu Prostředí , tyto volby se opět aktivují.

Používejte prostředí v zápisníku

Pro použití prostředí v notebooku připojte notebook ke klasickému výpočetnímu zdroji, který používá závislostní režim Environments . Po připojení notebooku můžete nakonfigurovat závislosti notebooku v postranním panelu Prostředí, stejně jako u serverless compute.

Vyberte základní prostředí

Základní prostředí určuje předinstalované knihovny a verzi prostředí dostupné pro váš notebook. Výběr základního prostředí v podokně Prostředí je místo, kde zvolíte prostředí. Databricks doporučuje používat nejnovější verzi, aby bylo možné využívat nejnovější funkce poznámkového bloku. Pro podrobnosti o každé verzi prostředí viz Verze prostředí.

Selektor základního prostředí obsahuje následující možnosti:

• Standard: Výchozí základní prostředí s knihovnami poskytovanými službou Databricks.
• ML: Základní prostředí s Python a systémovými balíčky z Databricks Runtime pro Machine Learning předinstalované.
• Další: Rozbalí a zobrazí další možnosti.
  • Předchozí verze standardních a ML prostředí.
  • Vlastní: Zadejte vlastní prostředí pomocí souboru YAML.
• Pracovní prostředí: Uvádí všechna kompatibilní základní prostředí nakonfigurovaná pro váš pracovní prostor administrátory pracovního prostoru.

Přidání závislostí do poznámkového bloku

Azure Databricks ukládá virtuální prostředí poznámkového bloku do mezipaměti, takže závislosti se nepřeinstalují při každém opětovném otevření poznámkového bloku nebo obnovení po nečinnosti.

Postup individuální instalace závislosti:

1. V sekci Závislosti zadejte cestu závislosti do pole a klikněte na +Přidat závislost. Závislost můžete zadat v libovolném formátu, který je platný v souboru requirements.txt . Soubory kol Pythonu nebo projekty Pythonu (například adresář obsahující a pyproject.toml nebo setup.py) se dají nacházet v souborech pracovního prostoru nebo ve svazcích katalogu Unity.

   • Pokud používáte soubor pracovního prostoru, měla by být cesta absolutní a začínat na /Workspace/.
   • Pokud používáte soubor ve svazku katalogu Unity, měla by být cesta v následujícím formátu: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Kliknutím na Apply nainstalujte závislosti a restartujte proces Python.

Important

Neinstalujte PySpark ani žádnou knihovnu, která instaluje PySpark jako závislost na vašich noteboích. Pokud tak učiníte, zastavíte relaci a výsledkem bude chyba. Pokud k tomu dojde, odstraň knihovnu a resetuj prostředí.

Pro zobrazení nainstalovaných závislostí klikněte na záložku Installed v panelu Prostředí . Kliknutím na protokoly pip v dolní části podokna otevřete instalační protokoly pip pro prostředí poznámkového bloku.

Limitations

Režim závislostí Environments podporuje úlohy v Pythonu a závislosti v interaktivních poznámkových blocích. Platí následující omezení:

• Klasické úlohy nepoužívají režim závislostí Prostředí . Když úloha běží na klasickém univerzálním výpočtu, který specifikuje režim prostředí , toto nastavení se ignoruje a úloha běží místo toho v režimu klastrových knihoven .
• %scala Kód není podporován a selže.
• Platí všechna standardní omezení přístupových režimů, včetně absence podpory pro R. Viz požadavky a omezení standardního výpočtu.
• V současnosti nelze vynucovat nastavení režimu závislostí pomocí výpočetních politik.

Nekompatibilní nastavení

Když je režim závislostí prostředí povolen, jsou zakázána následující výpočetní nastavení:

• Docker (Azure Databricks Container Services)
• Proměnné prostředí Spark
• Inicializační skripty
• Knihovny clusteru