Nastavení prostředí

Důležité

Tato funkce je ve verzi Public Preview.

AI Runtime poskytuje dvě spravovaná Python prostředí pro serverless GPU výpočetní výkon. Standardní prostředí zahrnuje cuda. Ve verzi prostředí 5 už nejsou torch a torchvision předinstalovány. Prostředí Databricks AI je předem vybaveno frameworky PyTorch, Transformers a dalšími frameworky pro strojové učení a hluboké učení. Zvolte standardní prostředí pro úplnou kontrolu nad zásobníkem závislostí nebo prostředí AI pro připravené prostředí pro trénování. Můžete začít v kterémkoli prostředí a nainstalovat si další balíčky sami.

Tip

  • Vyberte prostředí Standard pro úplnou kontrolu nad závislostmi nebo prostředí Databricks AI pro ML stack připravený k použití.
  • Standard zahrnuje cuda. Od verze prostředí 5 torch a torchvision nejsou předinstalované. Prostředí AI obsahuje PyTorch, Transformers a další.
  • Nainstalujte více balíčků pomocí %uv pip install (ve verzi prostředí 5 a vyšší) nebo %pip install v notebooku anebo pomocí environment.dependencies v CLI.

Jaké prostředí použít

AI Runtime nabízí dvě spravovaná Python prostředí, standardní prostředí a prostředí Databricks AI.

Životní prostředí Klíčové charakteristiky Kdy ho použít
Standardní prostředí Minimální; zahrnuje cuda. Od verze 5 prostředí už torch a torchvision nejsou předinstalovány. Chcete mít plnou kontrolu nad zásobníkem závislostí a raději instalovat jenom to, co potřebujete.
AI prostředí Databricks Předem načtené s oblíbenými rozhraními ML (PyTorch, Transformers a další) Chcete kompletní prostředí pro trénování, vyladění a experimentování bez ruční správy závislostí.

Můžete také použít základní prostředí workspace , které správce workspace vytvořil pro AI Runtime. Viz Sestavení pro výpočetní prostředí GPU bez serveru (AI Runtime).

Pro výběr prostředí v notebooku otevřete boční panel Prostředí a vyberte základní prostředí:

Výběr základního prostředí v bočním panelu Prostředí zápisníku.

Standardní prostředí (minimální prostředí)

Minimální stabilní prostředí obsahující pouze požadované balíčky pro operaci modulu runtime AI. Prostředí zahrnuje cuda pro podporu GPU. Ve verzi prostředí 5 už nejsou torch a torchvision předinstalovány. Nainstalujte verze, které vaše pracovní zátěž potřebuje, pomocí %uv pip install nebo %pip install. Informace o balíčcích nainstalovaných v jednotlivých verzích prostředí najdete v poznámkách k verzi níže.

Nejlepší pro: Uživatelé, kteří chtějí mít plnou kontrolu nad správou závislostí a preferují instalaci jen toho, co opravdu potřebují.

Pro výběr: V bočním panelu Prostředí zvolte Standard v6 jako základní prostředí.

Další podrobnosti o verzích balíčků nainstalovaných v různých verzích najdete v poznámkách k verzi:

Prostředí Databricks AI

K dispozici v prostředí 4 a novějším. Prostředí AI je postavené na standardním prostředí s běžnými balíčky runtime a balíčky specifickými pro strojové učení v gpu. Mezi předinstalované balíčky patří:

  • PyTorch (s podporou CUDA)
  • Transformátory (Hugging Face)
  • A další závislosti ML/DL

Nejvhodnější pro: specialisté ML, kteří chtějí kompletní prostředí pro trénování úloh, vyladění a experimentování bez ruční správy závislostí.

Pro výběr: V bočním panelu Prostředí zvolte AI v6 jako základní prostředí.

Další podrobnosti o verzích balíčků nainstalovaných v různých verzích najdete v poznámkách k verzi:

Instalace dalších balíčků

Můžete začít buď ve spravovaném prostředí, nebo v základním prostředí pracovního prostoru a nainstalovat si na něj vlastní Python balíčky. Jak je nainstalujete, závisí na tom, jak se připojíte k AI Runtime.

V zápisníku

Nainstalujte balíčky na začátek notebooku nebo trénovacího skriptu pomocí %uv pip, který je nainstaluje pomocí uv a je rychlejší než %pip. Pinové verze, aby běhy zůstaly reprodukovatelné:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Úplné reference k %pip a %uv pip, včetně informací o tom, které verze prostředí podporují každou z nich, najdete v části Správa knihoven pomocí příkazů %uv.

Když použijete @distributed decorator pro multi-GPU workloady, balíčky, které nainstalujete před voláním .distributed() , jsou automaticky snapshotovány a propagovány do všech distribuovaných procesů. Celková velikost nainstalovaných balíčků nesmí překročit 15 GB. Další podrobnosti najdete v tématu Přidání závislostí do poznámkového bloku.

Pomocí CLI

CLIair používá stejná spravovaná prostředí. Vyberte jednu možnost pomocí environment.version a pak v YAML souboru vašeho workloadu pod environment.dependencies uveďte balíčky, které se na ni mají nainstalovat. CLI je instaluje do vybraného prostředí pomocí UV, takže si sami nespravujete samostatné virtuální prostředí:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Chcete-li místo toho začít z prostředí Databricks AI, nastavte version na identifikátor prostředí AI, například databricks_ai_v5. Pro plný formát závislostí, podporované instalační příznaky a podporu vlastních obrazů Dockeru viz Python závislosti.

Základní prostředí pracovního prostoru

Správce pracovního prostoru může vytvořit základní prostředí pracovního prostoru pro výpočetní prostředky GPU bez serveru, které zpřístupňuje všem uživatelům v pracovním prostoru prostřednictvím rozevírací nabídky Základní prostředí . Podrobnosti najdete v tématu Sestavení pro výpočetní prostředí GPU bez serveru (AI Runtime).

Chcete-li použít základní prostředí v plánované pracovní zátěži, uveďte je podle jeho identifikátoru v bloku environments úlohy nebo balíčku. Například tato úloha Declarative Automation Bundles vybírá prostředí Databricks AI:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Úplný příklad úlohy najdete v části Plánování pomocí rozhraní Jobs API a deklarativních balíčků automatizace.

Ukládání prostředí do mezipaměti a vlastní moduly

Kdy jsou prostředí uložená v mezipaměti?

AI Runtime ukládá do mezipaměti prostředí vašeho notebooku, takže když notebook znovu otevřete, nemusíte balíčky přeinstalovávat. Podrobnosti najdete v části Obnovení závislostí prostředí.

Cache se vztahuje i na interaktivní zápisníky. Pracovní zátěže běžící přes CLIair nebo plánované jako úlohy tuto cache nepoužívají; každý běh instaluje své závislosti čerstvě.

Jako nejlepší postup je připnout balíčky na konkrétní verzi, aby vaše cacheované prostředí zůstalo platné a vaše běhy reprodukovatelné.

Jak naimportuji vlastní moduly?

Následující kroky ukazují, jak používat vlastní Python moduly.

  1. Synchronizujte svůj kód s pracovním prostorem. Naklonujte repozitář Git do pracovního prostoru se složkou Git nebo nahrajte soubory přímo jako soubory pracovního prostoru. Ukládejte sdílený kód do složky /Workspace/Shared pro týmové projekty nebo do uživatelské složky pro osobní vývoj. Uchovávání kódu ve složce Git udržuje verzi řízenou.
  2. Přidejte složku a sys.path importujte ji nahoře do svého zápisníku nebo tréninkového skriptu:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Omezení

V AI Runtime nejsou k dispozici následující funkce:

  • Funkce Sparku: Funkce PySpark nelze importovat ani používat přímo. AI Runtime je prostředí jen pro Python; Spark není k dispozici jako místní modul runtime. Spark Connect je ale k dispozici pro načítání dat. Viz též Načtení dat v AI Runtime.
  • Knihovny Databricks Runtime ML: Předinstalované balíčky nejsou náhradou za Databricks Runtime ML. Některé knihovny ML dostupné ve službě Databricks Runtime ML nemusí být předinstalované v prostředí AI Runtime.
  • Privátní artefakty: Modul runtime AI v určitých případech podporuje privátní artefakty. Pro další podrobnosti kontaktujte tým spravující váš účet.
  • Last updated on