Saját környezet beállítása

Az AI Runtime két menedzselt Python környezetet biztosít. A Standard környezet tartalmazza cuda. Az 5-ös környezeti verziótól kezdve a torch és a torchvision már nincsenek előre telepítve. A Databricks AI környezete előre telepítve van PyTorch-kal, Transformers-szel és más gépi tanulási és mélytanulási keretrendszerekkel. A függőségi verem teljes körű vezérléséhez válassza a Standard környezetet, vagy az AI-környezetet egy használatra kész betanítási beállításhoz. Bármelyik környezetből kezdheted, és magad telepíthetsz több csomagot.

Főbb pontok ezen az oldalon:

  • Válasszuk a Standard környezetet a függőségek teljes ellenőrzéséhez, vagy a Databricks AI környezetet egy kész ML stackhez.
  • A szabvány tartalmazza cuda. Az 5-ös környezetverziótól kezdve a torch és a torchvision nincs előre telepítve. Az MI-környezet tartalmazza a PyTorchöt, a Transformerst és további elemeket.
  • Telepítsen további csomagokat a %uv pip install használatával (az 5-ös vagy újabb környezetverzió esetén), illetve jegyzetfüzetben a %pip install használatával, vagy a CLI-ben a environment.dependencies használatával.

Milyen környezetet használjon?

Az AI Runtime két felügyelt Python környezetet kínál, a Standard környezetet és a Databricks AI-környezetet.

Environment Főbb jellemzők Mikor érdemes használni?
Standard környezet Minimális; magában foglalja a(z) cuda. Az 5-ös környezeti verziótól kezdve a torch és a torchvision már nincsenek előre telepítve. Teljes körű vezérlést szeretne a függőségi verem felett, és inkább csak azt szeretné telepíteni, amire szüksége van
Databricks AI-környezet Előre betöltve népszerű gépi tanulási (ML) keretrendszerekkel (PyTorch, Transformers és mások) Teljes környezetet szeretne a betanításhoz, finomhangoláshoz és kísérletezéshez manuális függőségkezelés nélkül

Használhatsz egy olyan munkaterületi alapkörnyezetet is, amelyet egy munkaterület-admin épített AI Runtime-hoz. Lásd: Szerver nélküli GPU-számítás létrehozása (AI-futtatókörnyezet).

A füzetben környezet kiválasztásához nyisd meg a Környezet oldalpanelt, és válassz egy alap környezetet:

Alap környezet kiválasztása a notebook Környezet oldalpanelén.

Standard környezet (minimális környezet)

Minimális, stabil környezet, amely csak az AI Runtime-művelethez szükséges csomagokat tartalmazza. A környezet gpu-támogatással is rendelkezik cuda . Az 5-ös környezeti verziótól kezdve a torch és a torchvision már nincsenek előre telepítve. Telepítsd a számítási feladatod által igényelt verziókat a(z) %uv pip install vagy %pip install használatával. Az egyes környezeti verziókban telepített csomagokról lásd az alábbi kibocsátási megjegyzéseket.

A legjobb megoldás: Azok a felhasználók, akik teljes mértékben szabályozni szeretnék a függőségi vermet, és csak azt szeretnék telepíteni, amire szükségük van.

A választáshoz: A Környezet oldalpanelen válaszd a Standard v6-ot alapkörnyezetnek.

A különböző verziókban telepített csomagverziókkal kapcsolatos további részletekért tekintse meg a kibocsátási megjegyzéseket:

Databricks AI-környezet

A 4. és újabb környezetben érhető el. Az AI-környezet a Standard környezetre épül, gyakori futtatókörnyezeti csomagokkal és a GPU-k gépi tanulására jellemző csomagokkal. Az előre telepített csomagok a következők:

  • PyTorch (CUDA-támogatással)
  • Transformers (Hugging Face)
  • És további ML/DL-függőségek

A legjobb megoldás: olyan gépi tanulási szakembereknek, akik teljes környezetet szeretnének a számítási feladatok betanításához, a finomhangoláshoz és a kísérletezéshez manuális függőségkezelés nélkül.

A választás: A Környezet oldali panelen válaszd ki az AI v6-ot alapkörnyezetednek.

A különböző verziókban telepített csomagverziókkal kapcsolatos további részletekért tekintse meg a kibocsátási megjegyzéseket:

További csomagok telepítése

Kezdhetsz menedzselt környezetből vagy egy munkaterület alapú környezetből, és rá telepítheted saját Python csomagokat. A telepítésük módja attól függ, hogyan csatlakozol az AI Runtime-hoz.

Egy jegyzetfüzetben

Telepíts csomagokat a notebookod vagy a betanító szkripted elején a(z) %uv pip használatával, amely uv-vel telepít, és gyorsabb, mint a(z) %pip. A verziók rögzítése, hogy a futások reprodukálhatók maradjanak:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

A(z) %pip és %uv pip teljes referenciáját, beleértve azt is, hogy az egyeseket mely környezeti verziók támogatják, a Könyvtárak kezelése %uv parancsokkal című témakörben találja.

Amikor a @distributed dekorátort több-GPU-s munkaterhelésekhez használod, a behívás előtt telepített .distributed() csomagok automatikusan snapshotolódnak és továbbítódnak az összes elosztott folyamathoz. A telepített csomagok teljes mérete nem haladhatja meg a 15 GB-ot. További részletekért lásd: Függőségek hozzáadása a jegyzetfüzethez.

A parancssori felülettel

Aair CLI ugyanazokat a kezelt környezeteket használja. Válassz ki egyet a(z) environment.version használatával, majd sorold fel az arra telepítendő csomagokat a workload YAML-fájlodban a(z) environment.dependencies alatt. A CLI UV-vel telepíti őket a kiválasztott környezetbe, így nem kell külön virtuális környezetet kezelni:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Ha ehelyett a Databricks AI-környezetből szeretne indulni, állítsa a(z) version értékét egy AI-környezetazonosítóra, például databricks_ai_v5 értékre. A teljes függőségi formátumról, a támogatott telepítési jelzőkről, valamint az egyéni Docker-lemezkép támogatásáról lásd: környezet.

Munkaterület alapkörnyezetei

Egy munkaterület-admin létrehozhat egy munkaterületi alapkörnyezetet az AI Runtime számára, amely a munkaterület összes felhasználója számára elérhetővé válik a Base environment legördülő menüben. További részletekért lásd: Build kiszolgáló nélküli GPU-számításhoz (AI-futtatókörnyezet).

Az alapkörnyezet ütemezett munkaterhelésben való használatához hivatkozzon rá azonosítójával a feladat vagy csomag environments blokkjában. Például ez a Deklaratív Automatizálási Csomagok feladat kiválasztja a Databricks AI környezetét:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Teljes munkapéldaként lásd: GPU munkaterhelések ütemezése és feladatok összeállítása.

Környezeti gyorsítótárazás és egyéni modulok

Mikor vannak gyorsítótárazva a környezetek?

Az AI Runtime gyorsítótárba helyezi a notebook környezetét, így amikor újra megnyitod a notebookot, nem kell újra telepítened a csomagokat. Részletekért lásd: Környezetfüggőségek visszaállítása.

A gyorsítótározás interaktív jegyzetfüzetekre vonatkozik. A CLI-n keresztül futó air vagy beütemezett feladatok nem használják ezt a gyorsítótárt; minden futtatás frissen telepíti a függőségeit.

Legjobb gyakorlatként rögzítsd a csomagokat egy adott verzióba, hogy a gyorsatáros környezet érvényes maradjon, és a futtatások reprodukálhatók maradjanak.

Hogyan importálhatok egyéni modulokat?

Az alábbi lépések bemutatják, hogyan használhatod saját Python moduljaidat.

  1. Szinkronizáld a kódodat a munkaterülettel. Klónozz egy Git repositoryt a munkaterületbe egy Git mappával, vagy töltsd fel a fájlokat közvetlenül munkaterületi fájlként. Tárold a közös kódot /Workspace/Shared a csapatprojektek alatt, vagy egy felhasználói mappában személyes fejlődéshez. Ha a kódot egy Git mappában tartjuk, verziókontroll marad.
  2. Add hozzá a mappát sys.path és importáld a jegyzetfüzeted vagy a képzési szkriptek tetejére:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Limitations

A következő képességek nem érhetők el az AI-futtatókörnyezetben:

  • Spark-függvények: A PySpark-függvényeket nem importálhatja vagy használhatja közvetlenül. Az AI-futtatókörnyezet csak Python-környezet; A Spark helyi futtatókörnyezetként nem érhető el. A Spark Connect azonban elérhető adatbetöltéshez. Lásd : Adatok betöltése az AI-futtatókörnyezetben.
  • Databricks Runtime ML-kódtárak: Az előre telepített csomagok nem helyettesítik a Databricks Runtime ML-t. Előfordulhat, hogy a Databricks Runtime ML-ben elérhető egyes ML-kódtárak nincsenek előre telepítve az AI-futtatókörnyezetben.
  • Privát összetevők: Az AI-futtatókörnyezet bizonyos esetekben támogatja a privát összetevőket. További részletekért forduljon a fiókcsapatához.
  • Utolsó frissítés időpontja: