Saját környezet beállítása

Fontos

Az egycsomópontos feladatokhoz készült AI-futtatókörnyezet nyilvános előzetes verzióban érhető el. A több GPU-s számítási feladatok elosztott betanítási API-ja a bétaverzióban marad.

Ez a lap bemutatja, hogyan választhat és konfigurálhat Python-környezetet az AI-futtatókörnyezethez, beleértve a környezet gyorsítótárazási viselkedését, az egyéni modulimportálást és az ismert korlátozásokat.

Milyen környezetet használjon?

Az AI Runtime két felügyelt Python-környezetet kínál, az alapértelmezett alapkörnyezetet és a Databricks AI-környezetet.

Környezet	Főbb jellemzők	Mikor érdemes használni?
Alapértelmezett alapkörnyezet	Minimális, csak torch, cuda, és torchvision	Teljes körű vezérlést szeretne a függőségi verem felett, és inkább csak azt szeretné telepíteni, amire szüksége van
Databricks AI-környezet	Előre betöltve népszerű gépi tanulási (ML) keretrendszerekkel (PyTorch, Transformers és mások)	Teljes környezetet szeretne a betanításhoz, finomhangoláshoz és kísérletezéshez manuális függőségkezelés nélkül

Megjegyzés:

A munkaterület alapkörnyezetei nem támogatottak az AI-futtatókörnyezetekben. Ehelyett használja az alapértelmezett vagy az AI-környezetet, és adjon meg további függőségeket közvetlenül a Környezetek oldalpanelen vagy pip install azokban.

Alapértelmezett alapkörnyezet (minimális környezet)

Minimális, stabil környezet, amely csak az AI Runtime-művelethez szükséges csomagokat tartalmazza. A környezet tartalmazza a torch, cuda, és torchvision elemeket, amelyek kompatibilitásra vannak optimalizálva. Adott csomagverziókhoz szükség szerint használja pip install vagy rögzítse a szükséges verziókat.

A legjobb megoldás: Azok a felhasználók, akik teljes mértékben szabályozni szeretnék a függőségi vermet, és csak azt szeretnék telepíteni, amire szükségük van.

Ez az alapértelmezett környezet, amikor AI-futtatókörnyezeten keresztül csatlakozik kiszolgáló nélküli GPU-hoz.

A különböző verziókban telepített csomagverziókkal kapcsolatos további részletekért tekintse meg a kibocsátási megjegyzéseket:

• GPU-környezet 4

Databricks AI-környezet

A 4. és újabb környezetben érhető el. Az AI-környezet az alapértelmezett alapkörnyezetre épül, gyakori futtatókörnyezeti csomagokkal és a GPU-k gépi tanulására jellemző csomagokkal. Az előre telepített csomagok a következők:

• PyTorch (CUDA-támogatással)
• Transformers (Hugging Face)
• És további ML/DL-függőségek

A legjobb megoldás: olyan gépi tanulási szakembereknek, akik teljes környezetet szeretnének a számítási feladatok betanításához, a finomhangoláshoz és a kísérletezéshez manuális függőségkezelés nélkül.

A kiválasztáshoz: A Környezet oldali panelen válassza az AI v4-es verziót alapkörnyezetként.

A különböző verziókban telepített csomagverziókkal kapcsolatos további részletekért tekintse meg a kibocsátási megjegyzéseket:

• AI-környezet 4

Munkaterület alapkörnyezetei

A munkaterület alapkörnyezetei nem támogatottak az AI-futtatókörnyezetekben. Egyéni munkaterületszintű környezetkonfigurációk nem használhatók.

A mélytanulási környezet projekthez való konfigurálásához használja a két alapkörnyezet egyikét (alapértelmezett vagy Databricks AI), és telepítsen további csomagokat programozott módon %pip install a jegyzetfüzetben vagy a betanítási szkript tetején:

%pip install datasets accelerate peft bitsandbytes

További kódtárakat telepíthet az AI Runtime-környezetbe. Lásd: Függőségek hozzáadása a jegyzetfüzethez.

Magatartás

Mikor vannak gyorsítótárazva a környezetek?

A környezetek a munkamenetek között gyorsítótárazva vannak az indítási idők felgyorsítása érdekében. Ha ugyanazzal a környezetkonfigurációval újracsatlakozik az AI-futtatókörnyezethez, a korábban telepített csomagok elérhetők lehetnek a gyorsítótárból, ami csökkenti a beállítási időt.

A gyorsítótár működése azonban nem garantált – mindig győződjön meg arról, hogy a jegyzetfüzet tartalmazza a reprodukálhatósághoz szükséges %pip install parancsokat.

Hogyan importálhatok egyéni modulokat?

Az egyéni modulokat úgy importálhatja, hogy elhelyezi őket /Workspace/Shared és hozzáadja az elérési utat ehhez: sys.path.

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

A modulfájlokat munkaterületfájlokként is feltöltheti, és közvetlenül importálhatja őket. A többfelhasználós együttműködéshez a megosztott kódot /Workspace/Shared a felhasználóspecifikus mappák helyett tárolja. Aktív fejlesztéshez használjon felhasználóspecifikus mappákat, és küldjön le egy távoli Git-adattárba a verziókövetéshez.

Korlátozások

A következő képességek nem érhetők el az AI-futtatókörnyezetben:

• Spark-függvények – A PySpark-függvényeket nem importálhatja vagy használhatja közvetlenül. Az AI-futtatókörnyezet csak Python-környezet; A Spark helyi futtatókörnyezetként nem érhető el. A Spark Connect azonban elérhető adatbetöltéshez. Lásd : Adatok betöltése az AI-futtatókörnyezetben.
• Databricks Runtime ML-kódtárak – Az előre telepített csomagok nem helyettesítik a Databricks Runtime ML-t. Előfordulhat, hogy a Databricks Runtime ML-ben elérhető egyes ML-kódtárak nincsenek előre telepítve az AI-futtatókörnyezetben.
• Munkaterületi alapkörnyezetek – Az egyéni munkaterületszintű környezetkonfigurációk nem támogatottak.
• Privát összetevők – Az AI-futtatókörnyezet bizonyos esetekben támogatja a privát összetevőket. További részletekért forduljon a fiókcsapatához.