Uw omgeving instellen

Belangrijk

AI Runtime voor taken met één knooppunt bevindt zich in openbare preview. De gedistribueerde trainings-API voor workloads met meerdere GPU's blijft bèta.

Op deze pagina wordt beschreven hoe u een Python-omgeving kunt kiezen en configureren voor AI Runtime, waaronder gedrag van omgevingscaching, import van aangepaste modules en bekende beperkingen.

Welke omgeving moet worden gebruikt

AI Runtime biedt twee beheerde Python-omgevingen, de standaardbasisomgeving en de Databricks AI-omgeving.

Milieu	Belangrijkste kenmerken	Wanneer gebruiken
Standaardbasisomgeving	Minimaal, alleen torch, cuda, en torchvision inbegrepen	U wilt volledige controle over uw afhankelijkheidsstack en wilt alleen installeren wat u nodig hebt
Databricks AI-omgeving	Vooraf geladen met populaire ML-frameworks (PyTorch, transformers en meer)	U wilt een volledige omgeving voor training, afstemming en experimenten zonder handmatig afhankelijkheidsbeheer

Opmerking

Basisomgevingen voor werkruimten worden niet ondersteund voor AI Runtime. Gebruik in plaats daarvan de standaard- of AI-omgeving en geef extra afhankelijkheden rechtstreeks op in het deelvenster Omgevingen of pip install specificeer ze daar.

Standaardbasisomgeving (minimale omgeving)

Een minimale, stabiele omgeving met alleen de vereiste pakketten voor AI Runtime-bewerking. De omgeving bevat torch, cudaen torchvision, geoptimaliseerd voor compatibiliteit. Voor specifieke pakketversies kunt u pip install gebruiken of de benodigde versies vastzetten.

Het beste voor: gebruikers die volledige controle willen over hun afhankelijkheidsstack en die liever alleen installeren wat ze nodig hebben.

Dit is de standaardomgeving wanneer u via AI Runtime verbinding maakt met een serverloze GPU.

Zie de releaseopmerkingen voor meer informatie over pakketversies die in verschillende versies zijn geïnstalleerd:

• GPU-omgeving 4

Databricks AI-omgeving

Beschikbaar in omgeving 4 en hoger. De AI-omgeving is gebouwd op basis van de standaardbasisomgeving met algemene runtimepakketten en pakketten die specifiek zijn voor machine learning op GPU's. Vooraf geïnstalleerde pakketten zijn onder andere:

• PyTorch (met CUDA-ondersteuning)
• Transformers (Hugging Face)
• En aanvullende ML-/DL-afhankelijkheden

Het beste voor: ML-beoefenaars die een volledige omgeving willen voor trainingsworkloads, fine-tuning en experimenten zonder handmatig afhankelijkheidsbeheer.

Als u dit wilt selecteren: kies AI v4 in het zijpaneel van de omgeving als basisomgeving.

Zie de releaseopmerkingen voor meer informatie over pakketversies die in verschillende versies zijn geïnstalleerd:

• AI-omgeving 4

Basisomgevingen voor werkruimten

Basisomgevingen voor werkruimten worden niet ondersteund voor AI Runtime. U kunt geen aangepaste omgevingsconfiguraties op werkruimteniveau gebruiken.

Als u uw Deep Learning-omgeving voor een project wilt configureren, gebruikt u een van de twee meegeleverde basisomgevingen (standaard- of Databricks AI) en installeert u extra pakketten programmatisch met behulp %pip install van uw notebook of boven aan uw trainingsscript:

%pip install datasets accelerate peft bitsandbytes

U kunt extra bibliotheken installeren in de AI Runtime-omgeving. Zie Afhankelijkheden toevoegen aan het notebook.

Gedrag

Wanneer worden omgevingen in de cache opgeslagen?

Omgevingen worden in de cache opgeslagen in sessies om opstarttijden te versnellen. Wanneer u opnieuw verbinding maakt met AI Runtime met dezelfde omgevingsconfiguratie, zijn eerder geïnstalleerde pakketten mogelijk beschikbaar vanuit de cache, waardoor de installatietijd wordt verkort.

Cachegedrag is echter niet gegarandeerd. Zorg er altijd voor dat uw notebook de benodigde %pip install opdrachten voor reproduceerbaarheid bevat.

Hoe importeer ik aangepaste modules?

U kunt aangepaste modules importeren door ze in /Workspace/Shared te plaatsen en het pad toe te voegen aan sys.path:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

U kunt modulebestanden ook uploaden als werkruimtebestanden en ze rechtstreeks importeren. Voor samenwerking met meerdere gebruikers slaat u gedeelde code op in /Workspace/Shared plaats van in gebruikersspecifieke mappen. Voor actieve ontwikkeling gebruikt u gebruikersspecifieke mappen en pusht u naar een externe Git-opslagplaats voor versiebeheer.

Beperkingen

De volgende mogelijkheden zijn niet beschikbaar in AI Runtime:

• Spark-functies : u kunt PySpark-functies niet rechtstreeks importeren of gebruiken. AI Runtime is een alleen Python-omgeving; Spark is niet beschikbaar als lokale runtime. Spark Connect is echter beschikbaar voor het laden van gegevens. Zie Gegevens laden in AI Runtime.
• Databricks Runtime ML-bibliotheken : vooraf geïnstalleerde pakketten zijn geen vervanging voor Databricks Runtime ML. Sommige ML-bibliotheken die beschikbaar zijn in Databricks Runtime ML, zijn mogelijk niet vooraf geïnstalleerd in AI Runtime.
• Basisomgevingen voor werkruimten : omgevingsconfiguraties op aangepast werkruimteniveau worden niet ondersteund.
• Privéartefacten : AI Runtime biedt in bepaalde gevallen ondersteuning voor privéartefacten. Neem contact op met uw accountteam voor meer informatie.