Uw omgeving instellen

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

AI Runtime biedt twee beheerde Python-omgevingen voor serverless GPU-berekening. De standaardomgeving omvat cuda. Vanaf omgevingsversie 5 torch en torchvision zijn ze niet meer vooraf geïnstalleerd. De Databricks AI-omgeving is vooraf geladen met PyTorch, Transformers en andere ML- en deep learning-frameworks. Kies de standaardomgeving voor volledige controle over uw afhankelijkheidsstack of de AI-omgeving voor een kant-en-klare trainingsinstallatie. Je kunt vanuit beide omgevingen beginnen en zelf meer pakketten installeren.

Belangrijke punten op deze pagina:

  • Kies de Standard-omgeving voor volledige controle over afhankelijkheden, of de Databricks AI-omgeving voor een gebruiksklare ML-stack.
  • Standard omvat cuda. Vanaf omgevingsversie 5 zijn torch en torchvision niet vooraf geïnstalleerd. De AI-omgeving voegt PyTorch, Transformers en meer toe.
  • Installeer meer pakketten met %uv pip install (omgevingsversie 5 en hoger) of %pip install in een notebook, of met environment.dependencies via de CLI.

Welke omgeving moet worden gebruikt

AI Runtime biedt twee beheerde Python omgevingen, de Standard-omgeving en de Databricks AI-omgeving.

Milieu Belangrijkste kenmerken Wanneer gebruiken
Standaardomgeving Minimale; bevat cuda. Vanaf omgevingsversie 5torch en torchvision zijn ze niet meer vooraf geïnstalleerd. U wilt volledige controle over uw afhankelijkheidsstack en wilt alleen installeren wat u nodig hebt
Databricks AI-omgeving Vooraf geladen met populaire ML-frameworks (PyTorch, transformers en meer) U wilt een volledige omgeving voor training, afstemming en experimenten zonder handmatig afhankelijkheidsbeheer

Je kunt ook een werkruimtebasisomgeving gebruiken die een werkruimtebeheerder heeft gebouwd voor AI Runtime. Zie Versie voor serverless GPU-computing (AI Runtime).

Om een omgeving in een notitieboekje te kiezen, open je het zijpaneel Omgeving en selecteer je een basisomgeving:

Een basisomgeving selecteren in het notitieboek-omgevingspaneel.

Standaardomgeving (minimale omgeving)

Een minimale, stabiele omgeving met alleen de vereiste pakketten voor AI Runtime-bewerking. De omgeving omvat cuda voor GPU-ondersteuning. Vanaf omgevingsversie 5 torch en torchvision zijn ze niet meer vooraf geïnstalleerd. Installeer de versies die je workload nodig heeft met %uv pip install of %pip install. Zie de onderstaande releaseopmerkingen voor de pakketten die in elke omgevingsversie zijn geïnstalleerd.

Het beste voor: gebruikers die volledige controle willen over hun afhankelijkheidsstack en die liever alleen installeren wat ze nodig hebben.

Om te selecteren: Kies in het Omgevingszijpaneel Standard v6 als je basisomgeving.

Zie de releaseopmerkingen voor meer informatie over pakketversies die in verschillende versies zijn geïnstalleerd:

Databricks AI-omgeving

Beschikbaar in omgeving 4 en hoger. De AI-omgeving is gebouwd boven op de Standard-omgeving met algemene runtimepakketten en -pakketten die specifiek zijn voor machine learning op GPU's. Vooraf geïnstalleerde pakketten zijn onder andere:

  • PyTorch (met CUDA-ondersteuning)
  • Transformers (Hugging Face)
  • En aanvullende ML-/DL-afhankelijkheden

Het beste voor: ML-beoefenaars die een volledige omgeving willen voor trainingsworkloads, fine-tuning en experimenten zonder handmatig afhankelijkheidsbeheer.

Om te selecteren: Kies in het OmgevingszijpaneelAI v6 als je basisomgeving.

Zie de releaseopmerkingen voor meer informatie over pakketversies die in verschillende versies zijn geïnstalleerd:

Installeer extra pakketten

Je kunt beginnen met een beheerde omgeving of een werkruimte-gebaseerde omgeving en daar je eigen Python-pakketten bovenop installeren. Hoe je ze installeert hangt af van hoe je verbinding maakt met AI Runtime.

In een notitieboekje

Installeer pakketten aan het begin van je notebook of trainingsscript met %uv pip, waarbij uv wordt gebruikt om te installeren en dat sneller is dan %pip. Zet versies vast zodat uitvoeringen reproduceerbaar blijven:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Voor de volledige naslaginformatie over %uv pip en %pip, inclusief welke omgevingsversies elk van beide ondersteunen, zie Bibliotheken beheren met %uv-commando's.

Wanneer je de @distributed decorator gebruikt voor multi-GPU workloads, worden pakketten die je installeert voordat je aanroept .distributed() automatisch gesnapshott en doorgegeven aan alle gedistribueerde processen. De totale grootte van geïnstalleerde pakketten mag niet groter zijn dan 15 GB. Zie Afhankelijkheden toevoegen aan het notebook voor meer informatie.

Met de CLI

De air CLI gebruikt dezelfde beheerde omgevingen. Selecteer er een met environment.version, en vermeld vervolgens de pakketten die je erbovenop moet installeren onder environment.dependencies je workload YAML. De CLI installeert ze in de geselecteerde omgeving met UV, zodat je niet zelf een aparte virtuele omgeving beheert:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Als je in plaats daarvan wilt starten vanuit de Databricks AI-omgeving, stel version in op een ID van een AI-omgeving, zoals databricks_ai_v5. Voor het volledige afhankelijkheidsformaat, ondersteunde installatievlaggen en ondersteuning voor aangepaste Docker-images, zie environment.

Basisomgevingen voor werkruimten

Een werkruimtebeheerder kan een werkruimtebasisomgeving bouwen voor serverloze GPU-rekenkracht, waardoor deze beschikbaar is voor alle gebruikers in de werkruimte via de vervolgkeuzelijst Basisomgeving . Voor meer informatie, zie Bouwen voor serverless GPU-compute (AI Runtime).

Om een basisomgeving te gebruiken in een geplande workload, verwijs je ernaar met de identifier in het blok environments van een taak of bundel. Bijvoorbeeld, deze taak Declarative Automation Bundles selecteert de Databricks AI-omgeving:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Voor een compleet taakvoorbeeld, zie Schedule with the Jobs API en Declarative Automation Bundles.

Caching van omgevingen en aangepaste modules

Wanneer worden omgevingen in de cache opgeslagen?

AI Runtime cachet de omgeving van je notebook, zodat je bij het opnieuw openen van het notebook geen pakketten hoeft te installeren. Zie De omgevingsafhankelijkheden opnieuw instellen.

Caching geldt voor interactieve notitieboeken. Workloads die via de air CLI draaien of als taken worden gepland, gebruiken deze cache niet; elke run installeert zijn afhankelijkheden vernieuw.

Als best practice pinn je pakketten aan een specifieke versie zodat je gecachte omgeving geldig blijft en je runs reproduceerbaar blijven.

Hoe importeer ik aangepaste modules?

De volgende stappen laten zien hoe je je eigen Python-modules kunt gebruiken.

  1. Synchroniseer je code met de werkruimte. Kloon een Git-repository naar de werkruimte met een Git-map, of upload de bestanden rechtstreeks als bestanden in de werkruimte. Bewaar gedeelde code hieronder /Workspace/Shared voor teamprojecten, of in een gebruikersmap voor persoonlijke ontwikkeling. Het bewaren van de code in een Git-map houdt het versiebeheerd.
  2. Voeg de map toe aan sys.path en importeer deze bovenaan je notitieboek of trainingsscript:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Beperkingen

De volgende mogelijkheden zijn niet beschikbaar in AI Runtime:

  • Spark-functies: U kunt PySpark-functies niet rechtstreeks importeren of gebruiken. AI Runtime is een alleen Python-omgeving; Spark is niet beschikbaar als lokale runtime. Spark Connect is echter beschikbaar voor het laden van gegevens. Zie Gegevens laden in AI Runtime.
  • Databricks Runtime ML-bibliotheken: vooraf geïnstalleerde pakketten zijn geen vervanging voor Databricks Runtime ML. Sommige ML-bibliotheken die beschikbaar zijn in Databricks Runtime ML, zijn mogelijk niet vooraf geïnstalleerd in AI Runtime.
  • Privéartefacten: AI Runtime biedt in bepaalde gevallen ondersteuning voor privéartefacten. Neem contact op met uw accountteam voor meer informatie.
  • Laatst bijgewerkt om