Konfigurera din miljö

Viktigt!

AI Runtime för aktiviteter med en nod finns i offentlig förhandsversion. Det distribuerade tränings-API:et för multi-GPU-arbetsbelastningar finns kvar i Beta.

På den här sidan beskrivs hur du väljer och konfigurerar en Python-miljö för AI Runtime, inklusive beteende för cachelagring i miljön, import av anpassade moduler och kända begränsningar.

Vilken miljö som ska användas

AI Runtime erbjuder två hanterade Python-miljöer, standardbasmiljön och Databricks AI-miljön.

Miljö	Viktiga egenskaper	När det bör användas
Standardbasmiljö	Minimal, inkluderar endast torch, cudaoch torchvision	Du vill ha fullständig kontroll över din beroendestack och föredrar att bara installera det du behöver
Databricks AI-miljö	Förinstallerat med populära ML-ramverk (PyTorch, Transformatorer med mera)	Du vill ha en fullständig miljö för träning, finjustering och experimentering utan manuell beroendehantering

Anmärkning

Basmiljöer för arbetsytor stöds inte för AI Runtime. Använd i stället standardmiljön eller AI-miljön och ange ytterligare beroenden direkt i panelen miljösidan eller pip install dem.

Standardbasmiljö (minimal miljö)

En minimal, stabil miljö som endast innehåller de paket som krävs för AI Runtime-drift. Miljön innehåller torch, cudaoch torchvision, optimerad för kompatibilitet. För specifika paketversioner använder du pip install eller låser du nödvändiga versioner vid behov.

Bäst för: Användare som vill ha fullständig kontroll över sin beroendestack och föredrar att bara installera det de behöver.

Det här är standardmiljön när du ansluter till en serverlös GPU via AI Runtime.

För mer information om installerade paketversioner i olika versioner, se versionsinformation:

• GPU-miljö 4

Databricks AI-miljö

Tillgänglig i miljö 4 och senare. AI-miljön bygger på standardbasmiljön med vanliga körningspaket och paket som är specifika för maskininlärning på GPU:er. Förinstallerade paket omfattar:

• PyTorch (med CUDA-stöd)
• Transformatorer (Hugging Face)
• Och ytterligare ML/DL-beroenden

Bäst för: ML-utövare som vill ha en fullständig miljö för träningsarbetsbelastningar, finjustering och experimentering utan manuell beroendehantering.

Välj: I panelen Miljö väljer du AI v4 som basmiljö.

För mer information om installerade paketversioner i olika versioner, se versionsinformation:

• AI-miljö 4

Basmiljöer för arbetsytor

Basmiljöer för arbetsytor stöds inte för AI Runtime. Du kan inte använda anpassade miljökonfigurationer på arbetsyte-nivå.

Om du vill konfigurera din djupinlärningsmiljö för ett projekt använder du en av de två tillhandahållna basmiljöerna (standard eller Databricks AI) och installerar ytterligare paket programmatiskt med hjälp av %pip install i notebook-filen eller högst upp i träningsskriptet:

%pip install datasets accelerate peft bitsandbytes

Du kan installera ytterligare bibliotek i AI Runtime-miljön. Se Lägga till beroenden i notebook-filen.

Beteende

När cachelagras miljöer?

Miljöer cachelagras mellan sessioner för att påskynda starttiderna. När du återansluter till AI Runtime med samma miljökonfiguration kan tidigare installerade paket vara tillgängliga från cachen, vilket minskar installationstiden.

Cachebeteendet är dock inte garanterat – se alltid till att anteckningsfilen innehåller de nödvändiga %pip install kommandona för reproducerbarhet.

Hur importerar jag anpassade moduler?

Du kan importera anpassade moduler genom att placera dem i /Workspace/Shared och lägga till sökvägen till sys.path:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Du kan också ladda upp modulfiler som arbetsytefiler och importera dem direkt. För samarbete med flera användare lagrar du delad kod i /Workspace/Shared stället för användarspecifika mappar. För aktiv utveckling använder du användarspecifika mappar och push-överför till en fjärransluten Git-lagringsplats för versionskontroll.

Begränsningar

Följande funktioner är inte tillgängliga på AI Runtime:

• Spark-funktioner – Du kan inte importera eller använda PySpark-funktioner direkt. AI Runtime är en körmiljö endast för Python; Spark är inte tillgängligt som en lokal körmiljö. Spark Connect är dock tillgängligt för datainläsning. Se Ladda data på AI Runtime.
• Databricks Runtime ML-bibliotek – Förinstallerade paket ersätter inte Databricks Runtime ML. Vissa ML-bibliotek som är tillgängliga i Databricks Runtime ML kanske inte är förinstallerade på AI Runtime.
• Basmiljöer för arbetsytor – Miljökonfigurationer på anpassad arbetsyta stöds inte.
• Privata artefakter – AI Runtime stöder privata artefakter i vissa fall. Kontakta kontoteamet om du vill ha mer information.