AI-uitvoeringstijd

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

AI Runtime is een serverless GPU-compute-aanbod bij Databricks, bedoeld voor deep learning-workloads . U kunt AI Runtime gebruiken om aangepaste modellen te trainen en af te stemmen met behulp van uw favoriete frameworks en geavanceerde efficiëntie, prestaties en kwaliteit te verkrijgen.

Aan de slag

Voer je eerste workload binnen enkele minuten uit met behulp van onze quickstart-gidsen.

Aan de slag	Beschrijving
🚀 Databricks CLI quickstart	Komt u van een Slurm- of Kubernetes-cluster? Train in enkele minuten op AI Runtime vanaf je terminal.
📓 Snelstartgids voor Notebook	Sluit je notebook binnen enkele seconden aan een GPU aan en ontwikkel interactief.
⚡ Ray	Komt het uit een straalcluster? Draai Ray op AI Runtime met dashboardondersteuning.
🧭 Overzicht	Leer de belangrijkste zaken over AI Runtime in twee minuten: beschikbare GPU's, hoe het werkt en beperkingen.

Functies

AI Runtime is een full-stack GPU-platform, met veel manieren om verbinding te maken met GPU's, ingebouwde observabiliteits- en debuggingtools, en vooraf gebouwde omgevingen.

Verbind met serverless GPU's: Bereik serverless GPU's vanaf waar je ook werkt.

Feature	Beschrijving
Notebooks	Koppel een notebook aan serverless GPU-compute en ontwikkel interactief, zonder clusteropzet.
IDE over SSH	Maak verbinding vanaf je IDE of terminal via een SSH-tunnel om direct op een GPU-node te werken.
Databricks-CLI	Dien gedistribueerde GPU-trainingsopdrachten in en beheer ze vanaf je laptop met behulp van YAML-jobconfiguraties.
AI-agents	Gebruik de databricks-ai-runtime agentvaardigheid om GPU-trainingsopdrachten van je AI-agent in te dienen, te monitoren en te beheren.
Straal	Voer Ray Core, Ray Data, Ray Train en Ray Tune uit op serverless GPU-berekening.

Afhankelijkheden beheren: Beheer de Python- en systeembibliotheken waarmee je workload draait.

Feature	Beschrijving
Vooraf gebouwde omgevingen	Begin met een minimale standaardomgeving of een Databricks AI-omgeving die vooraf is uitgerust met ML-frameworks.

Data laden in GPU's: Voer trainingsdata efficiënt naar je GPU's.

Feature	Beschrijving
Efficiënte gegevensladers	Stroom data uit Unity Catalog-volumes met fouttolerante laadprogramma's die zijn ontworpen voor hoge GPU-benutting.

Debugging en observabiliteit: Volg experimenten, inspecteer output en diagnoseer storingen.

Feature	Beschrijving
MLflow voor deep learning	Houd experimenten, metrics en runs bij met MLflow.
Logsviewer	Bekijk trainingsoutput en monitor het gebruik van GPU-resources terwijl je code draait.
Debuggen met agenten	Gebruik Genie Code om trainingscode te genereren, omgevingsproblemen op te lossen en GPU-fouten te debuggen.

Plannen en real-time beschikbaar stellen: Ga van interactieve ontwikkeling naar geplande taken en endpoints.

Feature	Beschrijving
GPU-workloads plannen	Deploy trainingscode met Declarative Automation Bundles, plan runs en bouw multitask-workflows voor GPU's en CPU's.
Stel je modellen beschikbaar	Zet je getrainde modellen in achter een schaalbaar eindpunt met Model Serving.

Examples

Verken end-to-end notebook- en Databricks CLI-voorbeelden voor AI Runtime.

Voorbeeld	Beschrijving
Klassieke machine learning	GPU-versnelde XGBoost, zero-shot tabelvoorspelling en tijdreeksvoorspellingen.
Aanbevelingssystemen	Train aanbevelingsmodellen op basis van deep learning, zoals two-tower-architecturen.
Computervisie	Objectdetectie- en beeldclassificatietaken op GPU's.
OSS-modellen (LLM’s) na het trainen	Stem open-source-LLM's af en train ze verder met LoRA, volledig fine-tunen en bibliotheken zoals TRL, Unsloth en Axolotl.
Batch-inferentie	Voer grootschalige batchinferentie uit met Ray Data en vLLM over meerdere GPU's.
Gedistribueerde training met meerdere GPU's	Schaal training op over meerdere GPU's en nodes met DDP, FSDP en DeepSpeed.

Guides

Taakgerichte gidsen voor het migreren van workloads naar AI Runtime en het maximale uit je GPU's halen.

Guide	Beschrijving
Migreren vanuit Slurm	Breng je Slurm-batchscripts, gedistribueerde opstartprogramma’s en gedeelde opslag onder in de Databricks CLI.
Migreren van klassieke GPU-workloads	Verplaats een bestaande deep learning-workload van een klassieke Databricks-cluster naar AI Runtime.
Prestaties en veerkracht	Verbeter de trainingsdoorvoer en maak langlopende banen veerkrachtiger tegen mislukkingen.

Aanvullende bronnen

Vind nuttige inhoud: de laatste productupdates en hoe AI Runtime onder de motorkap werkt.

Resource	Beschrijving
Productupdates	Bekijk de nieuwste AI Runtime-productupdates en aankondigingen.
Hoe AI Runtime werkt onder de motorkap	Lees hoe Databricks GPU's betrouwbaar houdt gedurende de AI-runtime.