Overview

Important

Deze functie bevindt zich in openbare preview-versie.

AI Runtime is een rekenaanbod voor Databricks dat is bedoeld voor deep learning-workloads en biedt GPU-ondersteuning voor Databricks Serverless. U kunt AI Runtime gebruiken om aangepaste modellen te trainen en af te stemmen met behulp van uw favoriete frameworks en geavanceerde efficiëntie, prestaties en kwaliteit te verkrijgen. Zie Serverloze werkruimtearchitectuur voor een overzicht van hoe serverloze compute in de Databricks-architectuur past.

Belangrijkste kenmerken

AI Runtime combineert beheerde GPU-infrastructuur met een runtime die is gebouwd voor deep learning:

• Volledig beheerde GPU-infrastructuur: serverloze, flexibele toegang tot GPU's en geen clusterconfiguratie, stuurprogrammaselectie of beleid voor automatisch schalen om te beheren.
• Een runtime die is toegewezen voor deep learning: kies een minimale Standard-omgeving voor maximale flexibiliteit ten opzichte van afhankelijkheden of een volledig uitgeruste AI-omgeving die vooraf is geladen met populaire ML-frameworks.
• Nauw geïntegreerd in notebooks, taken, Unity Catalog en MLflow voor naadloze ontwikkeling, toegang tot gegevens en het volgen van experimenten.

Hardware-opties

Alle AI Runtime-accelerators richten één knooppunt in. Het aantal GPU's op dat knooppunt is afhankelijk van het type accelerator:

Accelerator	GPU's per knooppunt	GPU-geheugen	Geschikt voor	Gedistribueerde training
1xA10	1	24 GB	Kleine tot middelgrote ML- en deep learning-taken zoals klassieke ML-modellen of kleinere taalmodellen verfijnen	Niet ondersteund (één GPU)
1xH100	1	80 GB	Workloads waarvoor meer GPU-geheugen nodig is dan 1xA10 biedt, maar waarvoor geen gedistribueerde training met meerdere GPU's is vereist, zoals het afstemmen van middelgrote taalmodellen	Niet ondersteund (één GPU)
8xH100	8	80 GB per GPU	Grootschalige AI-taken, waaronder het trainen en het fijn-tunen van enorme modellen of het uitvoeren van geavanceerde deep learning-taken.	Ondersteund met behulp van de @distributed decorator met gpus=8

Tip

Alleen 8xH100 ondersteunt gedistribueerde multi-GPU-training. Voor single-GPU workloads kies je 1xA10 of 1xH100 afhankelijk van het GPU-geheugen dat je model nodig heeft.

Aanbevolen gebruiksvoorbeelden

Databricks raadt AI Runtime aan voor gebruikscases voor aangepaste modeltraining die betrekking hebben op deep learning, workloads op grote schaal, of GPU's.

Voorbeeld:

• nl-NL: LLM fine-tuning (LoRA, QLoRA, volledige fine-tuning)
• Computer Vision (objectdetectie, afbeeldingsclassificatie)
• Op deep learning gebaseerde aanbevelingssystemen
• Bekrachtigend leren
• Prognose van tijdreeksen op basis van Deep Learning

vereisten voor

Controleer voordat je begint of je werkplek aan de volgende eisen voldoet:

• Een werkruimte in een van de volgende door Azure ondersteunde regio's:
  • centralus
  • eastus
  • eastus2
  • northcentralus
  • westcentralus
  • westus
  • westus3
• De AI Runtime-preview moet worden ingeschakeld via de beheerdersinstellingen van de werkruimte. Zie Previewfuncties van Databricks beheren.

Limitations

Houd de volgende beperkingen in gedachten wanneer je een AI Runtime-werklast plant:

• AI Runtime ondersteunt alleen A10- en H100-accelerators.
• AI Runtime biedt geen ondersteuning voor het nalevingsbeveiligingsprofiel voor de FedRAMP High- of DoD IL5-standaarden.
• Het toevoegen van afhankelijkheden met behulp van het deelvenster Omgevingen wordt niet ondersteund voor geplande AI Runtime-taken. Installeer afhankelijkheden programmatisch in uw notebook met behulp van %pip install.
• Voor geplande taken in AI Runtime wordt automatisch herstelgedrag voor incompatibele pakketversies die aan uw notebook zijn gekoppeld, niet ondersteund.
• Pogingen om verbinding te maken met de AI-runtime worden na 15 minuten beëindigd voor interactieve notebooks en na 24 uur voor notebookjobs of CLI-jobs. Verbonden notitieboeksessies en notitieboekopdrachten kunnen tot twee dagen duren, en CLI-taken tot 14 dagen. Voor langlopende modeltrainingstaken implementeer je checkpointing en start je de taak opnieuw wanneer de maximale runtime is bereikt.
• AI Runtime biedt on-demand toegang tot GPU-resources. Hoewel dit leidt tot eenvoudige, flexibele toegang tot GPU's, kunnen er perioden zijn waarin de capaciteit wordt beperkt of niet beschikbaar is in uw regio.
• AI Runtime maakt gebruik van GPU's tussen regio's in bepaalde gevallen tijdens momenten van hoge vraag. Er kunnen kosten voor uitgaand verkeer zijn gekoppeld aan dit gebruik en de netwerkverbinding tussen regio's kan op bepaalde momenten worden beperkt.

Verbinding maken met AI Runtime

U kunt interactief verbinding maken met AI Runtime via notebooks, een IDE-terminal met behulp van een SSH-tunnel, geplande taken, de Jobs API en declaratieve automatiseringsbundels. Voor stapsgewijze instructies, zie Connect to AI Runtime from a notebook.

Omgeving instellen

AI Runtime biedt twee beheerde Python-omgevingen: een minimale Standard-omgeving en een volledig uitgeruste Databricks AI-omgeving die vooraf wordt geladen met populaire ML-frameworks zoals PyTorch en Transformers. Zie Uw omgeving instellen voor meer informatie over het kiezen van een omgeving, het cachinggedrag, het importeren van aangepaste modules en bekende beperkingen.

Tip

Kies de Standard-omgeving voor volledige controle over je dependency stack, of de Databricks AI-omgeving om het installeren van veelvoorkomende frameworks zoals PyTorch en Transformers over te slaan.

Gegevens laden in AI Runtime

Inzicht in hoe gegevenstoegang werkt in AI Runtime is essentieel voor een soepele ervaring. Zie Gegevens laden in AI Runtime voor meer informatie.

Gedistribueerde training

AI Runtime ondersteunt gedistribueerde training over meerdere GPU's op het ene knooppunt waarop uw notebook is verbonden. Met behulp van de @distributed decorator van de serverless_gpu Python-API kunt u workloads met meerdere GPU's starten met PyTorch DDP, FSDP of DeepSpeed met minimale configuratie. Zie Gedistribueerde training in notebooks voor meer informatie.

Tip

Valideer je workload op één enkele GPU voordat je met de @distributed decorator schaalt naar 8xH100.

Ray voor AI Runtime

AI Runtime ondersteunt Ray voor gedistribueerde GPU-workloads, waaronder Ray Core, Ray Data, Ray Train en Ray Tune. Je kunt single-node- en multi-node Ray-jobs uitvoeren op serverless GPU-rekenkracht zonder een cluster te hoeven opzetten. Voor details en voorbeelden, zie Ray on AI Runtime.

Experimenten bijhouden en waarneembaarheid

Zie Experimenttracking en waarneembaarheid voor MLflow-integratie, het weergeven van logboeken en het beheer van modelcontrolepunten.

Trainingswerklasten producties maken

Rol een AI Runtime-workload uit met Declarative Automation Bundles om je eigen trainingscode te draaien, bouw multitask-taken die GPU- en CPU-taken combineren, plan pipelines en promover van ontwikkeling naar productie. Zie Trainingswerklasten productie.

Genie Code voor deep learning

Genie Code kan helpen bij het ontwikkelen en oplossen van deep learning-workloads op AI Runtime. Het kan gedistribueerde trainingscode genereren, omgevings- en afhankelijkheidsproblemen oplossen en GPU- en gedistribueerde werklaststoringen onderzoeken. Zie Use Genie Code with AI Runtime.

Guides

Zie Gebruikershandleidingen voor AI Runtime voor migratie van klassieke workloads, voorbeeldnotebooks en probleemoplossing.