Ray voor AI Runtime

Important

Deze functie bevindt zich in openbare preview-versie.

Opmerking

Deze pagina gaat over Ray op AI Runtime. Als je Ray gebruikt op Databricks classic compute met Databricks Runtime ML, raadpleeg dan Ray on Databricks.

Ray is een open source framework voor het opschalen van Python-workloads. Je kunt Ray-clusters maken en Ray-applicaties draaien op AI Runtime, met serverless GPU-berekening die automatisch de infrastructuurprovisioning afhandelt.

Gebruik Ray in notitieboeken

Wanneer je notebook is verbonden met AI Runtime GPU-berekening, gebruik ray_init() dan vanuit het serverless_gpu pakket om Ray te starten op de aangesloten compute:

from serverless_gpu import ray_init

ray_init()

ray_init() configureert het Ray-dashboard voor toegang via de Databricks-driverproxy en print de dashboard-URL in de notebook-uitvoer. Gebruik het dashboard om Ray-taken, taken en resourcegebruik te inspecteren terwijl je code draait.

Opmerking

ray_init() vereist een omgevingsversie 5 of hoger. Databricks AI v6 bevat Ray. Als je Standard v6 gebruikt, installeer dan Ray voordat je aanroept ray_init().

Notebook-voorbeelden

Example	Description
Ray Core hello world	Dien asynchrone GPU-taken in op gekoppelde compute, inspecteer de planning in het Ray-dashboard en haal de resultaten op.
Qwen2.5-32B batchinferentie met Ray Data en vLLM	Voer meertalige batchinferentie uit met acht persistente vLLM-replica's op 8 H100 GPU's en sla de resultaten op als Parquet in de Unity Catalog.

Gebruik Ray met de AI Runtime CLI

De AI Runtime CLI ondersteunt Ray in configuraties met één knoop en meerdere knooppunten. Voeg een bootstrap-script toe onder de command van de workload, dat het Ray-cluster start en de head- en worker-nodes coördineert wanneer de workload wordt opgestart. De voorbeelden van Ray Hello World laten dit patroon doorlopen.

AI Runtime ondersteunt de kernbibliotheken van Ray, waaronder Ray Core, Ray Data, Ray Train en Ray Tune. Met de Standard-omgeving voeg je ray[data] of de relevante extraoptie (ray[train], ray[tune] of ray) toe aan je werklastafhankelijkheden. De Databricks AI-omgeving bevat Ray.

CLI-voorbeelden

Example	Description
Ray Hello World-voorbeelden	Minimale enkel- en meervoudige voorbeelden voor Ray Core, Ray Train, Ray Data en Ray Tune, inclusief het cluster bootstrap-patroon.
Gedistribueerde training met Ray Train	Fijn afstellen van een groot taalmodel over meerdere knooppunten met behulp van Ray Train en PyTorch.
Batchinferentie met Ray Data en vLLM	Voer grootschalige batchinferentie uit met Ray Data voor gedistribueerde datalading en vLLM voor efficiënte modelservice.
Hyperparameterzoektocht met Ray Tune	Zoek naar LoRA-fijnafstemming van hyperparameters voor Qwen2.5 met Ray Tune, waarbij één trial per GPU wordt uitgevoerd en onderpresterende tests vroegtijdig worden gestopt met de ASHA-scheduler.