Ray voor AI Runtime

Important

Deze functie bevindt zich in openbare preview-versie.

Opmerking

Deze pagina gaat over Ray op AI Runtime. Als je Ray gebruikt op Databricks classic compute met Databricks Runtime ML, raadpleeg dan Ray on Databricks.

Ray is een open source framework voor het opschalen van Python-workloads. Je kunt Ray-clusters maken en Ray-applicaties draaien op AI Runtime, met serverless GPU-berekening die automatisch de infrastructuurprovisioning afhandelt.

De AI Runtime CLI ondersteunt Ray in configuraties met één knoop en meerdere knooppunten. Voeg een bootstrap-script toe onder de command van de workload, dat het Ray-cluster start en de head- en worker-nodes coördineert wanneer de workload wordt opgestart. De voorbeelden van Ray Hello World laten dit patroon doorlopen.

AI Runtime ondersteunt de kernbibliotheken van Ray, waaronder Ray Core, Ray Data, Ray Train en Ray Tune. Voeg de ray-bibliotheek of de relevante Ray-extra (ray[data], ray[train], ray[tune]) toe als afhankelijkheid voor je workload in de standaard Databricks-omgeving. Als je de Databricks AI-omgeving gebruikt, ray is die vooraf geïnstalleerd, maar extra's moeten apart worden geïnstalleerd.

Examples

Example	Description
Ray hello world voorbeelden (CLI)	Minimale enkel- en meervoudige voorbeelden voor Ray Core, Ray Train, Ray Data en Ray Tune, inclusief het cluster bootstrap-patroon.
Gedistribueerde training met Ray Train (CLI)	Fijn afstellen van een groot taalmodel over meerdere knooppunten met behulp van Ray Train en PyTorch.
Batchgewijze inferentie met Ray Data en vLLM (CLI)	Voer grootschalige batchinferentie uit met Ray Data voor gedistribueerde datalading en vLLM voor efficiënte modelservice.
Hyperparameterzoektocht met Ray Tune (CLI)	Zoek naar LoRA-fijnafstemming van hyperparameters voor Qwen2.5 met Ray Tune, waarbij één trial per GPU wordt uitgevoerd en onderpresterende tests vroegtijdig worden gestopt met de ASHA-scheduler.