Ray on AI Runtime

Important

Cette fonctionnalité est disponible en préversion publique.

Note

Cette page couvre Ray sur l’exécution de l’IA. Si vous utilisez Ray sur Databricks Classic Compute avec Databricks Runtime ML, voyez Ray sur Databricks.

Ray est un framework open source pour l’échelon des charges de travail Python. Vous pouvez créer des clusters Ray et exécuter des applications Ray en temps d’exécution IA, en utilisant un calcul GPU serverless qui gère automatiquement le provisionnement de l’infrastructure.

La CLI d’exécution IA prend en charge Ray en configurations à nœud unique et multinœud. Incluez un script bootstrap sous la charge commandde travail , qui lance le cluster Ray et coordonne les nœuds tête et travail au lancement de la charge de travail. Les exemples de Ray, Hello World , suivent ce schéma.

AI Runtime prend en charge les bibliothèques principales de Ray, y compris Ray Core, Ray Data, Ray Train et Ray Tune. Installez la ray bibliothèque ou le Ray extra pertinent (ray[data], ray[train], ray[tune]) comme dépendance pour votre charge de travail sur l’environnement Databricks standard. Si vous utilisez l’environnement IA Databricks, ray il est préinstallé mais les extras doivent être installés séparément.

Examples

Exemple	Description
Exemples de Ray hello world (CLI)	Exemples minimaux à nœud unique et multinœud pour Ray Core, Ray Train, Ray Data et Ray Tune, y compris le pattern bootstrap du cluster.
Formation distribuée avec Ray Train (CLI)	Ajustez finement un grand modèle de langage sur plusieurs nœuds en utilisant Ray Train et PyTorch.
Inférence par lots avec Ray Data et vLLM (CLI)	Exécutez une inférence batch à grande échelle en utilisant Ray Data pour le chargement distribué des données et vLLM pour un service efficace des modèles.