Ray en tiempo de ejecución de IA

Importante

Esta característica está en versión preliminar pública.

Nota:

Esta página describe Ray en el entorno de ejecución de IA. Si usas Ray en Databricks Classic Compute con Databricks Runtime ML, consulta Ray en Databricks.

Ray es un framework código abierto para escalar cargas de trabajo en Python. Puedes crear clústeres Ray y ejecutar aplicaciones Ray en tiempo de ejecución artificial, usando computación GPU serverless que gestiona automáticamente la provisión de infraestructura.

Usa Ray en cuadernos

Cuando el notebook esté conectado al recurso de proceso con GPU de AI Runtime, use ray_init() del paquete serverless_gpu para iniciar Ray en el recurso de proceso adjunto:

from serverless_gpu import ray_init

ray_init()

ray_init() configura el panel de control de Ray para acceder a través del proxy del controlador Databricks y imprime la URL del panel en la salida del notebook. Usa el panel de control para inspeccionar los trabajos, tareas y el uso de recursos de Ray mientras tu código se ejecuta.

Nota:

ray_init() requiere la versión 5 o posterior del entorno. Databricks AI v6 incluye a Ray. Si usas Standard v6, instala Ray antes de llamar a ray_init().

Ejemplos de cuadernos

Example	Description
Ray Core, hola mundo	Envía tareas asíncronas de la GPU en el cómputo adjunto, inspecciona la programación en el panel de control de Ray y recupera los resultados.
Inferencia por lotes Qwen2.5-32B con Ray Data y vLLM	Ejecuta inferencia por lotes multilingüe con ocho réplicas vLLM persistentes en 8 GPUs H100 y guarda los resultados como Parquet en el Catálogo de Unity.

Usa Ray con la CLI de AI Runtime

La CLI del entorno de ejecución de IA admite Ray en configuraciones de nodo único y multinodo. Incluya un script de arranque en el command de la carga de trabajo, lo que inicia el clúster de Ray y coordina los nodos principal y de trabajo cuando se inicia la carga de trabajo. Los ejemplos de Ray, hello world , recorren este patrón.

AI Runtime soporta las bibliotecas principales de Ray, incluyendo Ray Core, Ray Data, Ray Train y Ray Tune. Con el entorno estándar, añada ray o la dependencia adicional correspondiente (ray[data], ray[train] o ray[tune]) a las dependencias de la carga de trabajo. El entorno de IA de Databricks incluye Ray.

Ejemplos de la CLI

Example	Description
Ejemplos de Ray Hello World	Ejemplos mínimos de un solo nodo y de varios nodos para Ray Core, Ray Train, Ray Data y Ray Tune, incluido el patrón de inicialización del clúster.
Entrenamiento distribuido con Ray Train	Ajusta finamente un modelo de lenguaje grande en múltiples nodos usando Ray Train y PyTorch.
Inferencia por lotes con Ray Data y vLLM	Ejecuta inferencia por lotes a gran escala usando Ray Data para la carga de datos distribuida y vLLM para un servicio eficiente de modelos.
Búsqueda de hiperparámetros con Ray Tune	Busque los hiperparámetros de ajuste preciso de LoRA para Qwen2.5 con Ray Tune, ejecutando una prueba por GPU y deteniendo anticipadamente las pruebas con bajo rendimiento mediante el programador ASHA.