Ray no ambiente de execução de IA

Importante

Esse recurso está em Visualização Pública.

Note

Esta página cobre Ray no AI Runtime. Se você estiver usando o Ray na computação clássica do Databricks com o Databricks Runtime ML, consulte Ray no Databricks.

Ray é um framework código aberto para escalar cargas de trabalho em Python. Você pode criar clusters Ray e rodar aplicações Ray em tempo de execução de IA, usando computação de GPU serverless que gerencia automaticamente o provisionamento da infraestrutura.

Use Ray em cadernos

Quando seu notebook estiver conectado à computação de GPU do AI Runtime, use ray_init() do pacote serverless_gpu para iniciar o Ray na computação anexada:

from serverless_gpu import ray_init

ray_init()

ray_init() configura o painel Ray para acesso via proxy do driver Databricks e imprime a URL do painel na saída do notebook. Use o painel para inspecionar trabalhos, tarefas e uso de recursos do Ray enquanto seu código roda.

Note

ray_init() Requer ambiente versão 5 ou posterior. O Databricks AI v6 inclui o Ray. Se você usa o Standard v6, instale o Ray antes de chamar ray_init().

Exemplos de notebook

Example	Description
Ray Core, olá, mundo	Submeta tarefas assíncronas da GPU no computo conectado, inspecione o agendamento no painel Ray e recupere os resultados.
Inferência em lote Qwen2.5-32B com Ray Data e vLLM	Execute a inferência multilíngue em lote com oito réplicas persistentes do vLLM em 8 GPUs H100 e salve os resultados no formato Parquet no Unity Catalog.

Use o Ray com a CLI de Runtime da IA

A CLI do AI Runtime oferece suporte ao Ray em configurações de nó único e de vários nós. Inclua um script de inicialização no command da carga de trabalho, que inicia o cluster Ray e coordena os nós principais e de trabalho quando a carga de trabalho é iniciado. Os exemplos do Hello World do Ray passam por esse padrão.

O AI Runtime suporta as bibliotecas principais do Ray, incluindo Ray Core, Ray Data, Ray Train e Ray Tune. No ambiente Standard, adicione ray ou o componente extra relevante (ray[data], ray[train] ou ray[tune]) às dependências da carga de trabalho. O ambiente de IA do Databricks inclui o Ray.

Exemplos da CLI

Example	Description
Exemplos do Hello World do Ray	Exemplos mínimos de nó único e vários nós para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de Bootstrap do cluster.
Treinamento distribuído com o Ray Train	Ajuste um grande modelo de linguagem em múltiplos nós usando Ray Train e PyTorch.
Inferência em lote com Dados Ray e vLLM	Execute inferência em lote em grande escala usando Ray Data para carregamento distribuído de dados e vLLM para servir modelos de forma eficiente.
Busca por hiperparâmetros com Ray Tune	Busque hiperparâmetros de ajuste fino do LoRA para o Qwen2.5 com o Ray Tune, executando um experimento por GPU e interrompendo antecipadamente os experimentos com baixo desempenho usando o agendador ASHA.