Ray em ambiente de execução de IA

Importante

Este recurso está no Public Preview.

Observação

Esta página aborda o Ray on AI Runtime. Se estiver a usar o Ray na computação clássica do Databricks com Databricks Runtime ML, consulte Ray no Databricks.

O Ray é um framework open source para escalar cargas de trabalho em Python. Pode criar clusters Ray e executar aplicações Ray no AI Runtime, tirando partido de computação GPU sem servidor que trata automaticamente do aprovisionamento da infraestrutura.

A CLI de Runtime de IA suporta o Ray em configurações de nó único e múltiplos nós. Inclua um script de arranque em command da carga de trabalho, que inicia o cluster Ray e coordena os nós principal e de trabalho quando a carga de trabalho arranca. Os exemplos do Ray Hello World percorrem este padrão.

O AI Runtime suporta as bibliotecas principais da Ray, incluindo Ray Core, Ray Data, Ray Train e Ray Tune. Instale a biblioteca ray ou o extra relevante do Ray (ray[data], ray[train], ray[tune]) como dependência da sua carga de trabalho no ambiente Databricks padrão. Se usares o ambiente de IA Databricks, ray está pré-instalado, mas os extras têm de ser instalados separadamente.

Examples

Example	Description
Exemplos de Ray hello world (CLI)	Exemplos mínimos de nó único e multinó para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de arranque do cluster.
Formação distribuída com Ray Train (CLI)	Ajuste finamente um grande modelo de linguagem em múltiplos nós usando Ray Train e PyTorch.
Inferência em lote com Ray Data e vLLM (CLI)	Execute inferência em lote em grande escala usando Ray Data para carregamento distribuído de dados e vLLM para servir modelos de forma eficiente.
Pesquisa de hiperparâmetros com Ray Tune (CLI)	Procure os hiperparâmetros de ajuste fino de LoRA para o Qwen2.5 com o Ray Tune, executando um ensaio por GPU e interrompendo antecipadamente os ensaios com fraco desempenho com o agendador ASHA.