Utilizar a CLI do Databricks com AI Runtime

Importante

Os comandos da CLI do Databricks para o AI Runtime encontram-se em pré-visualização pública. Um administrador de espaço de trabalho deve ativar a pré-visualização do AI Runtime antes de poder submeter cargas de trabalho. Ver Requisitos.

A databricks air CLI executa cargas de trabalho de GPU de nó único e múltiplo em AI Runtime, a plataforma de computação GPU serverless sob demanda. Defina a computação, o ambiente e o comando de uma carga de trabalho em YAML, e depois submeta-a com databricks air run.

O AI Runtime trata do provisionamento da GPU e da configuração do ambiente, fornecendo o estado da execução, logs, métricas do sistema e rastreio do MLflow. O fluxo de trabalho YAML e CLI funciona naturalmente com agentes de codificação, que podem definir, submeter e monitorizar cargas de trabalho.

Use a CLI para:

  • Desenvolve e itera aplicações Python a partir do teu ambiente local.
  • Defina cargas de trabalho repetíveis de nó único ou de vários nós em ficheiros YAML que possa controlar com controlo de versões.
  • Submeta e gere cargas de trabalho a partir de um terminal ou fluxo de trabalho automatizado de desenvolvimento.

As cargas de trabalho típicas incluem ajuste fino e pós-treino de LLM, treino distribuído, inferência em lote, aplicações Ray e pesquisa de hiperparâmetros.

Para submeter uma carga de trabalho, siga o quickstart.

Os comandos CLI do Databricks para o AI Runtime cumprem os mesmos padrões de conformidade que as cargas de trabalho do AI Runtime. Para as normas suportadas e exceções, consulte o perfil de segurança de conformidade.

Note

Os databricks air comandos e a configuração da carga de trabalho diferem da CLI legada baseada em Python air no pacote databricks-air. Veja migração de CLI em Python.

Explore os exemplos executáveis

O AI Runtime Cookbook contém cargas de trabalho de CLI Databricks executáveis para treino de modelos, ajuste fino, inferência em lote, Ray e pesquisa de hiperparâmetros. Cada receita inclui um ficheiro YAML da carga de trabalho, código-fonte e instruções para a sua execução.

Como é executada uma carga de trabalho

Forneça um ficheiro YAML da carga de trabalho, código da aplicação quando necessário e o comando que inicia a sua aplicação. Quando submeter uma carga de trabalho:

  1. A definição da carga de trabalho é validada em função do esquema suportado e das restrições de configuração suportadas.
  2. Se code_source estiver configurado, o código selecionado é empacotado como um snapshot e carregado.
  3. A computação e o ambiente da GPU solicitados ficam configurados em cada nó.
  4. O comando fornecido no workload YAML é executado em cada nó.

O envio devolve um ID de execução do trabalho que identifica a carga de trabalho. Usa-o para verificar o estado, inspecionar registos e configurações, ou cancelar a carga de trabalho. Também pode consultar a página de execução de Jobs e o experimento MLflow para detalhes de execução, métricas do sistema, registos e artefactos.

Este fluxo de trabalho proporciona provisionamento de GPU gerido, configuração de ambiente reproduzível e observabilidade incorporada sem necessidade de configurar ou manter a infraestrutura da GPU.

Configuração da carga de trabalho

Um ficheiro YAML de workload descreve os seguintes componentes:

  • Experimento: O experimento MLflow e a execução que acompanha a carga de trabalho.
  • Ambiente: O ambiente gerido, dependências ou imagem Docker personalizada a utilizar.
  • Computação: O tipo de acelerador e o número de aceleradores a fornecer.
  • Fonte do código: Um snapshot opcional do código da aplicação para disponibilizar à carga de trabalho.
  • Comando: O comando shell que inicia a sua aplicação.
  • Definições de runtime: Opções como tentativas, timeouts, variáveis de ambiente, segredos e permissões.

Para campos de configuração e exemplos, consulte Workload YAML reference.

Enviar código da aplicação

Use code_source para fazer upload de ficheiros de aplicação numa carga de trabalho. O AI Runtime disponibiliza o diretório carregado em cada nó e define $CODE_SOURCE_PATH para o caminho dessa localização. Por exemplo, o seguinte comando executa train.py a partir do diretório carregado:

command: python "$CODE_SOURCE_PATH/train.py"

Podes carregar a árvore de trabalho atual ou selecionar uma ramificação Git ou um commit. Para um exemplo completo, veja o quickstart.

Desenvolver e gerir cargas de trabalho

O desenvolvimento normalmente segue este processo:

  1. Desenvolver localmente o código da aplicação e o YAML da carga de trabalho.
  2. Valide o YAML localmente com databricks air run --file <file> --dry-run.
  3. Submeta o workload com databricks air run --file <file>. Adiciona --watch aos registos do fluxo até a execução terminar.
  4. Utilize databricks air get, databricks air list, e databricks air logs para inspecionar cargas de trabalho e registos.
  5. Opcionalmente, parar uma carga de trabalho em execução com databricks air cancel.

Para todos os comandos e opções, consulte o air grupo de comandos.

Para execuções agendadas, fluxos de trabalho multitarefa ou promoção entre ambientes, pode usar databricks air convert-to-dabs como ponto de partida para um bundle. Consulte Agendar cargas de trabalho da GPU e compor tarefas.

Acompanhe as cargas de trabalho com o MLflow

Cada carga de trabalho submetida é representada por uma execução de tarefa no Databricks e acompanhada através de uma experiência MLflow:

  • Execução de tarefas Databricks: Mostra o estado da carga de trabalho, as tentativas de execução e a saída na página de execução de Jobs.
  • Experimento MLflow: Contém as execuções MLflow com métricas do sistema capturadas automaticamente, configuração da carga de trabalho e logs. A sua aplicação também pode usar as APIs do MLflow para registar parâmetros personalizados, métricas e artefactos.

Utilize o ID de Execução de Trabalho com comandos como databricks air get, databricks air logs e databricks air cancel. Ver Rastreio e observabilidade de experiências.

Executar cargas de trabalho de nó único e distribuidas

O AI Runtime executa o comando configurado uma vez em cada nó provisionado. Para uma carga de trabalho distribuída, fornece variáveis de coordenação como NUM_NODES, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, e MASTER_PORT.

Este modelo de execução é independente do framework. O seu comando deve iniciar e configurar o framework distribuído, por exemplo, invocando torchrun, um script de arranque Ray ou outro launcher de framework. Para cargas completas de trabalho, consulte o AI Runtime Cookbook.

Utilize um agente de IA

A databricks-ai-runtime competência de agente fornece instruções que ajudam agentes de IA, como Claude Code, Cursor e Codex, a trabalhar com o AI Runtime através da CLI Databricks. Usa-o para criar o YAML da carga de trabalho, submeter trabalhos de treino da GPU, verificar o estado da execução, transmitir registos e cancelar execuções. Inclui também orientações para imagens Docker personalizadas.

Após instalar a CLI Databricks e configurar a autenticação, execute o seguinte comando:

databricks aitools install --skills-only --skills databricks-ai-runtime

Siga as instruções para escolher o seu agente de IA e o âmbito da instalação. Para opções de instalação, consulte aitools o grupo de comandos.

Recursos adicionais

  • Última atualização a