Conecte-se ao runtime de IA de um notebook

Importante

Esse recurso está em Visualização Pública.

Conectar um notebook ao AI Runtime é a principal forma de rodar o treinamento e ajustar as cargas de trabalho. Você desenvolve interativamente contra uma GPU, depois agenda o mesmo notebook como um trabalho recorrente quando ele estiver pronto para produção.

Pontos-chave desta página:

• Conecte um notebook a uma GPU serverless para desenvolver de forma interativa em uma GPU, sem configuração de cluster.
• Agende o mesmo notebook como um trabalho recorrente a partir da interface do notebook, da API de Jobs ou dos Pacotes de Automação Declarativa.
• Para treinamento multi-GPU a partir de um notebook, veja Treinamento distribuído em notebooks.

Esta página cobre cadernos. Para acessar o AI Runtime de outra forma, consulte conectar-se a partir de um IDE por um túnel SSH, submeta trabalhos do seu laptop com Usar a CLI do Databricks com o AI Runtime ou execute Ray. Para colocar o código de treinamento em produção (não um notebook) com Declarative Automation Bundles, veja Agendar cargas de trabalho de GPU e compor tarefas.

Conectar a um notebook

Essa é a principal maneira de usar o AI Runtime. Para conectar seu notebook e configurar o ambiente:

1. Em um notebook, clique no menu suspenso de computação na parte superior e selecione GPU sem servidor.

   

2. Clique no Para abrir o painel lateral ambiente .

3. Selecione um acelerador no campo Acelerador . Para cargas de trabalho de treinamento distribuídas, selecione 8xH100. Veja Opções de hardware para orientações sobre como escolher um acelerador.

4. Selecione Standard v6 para o ambiente Standard, ou AI v6 para o ambiente de IA, no campo Ambiente Base .

5. Clique em Aplicar e confirme se deseja aplicar o AI Runtime ao seu ambiente de notebook.

   

Observação

A conexão com sua computação termina automaticamente após 60 minutos de inatividade.

Dica

Para operações que não exigem GPUs (por exemplo, clonagem de um repositório Git, conversão de formatos de dados ou análise de dados exploratórios), anexe seu notebook a um cluster de CPU para preservar os recursos de GPU.

Agendar um notebook

Você pode agendar notebooks que usam AI Runtime como tarefas recorrentes, seja pela interface do notebook ou programaticamente. Consulte Criar e gerenciar trabalhos de notebook agendados para obter mais detalhes.

Para agendar a partir do notebook que você deseja executar:

1. Selecione o botão Agendar no canto superior direito.
2. Selecione Adicionar agendamento.
3. Preencha o formulário Novo cronograma com o nome do trabalho, o cronograma e o cálculo.
4. Selecione Criar.

Observação

Não há suporte para a adição de dependências usando o painel Ambientes para trabalhos agendados do AI Runtime. As dependências devem ser instaladas programaticamente em seu notebook (por exemplo, %pip install). Não há suporte para recuperação automática. Se o trabalho falhar devido a pacotes incompatíveis, você deverá corrigir e executar novamente manualmente.

Para cargas de trabalho que possam exceder o runtime máximo de 7 dias, implemente pontos de verificação manual para permitir a retomada. Recomendamos usar volumes do Catálogo do Unity via UCVolumeWriter e UCVolumeReader de databricks.air.data. Veja Checkpoint com Checkpoint Distribuído (DCP).

Agendar com a interface de usuário de trabalhos e pipelines

Você também pode criar e agendar trabalhos na interface de usuário Trabalhos e pipelines. Consulte Criar um novo trabalho para obter diretrizes passo a passo.

Importante

Executar um trabalho agendado de notebook usando um ambiente base do espaço de trabalho, incluindo o ambiente de IA da Databricks, está em versão Beta. Um administrador do workspace deve ativar o Suporte ao ambiente base do workspace sem servidor na pré-visualização de Jobs. Consulte Gerenciar visualizações do Azure Databricks.

Agende com a API de Tarefas e os pacotes de automação declarativa

Você pode criar e gerenciar programaticamente jobs de notebook do AI Runtime usando a API de Jobs do Databricks ou Declarative Automation Bundles. Configure o tipo de computação como GPU sem servidor em seu trabalho ou definição de pacote para automatizar pipelines de implantação.

Para executar seu próprio comando de treinamento em um diretório de código em vez de um notebook, e para criar jobs de várias tarefas e pipelines agendados, veja Agendar cargas de trabalho de GPU e compor tarefas.

O exemplo a seguir mostra uma configuração de Pacotes de Automação Declarativa para um trabalho de notebook de IA em tempo de execução agendado usando o ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Para usar o ambiente de IA Databricks em vez do ambiente Standard, defina base_environment para o identificador de ambiente de IA (por exemplo, databricks_ai_v6 para AI v6) no ambiente spec e o referencia a partir da tarefa environment_key:

Importante

Selecionar um ambiente Databricks AI como ambiente base do workspace em um job está em Beta. Um administrador do workspace deve ativar o Suporte ao ambiente base do workspace sem servidor na pré-visualização de Jobs. Consulte Gerenciar visualizações do Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100