Conecte-se ao runtime de IA de um notebook

Importante

Esse recurso está em Visualização Pública.

Conectar um notebook ao AI Runtime é a principal forma de rodar o treinamento e ajustar as cargas de trabalho. Você desenvolve interativamente contra uma GPU, depois agenda o mesmo notebook como um trabalho recorrente quando ele estiver pronto para produção.

Dica

  • Conecte um notebook a uma GPU serverless para desenvolver de forma interativa em uma GPU, sem configuração de cluster.
  • Agende o mesmo notebook como um trabalho recorrente a partir da interface do notebook, da API de Jobs ou dos Pacotes de Automação Declarativa.
  • Para treinamento multi-GPU a partir de um notebook, veja Treinamento distribuído em notebooks.

Dica

Esta página cobre cadernos. Para acessar o AI Runtime de outra forma, veja conectar de um IDE por um túnel SSH, enviar trabalhos do seu laptop com a CLI do AI Runtime, ou rodar o Ray. Para produzir código de treinamento (não um notebook) com Pacotes de Automação Declarativa, veja Productionize cargas de trabalho de treinamento.

Conectar a um notebook

Essa é a principal maneira de usar o AI Runtime. Para conectar seu notebook e configurar o ambiente:

  1. Em um notebook, clique no menu suspenso de computação na parte superior e selecione GPU sem servidor.

    O menu suspenso de computação do notebook com GPU Serverless selecionada como computação para um notebook de tempo de execução com IA.

  2. Clique no ícone Ambiente. Para abrir o painel lateral ambiente .

  3. Selecione um acelerador no campo Acelerador . Para cargas de trabalho de treinamento distribuídas, selecione 8xH100. Veja Opções de hardware para orientações sobre como escolher um acelerador.

  4. Selecione Standard v6 para o ambiente Standard, ou AI v6 para o ambiente de IA, no campo Ambiente Base .

  5. Clique em Aplicar e confirme se deseja aplicar o AI Runtime ao seu ambiente de notebook.

    O painel lateral Ambiente, que mostra os campos Acelerador e Ambiente Base de um notebook do AI Runtime.

Observação

A conexão com sua computação termina automaticamente após 60 minutos de inatividade.

Dica

Para operações que não exigem GPUs (por exemplo, clonagem de um repositório Git, conversão de formatos de dados ou análise de dados exploratórios), anexe seu notebook a um cluster de CPU para preservar os recursos de GPU.

Agende um caderno

Você pode agendar notebooks que usam AI Runtime como tarefas recorrentes, seja pela interface do notebook ou programaticamente. Consulte Criar e gerenciar trabalhos de notebook agendados para obter mais detalhes.

Importante

Executar um trabalho agendado de notebook usando um ambiente base do espaço de trabalho, incluindo o ambiente de IA da Databricks, está em versão Beta. Um administrador do espaço de trabalho deve ativar a versão prévia suporte ao ambiente base de espaço de trabalho sem servidor no Jobs. Consulte Gerenciar visualizações do Azure Databricks.

Para agendar a partir do caderno que você quer rodar:

  1. Selecione o botão Agendar no canto superior direito.
  2. Selecione Adicionar agendamento.
  3. Preencha o formulário Novo cronograma com o nome do trabalho, o cronograma e o cálculo.
  4. Selecione Criar.

O formulário de novo cronograma mostrando os campos Nome do Trabalho, Cronograma e Computação para um trabalho agendado no notebook.

Você também pode criar e agendar trabalhos na interface de usuário Trabalhos e pipelines. Consulte Criar um novo trabalho para obter diretrizes passo a passo.

Observação

Não há suporte para a adição de dependências usando o painel Ambientes para trabalhos agendados do AI Runtime. As dependências devem ser instaladas programaticamente em seu notebook (por exemplo, %pip install). Não há suporte para recuperação automática. Se o trabalho falhar devido a pacotes incompatíveis, você deverá corrigir e executar novamente manualmente.

Para cargas de trabalho que possam exceder o runtime máximo de 7 dias, implemente pontos de verificação manual para permitir a retomada. Recomendamos usar volumes do Catálogo do Unity via UCVolumeWriter e UCVolumeReader de serverless_gpu.data. Consulte Pontos de verificação de modelos.

Agende com a API de Tarefas e os pacotes de automação declarativa

Você pode criar e gerenciar programaticamente jobs de notebook do AI Runtime usando a API de Jobs do Databricks ou Declarative Automation Bundles. Configure o tipo de computação como GPU sem servidor em seu trabalho ou definição de pacote para automatizar pipelines de implantação.

Para executar seu próprio comando de treinamento em um diretório de código em vez de um notebook, e para criar jobs multitarefa e pipelines agendados, consulte Colocar cargas de trabalho de treinamento em produção.

O exemplo a seguir mostra uma configuração de Pacotes de Automação Declarativa para um trabalho de notebook de IA em tempo de execução agendado usando o ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Para usar o ambiente de IA Databricks em vez do ambiente Standard, defina base_environment para o identificador de ambiente de IA (por exemplo, databricks_ai_v6 para AI v6) no ambiente spec e o referencia a partir da tarefa environment_key:

Importante

Selecionar um ambiente de IA da Databricks como ambiente base do espaço de trabalho em uma tarefa está na fase Beta. Um administrador do espaço de trabalho deve ativar a versão prévia suporte ao ambiente base de espaço de trabalho sem servidor no Jobs. Consulte Gerenciar visualizações do Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on