Ligar ao ambiente de execução de IA a partir de um notebook

Importante

Este recurso está no Public Preview.

Ligar um portátil ao AI Runtime é a principal forma de executar o treino e ajustar as cargas de trabalho. Desenvolves interativamente com uma GPU e, quando está pronto para produção, programas o mesmo notebook como uma tarefa recorrente.

Sugestão

  • Liga um portátil a uma GPU serverless para desenvolver de forma interativa numa GPU, sem configuração de cluster.
  • Agende o mesmo caderno como um trabalho recorrente a partir da interface do caderno, da API de Jobs ou dos Pacotes de Automação Declarativa.
  • Para treino com várias GPUs num notebook, veja Treino distribuído em notebooks.

Sugestão

Esta página cobre cadernos. Para aceder ao AI Runtime de outra forma, veja conectar-se a partir de um IDE através de um túnel SSH, submeter trabalhos a partir do seu portátil com a CLI do AI Runtime, ou executar o Ray. Para colocar em produção o código de treino (não um notebook) com Bundles de Automação Declarativa, consulte Colocar em produção cargas de trabalho de treino.

Ligar a um bloco de notas

Esta é a principal forma de usar o tempo de execução da IA. Para conectar o seu notebook e configurar o ambiente:

  1. A partir de um portátil, clique no menu suspenso de computação no topo e selecione GPU Serverless.

    O menu pendente de processamento do notebook, com a opção Serverless GPU selecionada como processamento para um notebook AI Runtime.

  2. Clique no ícone Ambiente para abrir o painel lateral Ambiente .

  3. Selecione um acelerador do campo Acelerador . Para cargas de trabalho de treino distribuídas, selecione 8xH100. Consulte Opções de hardware para orientações sobre a escolha de um acelerador.

  4. Selecione Standard v6 para o ambiente Standard, ou AI v6 para o ambiente de IA, a partir do campo Ambiente Base .

  5. Clica em Aplicar e depois Confirma que queres aplicar o tempo de execução de IA ao ambiente do teu portátil.

    O painel lateral Ambiente, que mostra os campos Acelerador e Ambiente de base de um notebook de runtime de IA.

Observação

A conexão com sua computação termina automaticamente após 60 minutos de inatividade.

Sugestão

Para operações que não requerem GPUs (por exemplo, clonar um repositório Git, converter formatos de dados ou análise exploratória de dados), ligue o seu portátil a um cluster de CPU para preservar os recursos da GPU.

Agende um portátil

Podes agendar notebooks que usam AI Runtime como tarefas recorrentes, seja a partir da interface do notebook ou programaticamente. Consulte Criar e gerir trabalhos agendados de notebooks para obter mais detalhes.

Importante

A execução de uma tarefa agendada de notebook que utiliza um ambiente base da área de trabalho, incluindo o ambiente de IA Databricks, está em Beta. Um administrador do espaço de trabalho tem de ativar a pré-visualização do suporte do ambiente base de espaço de trabalho sem servidor no Jobs. Ver Gerir as pré-visualizações de Azure Databricks.

Para agendar a partir do caderno que quer executar:

  1. Selecione o botão Agendar no canto superior direito.
  2. Selecione Adicionar agenda.
  3. Preencha o formulário Nova agenda com o Nome do trabalho, Agenda e Computação.
  4. Selecione Criar.

O novo formulário de agendamento que mostra os campos Nome do Trabalho, Horário e Computação para um trabalho agendado no notebook.

Você também pode criar e agendar trabalhos a partir da IU Jobs e Pipelines. Consulte Criar um novo trabalho para obter orientação passo a passo.

Observação

Adicionar dependências usando o Environments não é suportado para trabalhos agendados no AI Runtime. As dependências devem ser instaladas programaticamente dentro do seu notebook (por exemplo, %pip install). A recuperação automática não é suportada. Se o teu trabalho falhar devido a pacotes incompatíveis, tens de corrigir manualmente e reexecutar.

Para cargas de trabalho que possam exceder o tempo máximo de execução de 7 dias, implemente pontos de verificação manuais para permitir a retomada. Recomendamos utilizar volumes do Unity Catalog através de UCVolumeWriter e UCVolumeReader a partir de serverless_gpu.data. Veja criação de pontos de verificação do modelo.

Programar com a API de Tarefas e os Pacotes de Automação Declarativa

Pode criar e gerir programaticamente tarefas de notebook do AI Runtime através da API de Jobs do Databricks ou de Declarative Automation Bundles. Configura o tipo de computação como GPU serverless na definição do teu job ou bundle para automatizar pipelines de implementação.

Para executar o seu próprio comando de treino num diretório com código em vez de um notebook, e para criar trabalhos multitarefa e pipelines agendados, veja Colocar cargas de trabalho de treino em produção.

O exemplo seguinte mostra uma configuração de Pacotes de Automação Declarativa para uma tarefa agendada de notebook do AI Runtime que utiliza o ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Para usar o ambiente de IA Databricks em vez do ambiente Standard, defina base_environment o identificador de ambiente de IA (por exemplo, databricks_ai_v6 para AI v6) no ambiente spec e faça referência a partir da tarefa environment_key:

Importante

A seleção de um ambiente de IA do Databricks como ambiente base da área de trabalho numa tarefa encontra-se em Beta. Um administrador do espaço de trabalho tem de ativar a pré-visualização do suporte do ambiente base de espaço de trabalho sem servidor no Jobs. Ver Gerir as pré-visualizações de Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on