Compartilhar via

Computação de GPU sem servidor

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Este artigo descreve a computação de GPU sem servidor no Databricks e fornece casos de uso recomendados, diretrizes para como configurar recursos de computação de GPU e limitações de recursos.

O que é computação de GPU sem servidor?

A computação de GPU sem servidor faz parte da oferta de computação sem servidor. A computação de GPU sem servidor é especializada para cargas de trabalho personalizadas de aprendizado profundo de vários nós e únicos. Você pode usar a computação de GPU sem servidor para treinar e ajustar modelos personalizados usando suas estruturas favoritas e obter eficiência, desempenho e qualidade de última geração.

A computação de GPU sem servidor inclui:

  • Uma experiência integrada entre Notebooks, Catálogo do Unity e MLflow: Você pode desenvolver seu código interativamente usando Notebooks.
  • Aceleradores de GPU A10:as GPUs A10 foram projetadas para acelerar o aprendizado de máquina pequeno a médio e cargas de trabalho de aprendizado profundo, incluindo modelos de ML clássicos e modelos de linguagem menores de ajuste fino. Os A10s são adequados para tarefas com requisitos computacionais moderados.
  • Suporte a várias GPUs e vários nós: Você pode executar cargas de trabalho de treinamento distribuídas com várias GPUs e vários nós usando a API Python de GPU sem servidor. Consulte o treinamento distribuído.

Os pacotes pré-instalados na computação de GPU sem servidor não são uma substituição para o Databricks Runtime ML. Embora existam pacotes comuns, nem todas as dependências e bibliotecas de ML do Databricks Runtime são refletidas no ambiente de computação de GPU sem servidor.

Ambientes do Python na computação de GPU sem servidor

O Databricks fornece dois ambientes gerenciados para atender a diferentes casos de uso.

Observação

Não há suporte para ambientes base de workspace para computação de GPU sem servidor. Em vez disso, use o ambiente de IA ou padrão e especifique dependências adicionais diretamente no painel lateral ambientes ou pip install neles.

Ambiente base padrão

Isso fornece um ambiente mínimo com a API de cliente estável para garantir a compatibilidade do aplicativo. Somente os pacotes do Python necessários são instalados. Isso permite que o Databricks atualize o servidor de forma independente, fornecendo melhorias de desempenho, aprimoramentos de segurança e correções de bugs sem a necessidade de alterações de código em cargas de trabalho. Esse é o ambiente padrão quando você escolhe a computação de GPU sem servidor. Escolha esse ambiente se quiser personalizar totalmente o ambiente para seu treinamento.

Para obter mais detalhes sobre as versões do pacote instaladas em diferentes versões do software, confira as notas de versão:

Ambiente de IA

O ambiente de IA do Databricks está disponível no ambiente de GPU sem servidor 4. O ambiente de IA é criado com base no ambiente base padrão com pacotes de runtime comuns e pacotes específicos para aprendizado de máquina em GPUs. Ele contém bibliotecas populares de machine learning, incluindo PyTorch, LangChain, Transformers, Ray e XGBoost para treinamento e inferência de modelos. Escolha esse ambiente para executar cargas de trabalho de treinamento.

Para obter mais detalhes sobre as versões do pacote instaladas em diferentes versões do software, confira as notas de versão:

O Databricks recomenda a computação de GPU sem servidor para qualquer caso de uso de treinamento de modelo que exija personalizações de treinamento e GPUs.

Por exemplo:

  • Ajuste fino de LLM
  • Visão computacional
  • Sistemas de recomendação
  • Aprendizado de reforço
  • Previsão de série temporal baseada em aprendizado profundo

Requisitos

  • Um workspace em uma das seguintes regiões com suporte do Azure:
    • eastus
    • eastus2
    • centralus
    • northcentralus
    • westcentralus
    • westus

Configurar a computação de GPU sem servidor

Para conectar seu notebook à computação de GPU sem servidor e configurar o ambiente:

  1. Em um notebook, clique no menu suspenso Conectar na parte superior e selecione Serverless GPU.
  2. Clique no ícone Ambiente. Para abrir o painel lateral ambiente .
  3. Selecione A10 no campo Acelerador .
  4. Selecione Nenhum para o ambiente padrão ou IA v4 para o ambiente de IA no campo Ambiente base .
  5. Se você escolheu Nenhum no campo Ambiente base , selecione a versão ambiente.
  6. Clique em Aplicar e confirme se deseja aplicar a computação de GPU sem servidor ao seu ambiente de notebook.

Observação

A conexão com sua computação termina automaticamente após 60 minutos de inatividade.

Adicionar bibliotecas ao ambiente

Você pode instalar bibliotecas adicionais no ambiente de computação de GPU sem servidor. Consulte Adicionar dependências ao notebook.

Observação

Não há suporte para adicionar dependências usando o painel Ambientes, como visto em Adicionar dependências ao notebook , para trabalhos agendados de computação de GPU sem servidor.

Criar e agendar um trabalho

As etapas a seguir mostram como criar e agendar trabalhos para suas cargas de trabalho de computação de GPU sem servidor. Consulte Criar e gerenciar trabalhos de notebook agendados para obter mais detalhes.

Depois de abrir o bloco de anotações que você deseja usar:

  1. Selecione o botão Agendar no canto superior direito.
  2. Selecione Adicionar agendamento.
  3. Preencha o formulário Novo cronograma com o nome do trabalho, o cronograma e o cálculo.
  4. Selecione Criar.

Você também pode criar e agendar tarefas na interface de usuário de trabalhos e pipelines. Consulte Criar um novo trabalho para obter diretrizes passo a passo.

Treinamento distribuído

Consulte Treinamento Distribuído.

Limitações

  • A computação de GPU sem servidor só dá suporte a aceleradores A10.
  • Não há suporte para Link Privado. Não há suporte para repositórios pip ou de armazenamento por trás do Link Privado.
  • Não há suporte para computação de GPU sem servidor para ambientes de trabalho com perfil de segurança em conformidade (como HIPAA ou PCI). No momento, não há suporte para o processamento de dados regulamentados.
  • Para trabalhos agendados na computação de GPU sem servidor, não há suporte para o comportamento de recuperação automática para versões de pacote incompatíveis associadas ao seu notebook.
  • O tempo de execução máximo para uma carga de trabalho é de sete dias. Para trabalhos de treinamento de modelo que excedem esse limite, implemente o ponto de verificação e reinicie o trabalho depois que o runtime máximo for atingido.

Carregamento de dados

Consulte Carregar dados na computação de GPU sem servidor.

Práticas recomendadas

Consulte as práticas recomendadas para computação de GPU sem servidor.

Solucionar problemas na computação de GPU sem servidor

Se você encontrar problemas ao executar cargas de trabalho na computação de GPU sem servidor, consulte o guia de solução de problemas para problemas comuns, soluções alternativas e recursos de suporte.

Exemplos de notebook

Abaixo estão vários exemplos de notebook que demonstram como usar a computação de GPU sem servidor para tarefas diferentes.

Tarefa Description
LlMs (modelos de linguagem grande) Exemplos para ajustar modelos de linguagem grandes, incluindo métodos com eficiência de parâmetro, como LoRA (Adaptação Low-Rank) e abordagens de ajuste fino supervisionados.
Pesquisa visual computacional Exemplos para tarefas de pesquisa visual computacional, incluindo detecção de objetos e classificação de imagem.
Sistemas de recomendação baseados em aprendizado profundo Exemplos para a criação de sistemas de recomendação usando abordagens modernas de aprendizado profundo, como modelos de duas torres.
ML clássico Exemplos para tarefas tradicionais de machine learning, incluindo treinamento de modelo XGBoost e previsão de série temporal.
Treinamento distribuído de vários gpus e vários nós Exemplos para dimensionar o treinamento em várias GPUs e nós usando a API de GPU Serverless, incluindo ajuste fino distribuído.

Exemplos de treinamento de várias GPUs

Consulte treinamento distribuído em múltiplas GPUs e nós nos notebooks que mostram como utilizar várias bibliotecas de treinamento distribuído para treinamento em múltiplas GPUs.

  • Last updated on