Treinar modelos de IA e ML

O Azure Databricks oferece soluções de computação flexíveis adaptadas a diferentes necessidades de aprendizado de máquina, desde runtimes de cluster gerenciado até ambientes de GPU totalmente sem servidor.

Computação	Descrição
Runtime de IA	Ambiente sem servidor para computação de GPU, otimizado para cargas de trabalho personalizadas de aprendizado profundo em nó único e de múltiplos nós.
Databricks Runtime para Aprendizado de Máquina	Ambiente de computação clássico com bibliotecas predefinidas para aprendizado de máquina clássico e cargas de trabalho de aprendizado profundo.

Tempo de Execução de IA (versão prévia)

Importante

Esse recurso está em Visualização Pública.

O AI Runtime é uma oferta especializada dentro do ecossistema sem servidor do Databricks. Ele é otimizado para cargas de trabalho personalizadas de aprendizado profundo mononó e multinó, como ajuste de LLMs ou treino de modelos de visão computacional. Para obter uma visão geral de como a computação sem servidor se encaixa na arquitetura do Databricks, consulte a arquitetura do workspace sem servidor.

Os principais recursos incluem:

• Disponibilidade instantânea: remove a necessidade de gerenciar a infraestrutura de cluster subjacente, permitindo que você conecte um notebook diretamente aos recursos de GPU sem servidor.
• Hardware de alto desempenho: fornece acesso a GPUs A10 para tarefas econômicas.
• Ambientes gerenciados: oferece um ambiente base padrão para personalização completa ou um ambiente de IA pré-carregado com pacotes ML comuns, como Transformers e Ray.
• Dimensionamento flexível: dá suporte ao treinamento distribuído em várias GPUs e nós.

Databricks Runtime para Aprendizado de Máquina

O Databricks Runtime para Machine Learning é um runtime especializado que automatiza a criação de recursos de computação com infraestrutura pré-criada. Ele foi projetado para usuários que desejam um ambiente abrangente e pronto para uso para aprendizado de máquina clássico e aprendizado profundo.

Os principais recursos incluem:

• Bibliotecas pré-instaladas: inclui bibliotecas populares como PyTorch, TensorFlow e XGBoost, que recebem atualizações frequentes e suporte otimizado.
• Versatilidade de computação: dá suporte a tipos de instância baseados em CPU e GPU, incluindo o AWS Graviton para melhorar o preço ao desempenho.
• Otimização: oferece integração com o Photon para acelerar o Spark SQL, DataFrames e tarefas de engenharia de recursos.
• Controle de acesso: requer o modo de acesso dedicado para acesso seguro a dados por meio do Catálogo do Unity.