Aprendizado

Este artigo fornece uma breve introdução ao uso do PyTorch, do TensorFlow e do treinamento distribuído para desenvolver e ajustar modelos de aprendizado profundo no Azure Databricks. Ele também inclui links para páginas com exemplos de notebooks ilustrando como usar essas ferramentas.

• Para obter diretrizes gerais sobre como otimizar fluxos de trabalho de aprendizado profundo no Azure Databricks, confira Melhores práticas de aprendizado profundo no Azure Databricks.
• Para obter informações sobre como trabalhar com modelos de linguagem grandes e IA generativa no Azure Databricks, confira:
  • LLMs (modelos de linguagem grandes) no Databricks.
  • IA generativa e LLMs (modelos de linguagem grande) no Azure Databricks.

PyTorch

O PyTorch está incluído no Databricks Runtime ML e fornece computação de tensor acelerada por GPU e funcionalidades de alto nível para a criação de redes de aprendizado profundo. Você pode executar treinamento de nó único ou treinamento distribuído com o PyTorch no Databricks. Consulte PyTorch.

TensorFlow

O Databricks Runtime ML inclui o TensorFlow e o TensorBoard, de modo que você possa usar essas bibliotecas sem instalar nenhum pacote. O TensorFlow dá suporte a cálculos numéricos gerais e de aprendizado profundo em CPUs, GPUs e clusters de GPUs. O TensorBoard fornece ferramentas de visualização para ajudá-lo a depurar e otimizar os fluxo de trabalho de aprendizado profundo e aprendizado de máquina. Consulte TensorFlow para obter exemplos de treinamento de nó único ou distribuído.

Treinamento distribuído

Como os modelos de aprendizado profundo fazem uso intensivo de computação e de dados, o treinamento distribuído pode ser importante. Para ver exemplos de aprendizado profundo distribuído usando integrações com Horovod, spark-tensorflow-distributor, TorchDistributor e DeepSpeed, confira Treinamento distribuído.

Acompanhe o desenvolvimento do modelo de aprendizado profundo

O rastreamento continua sendo a pedra angular do ecossistema do MLflow e é especialmente vital para a natureza iterativa do aprendizado profundo. O Databricks usa o MLflow para rastrear execuções de treinamento de aprendizado profundo e desenvolvimento de modelos. Consulte Rastrear o desenvolvimento de modelos usando o MLflow.