Ambiente de IA do Databricks

O ambiente de IA do Databricks é um ambiente de execução com suporte a GPU, personalizado para desenvolvimento de IA. Há suporte para ele no ambiente de GPU sem servidor 4 e posteriores.

Esse novo ambiente simplifica o desenvolvimento ao fornecer uma pilha de bibliotecas totalmente pré-configurada para aprendizado de máquina, incluindo frameworks como PyTorch, Transformers do HuggingFace, etc., e suporte nativo para GPUs. Ele se integra aos notebooks do Databricks, ao Catálogo do Unity e ao MLflow, fornecendo uma experiência integrada. Com o ambiente de IA, as equipes de ML podem simplesmente selecionar um cluster de GPU pronto para execução e iniciar modelos de treinamento imediatamente, em vez de passar dias na instalação e solução de problemas.

Conectar-se ao ambiente de IA

Para usar o ambiente de IA do Databricks a partir de um notebook conectado à GPU sem servidor:

1. Em um notebook, clique no menu suspenso Conectar na parte superior e selecione Serverless GPU.
2. Clique no Para abrir o painel lateral ambiente .
3. Selecione A10 no campo Acelerador .
4. Selecione IA v4 para o ambiente de IA no campo Ambiente base .
5. Se você escolheu Nenhum no campo Ambiente base , selecione a versão ambiente.
6. Clique em Aplicar e confirme se deseja aplicar a computação de GPU sem servidor ao seu ambiente de notebook.

Para configurar o ambiente de IA do Databricks para um trabalho de notebook na GPU sem servidor:

1. Na configuração do trabalho do notebook, na seção Ambiente e bibliotecas, clique em Editar o ambiente do notebook.
2. Clique no Para abrir o painel lateral ambiente .
3. Selecione IA v4 para o ambiente de IA no campo Ambiente base .

As novas execuções de trabalho poderão utilizar o ambiente de IA do Databricks.

perguntas frequentes

Qual é a diferença entre o ambiente de IA do Databricks e o ambiente no Databricks Runtime para Machine Learning?

O Databricks Runtime para Machine Learning e o ambiente de IA do Databricks fornecem um ambiente de computação pré-configurado personalizado para casos de uso de IA/ML. Embora o Databricks Runtime para Machine Learning seja usado com recursos de computação clássicos, o ambiente de IA do Databricks é para computação de GPU sem servidor.

Tanto o ambiente no Databricks Runtime para Machine Learning quanto no ambiente de IA do Databricks incluem pacotes comuns de machine learning, com algumas diferenças. Mais notavelmente, o ambiente de IA do Databricks inclui pacotes mais atualizados, mas não inclui Tensorflow e GraphFrames. Para obter mais informações sobre o que está incluído no ambiente de IA do Databricks e no Databricks Runtime para Machine Learning, consulte as notas sobre a versão do ambiente sem servidor e as notas de versão do databricks runtime.

Problemas conhecidos

• O ambiente de IA do Databricks não funciona com o campo Ambiente e Bibliotecas na configuração de tarefas para trabalhos de notebook. Se você criar um ambiente de trabalhos a partir desse campo, talvez não seja possível selecionar o ambiente de IA do Databricks.
• O ambiente de IA do Databricks não dá suporte à exportação de ambiente.