Compartilhar via

Configure seu ambiente

Importante

O AI Runtime para tarefas de nó único está na Visualização Pública. A API de treinamento distribuído para cargas de trabalho de várias GPUs permanece em Beta.

Esta página descreve como escolher e configurar um ambiente python para o AI Runtime, incluindo comportamento de cache de ambiente, importações de módulo personalizadas e limitações conhecidas.

Qual ambiente usar

O AI Runtime oferece dois ambientes python gerenciados, o ambiente base padrão e o ambiente de IA do Databricks.

Ambiente Principais características Quando usar
Ambiente base padrão Mínimo, inclui apenas torch, cudae torchvision Você deseja ter controle total sobre sua pilha de dependências e prefere instalar apenas o que precisa
Ambiente de IA do Databricks Pré-carregado com estruturas ML populares (PyTorch, Transformers e muito mais) Você deseja um ambiente completo para treinamento, ajuste fino e experimentação sem gerenciamento manual de dependências

Observação

Não há suporte para ambientes base de workspace para o AI Runtime. Em vez disso, use o ambiente de IA ou padrão e especifique dependências adicionais diretamente no painel lateral ambientes ou pip install neles.

Ambiente base padrão (ambiente mínimo)

Um ambiente mínimo e estável que contém apenas os pacotes necessários para a operação de AI Runtime. O ambiente inclui torch, cudae torchvision, otimizado para compatibilidade. Para versões específicas do pacote, use pip install ou fixe as versões necessárias, conforme necessário.

Melhor para: usuários que querem controle total sobre sua pilha de dependências e preferem instalar apenas o que precisam.

Esse é o ambiente padrão quando você se conecta a uma GPU sem servidor por meio do AI Runtime.

Para obter mais detalhes sobre as versões do pacote instaladas em diferentes versões do software, confira as notas de versão:

Ambiente de IA do Databricks

Disponível no ambiente 4 e posterior. O ambiente de IA é criado com base no ambiente base padrão com pacotes de runtime comuns e pacotes específicos para aprendizado de máquina em GPUs. Os pacotes pré-instalados incluem:

  • PyTorch (com suporte ao CUDA)
  • Transformers (Hugging Face)
  • Dependências adicionais de ML/DL

Melhor para: profissionais de ML que desejam um ambiente completo para cargas de trabalho de treinamento, ajuste de precisão e experimentação sem gerenciamento manual de dependências.

Para selecionar: No painel lateral Ambiente, escolha IA v4 como seu ambiente base.

Para obter mais detalhes sobre as versões do pacote instaladas em diferentes versões do software, confira as notas de versão:

Ambientes base do workspace

Ambientes de base do workspace não têm suporte para o AI Runtime. Você não pode usar configurações personalizadas de ambiente no nível do workspace.

Para configurar seu ambiente de aprendizado profundo para um projeto, use um dos dois ambientes base fornecidos (padrão ou IA do Databricks) e instale pacotes adicionais programaticamente usando %pip install seu notebook ou na parte superior do script de treinamento:

%pip install datasets accelerate peft bitsandbytes

Você pode instalar bibliotecas adicionais no ambiente do AI Runtime. Consulte Adicionar dependências ao notebook.

Comportamento

Quando os ambientes são armazenados em cache?

Os ambientes são armazenados em cache entre sessões para acelerar os tempos de inicialização. Quando você se reconecta ao AI Runtime com a mesma configuração de ambiente, os pacotes instalados anteriormente podem estar disponíveis no cache, reduzindo o tempo de instalação.

No entanto, o comportamento do cache não é garantido – sempre verifique se o notebook inclui os comandos necessários %pip install para reprodutibilidade.

Como importar módulos personalizados?

Você pode importar módulos personalizados colocando-os /Workspace/Shared e adicionando o caminho a sys.path:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Você também pode carregar arquivos de módulo como arquivos do Workspace e importá-los diretamente. Para colaboração com vários usuários, armazene código compartilhado em /Workspace/Shared vez de pastas específicas do usuário. Para desenvolvimento ativo, use pastas específicas do usuário e envie por push para um repositório Git remoto para controle de versão.

Limitações

Os seguintes recursos não estão disponíveis no AI Runtime:

  • Funções do Spark – você não pode importar ou usar funções do PySpark diretamente. O AI Runtime é um ambiente somente Python; O Spark não está disponível como um runtime local. No entanto, o Spark Connect está disponível para carregamento de dados. Consulte Carregar dados no AI Runtime.
  • Bibliotecas de ML do Databricks Runtime – os pacotes pré-instalados não são uma substituição para o Databricks Runtime ML. Algumas bibliotecas de ML disponíveis no Databricks Runtime ML podem não estar pré-instaladas no AI Runtime.
  • Ambientes base do workspace – não há suporte para configurações personalizadas de ambiente no nível do workspace.
  • Artefatos privados — o AI Runtime dá suporte a artefatos privados em determinados casos. Entre em contato com sua equipe de conta para obter mais detalhes.
  • Last updated on