Configure seu ambiente

Importante

Esse recurso está em Visualização Pública.

O AI Runtime oferece dois ambientes Python gerenciados para computação em GPU serverless. O ambiente padrão inclui cuda. A partir da versão 5 do ambiente, torch e torchvision não são mais pré-instalados. O ambiente de IA do Databricks vem pré-carregado com PyTorch, Transformers e outros frameworks de ML e deep learning. Escolha o ambiente Standard para controle total sobre sua pilha de dependências ou o ambiente de IA para uma configuração de treinamento pronta para uso. Você pode começar em qualquer um dos ambientes e instalar mais pacotes por conta própria.

Dica

  • Escolha o ambiente Standard para ter controle total sobre as dependências ou o ambiente Databricks AI para uma pilha de aprendizado de máquina pronta para usar.
  • O padrão inclui cuda. A partir da versão 5 do ambiente, torch e torchvision não são pré-instalados. O ambiente de IA adiciona PyTorch, Transformers e mais.
  • Instale mais pacotes com %uv pip install (ambiente versão 5 e superior) ou %pip install em um notebook, ou com environment.dependencies na linha de código.

Qual ambiente usar

O AI Runtime oferece dois ambientes de Python gerenciados, o ambiente Standard e o ambiente de IA do Databricks.

Ambiente Principais características Quando usar
Ambiente padrão Mínimo; inclui cuda. A partir da versão 5 do ambiente, torch e torchvision não são mais pré-instalados. Você deseja ter controle total sobre sua pilha de dependências e prefere instalar apenas o que precisa
Ambiente de IA do Databricks Pré-carregado com estruturas ML populares (PyTorch, Transformers e muito mais) Você deseja um ambiente completo para treinamento, ajuste fino e experimentação sem gerenciamento manual de dependências

Você também pode usar um ambiente base do espaço de trabalho que um administrador do espaço de trabalho criou para o AI Runtime. Consulte Build para computação de GPU sem servidor (AI Runtime).

Para escolher um ambiente em um caderno, abra o painel lateral Ambiente e selecione um ambiente base:

Selecionar um ambiente de base no painel lateral Ambiente do notebook.

Ambiente padrão (ambiente mínimo)

Um ambiente mínimo e estável que contém apenas os pacotes necessários para a operação de AI Runtime. O ambiente inclui cuda para suporte a GPU. A partir da versão 5 do ambiente, torch e torchvision não são mais pré-instalados. Instale as versões que sua carga de trabalho precisa com %uv pip install ou %pip install. Para obter os pacotes instalados em cada versão do ambiente, consulte as notas de versão abaixo.

Melhor para: usuários que querem controle total sobre sua pilha de dependências e preferem instalar apenas o que precisam.

Para selecionar: No painel lateral de Ambiente , escolha Standard v6 como seu ambiente base.

Para obter mais detalhes sobre as versões do pacote instaladas em diferentes versões do software, confira as notas de versão:

Ambiente de IA do Databricks

Disponível no ambiente 4 e posterior. O ambiente de IA é criado com base no ambiente Standard com pacotes de runtime comuns e pacotes específicos do aprendizado de máquina em GPUs. Os pacotes pré-instalados incluem:

  • PyTorch (com suporte ao CUDA)
  • Transformadores (Hugging Face)
  • E dependências adicionais de ML/DL

Melhor para: profissionais de ML que desejam um ambiente completo para cargas de trabalho de treinamento, ajuste de precisão e experimentação sem gerenciamento manual de dependências.

Para selecionar: No painel lateral de Ambiente , escolha AI v6 como seu ambiente base.

Para obter mais detalhes sobre as versões do pacote instaladas em diferentes versões do software, confira as notas de versão:

Instale pacotes adicionais

Você pode começar a partir de um ambiente gerenciado ou de um ambiente base do espaço de trabalho e instalar seus próprios pacotes Python sobre ele. Como você os instala depende de como você se conecta ao AI Runtime.

Em um caderno

Instale pacotes no topo do seu notebook ou script de treinamento com %uv pip, que instala com uv e é mais rápido do que %pip. Fixe as versões para que as execuções permaneçam reproduzíveis:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Para a referência completa de %pip e %uv pip, incluindo quais versões do ambiente oferecem suporte a cada um, consulte Gerenciar bibliotecas com comandos %uv.

Quando você usa o decorador @distributed para cargas de trabalho com várias GPUs, os pacotes que você instala antes de chamar .distributed() são automaticamente capturados em um snapshot e propagados para todos os processos distribuídos. O tamanho total dos pacotes instalados não deve exceder 15 GB. Para obter mais detalhes, consulte Adicionar dependências ao notebook.

Com o CLI

A air CLI utiliza os mesmos ambientes gerenciados. Selecione um com environment.version e depois liste, em environment.dependencies no seu YAML de carga de trabalho, os pacotes a serem instalados com base nele. A CLI os instala no ambiente selecionado com UV, então você não gerencia um ambiente virtual separado por conta própria:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Para começar pelo ambiente de IA Databricks, defina version como um identificador de ambiente de IA como databricks_ai_v5. Para o formato completo das dependências, as flags de instalação suportadas e o suporte a imagens Docker personalizadas, consulte Dependências em Python.

Ambientes base do workspace

Um administrador do espaço de trabalho pode criar um ambiente base do espaço de trabalho para computação sem servidor com GPU, o que o torna disponível para todos os usuários no espaço de trabalho por meio do menu suspenso Ambiente base. Para obter detalhes, consulte Build para computação de GPU sem servidor (AI Runtime).

Para usar um ambiente base em uma carga de trabalho agendada, referencie-o pelo identificador no bloco environments de um trabalho ou pacote. Por exemplo, esta tarefa Declarative Automation Bundles seleciona o ambiente de IA Databricks:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Para ver um exemplo completo de tarefa, consulte Agendamento com a API de Jobs e Pacotes de Automação Declarativa.

Cache de ambiente e módulos personalizados

Quando os ambientes são armazenados em cache?

O AI Runtime armazena em cache o ambiente do seu notebook, então quando você reabre o notebook não precisa reinstalar pacotes. Para detalhes, veja Resetar as dependências do ambiente.

Cache se aplica a cadernos interativos. Cargas de trabalho executadas por meio da air CLI ou agendadas como tarefas não usam esse cache; cada execução instala novamente as dependências.

Como boa prática, fixe pacotes para uma versão específica para que seu ambiente em cache permaneça válido e suas execuções sejam reproduzíveis.

Como importar módulos personalizados?

Os passos a seguir mostram como usar seus próprios módulos em Python.

  1. Sincronize seu código com o espaço de trabalho. Clone um repositório Git no workspace com uma pasta Git, ou envie os arquivos diretamente como arquivos de workspace. Armazene o código compartilhado em /Workspace/Shared para projetos em equipe, ou na pasta do usuário para desenvolvimento pessoal. Manter o código em uma pasta Git mantém o controle de versão.
  2. Adicione a pasta a sys.path e importe-a no topo do seu notebook ou script de treinamento:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Limitações

Os seguintes recursos não estão disponíveis no AI Runtime:

  • Funções do Spark: você não pode importar ou usar funções do PySpark diretamente. O AI Runtime é um ambiente somente Python; O Spark não está disponível como um runtime local. No entanto, o Spark Connect está disponível para carregamento de dados. Consulte Carregar dados no AI Runtime.
  • Bibliotecas de ML do Databricks Runtime: os pacotes pré-instalados não são um substituto para o Databricks Runtime ML. Algumas bibliotecas de ML disponíveis no Databricks Runtime ML podem não estar pré-instaladas no AI Runtime.
  • Artefatos privados: o AI Runtime dá suporte a artefatos privados em determinados casos. Entre em contato com sua equipe de conta para obter mais detalhes.
  • Last updated on