Enviar imagens com a CLI Databricks

Importante

Esse recurso está em Beta. Para usar isso, um administrador do espaço de trabalho deve habilitar as pré-visualizações AI Runtime Beta Features e Databricks Artifact Registry na página de Pré-visualizações do espaço de trabalho.

A CLI do Databricks fornece o comando helper databricks air images push para combinar autenticação Docker, marcação de imagens e push para o Registro de Artefatos. Ele detecta automaticamente a região do registro. Você pode usar este auxiliar em vez dos passos manuais do guia do Artifact Registry. O assistente não constrói imagens nem envia cargas de trabalho.

Prerequisites

Configurar autenticação do workspace

Crie ou atualize um perfil OAuth de espaço de trabalho para o espaço onde deseja armazenar a imagem:

databricks auth login --profile my-databricks-profile

O auxiliar de credenciais Docker requer esse perfil OAuth do workspace. Para ver os métodos de autenticação suportados, consulte Configurar autenticação do Docker.

Efetuar push de uma imagem local

Por exemplo, envie uma imagem local nomeada my-training-image:v1 para main.ml.training:v1:

databricks air images push \
  --profile my-databricks-profile \
  --source my-training-image:v1 \
  --catalog main \
  --schema ml \
  --artifact training:v1

O comando imprime o nome da imagem do Catálogo Unity para usar como environment.unity_catalog_image no seu YAML da carga de trabalho. Para este exemplo, use main.ml.training:v1, como mostrado em Use uma imagem Docker em uma carga de trabalho.

O auxiliar reutiliza uma imagem de origem local quando existe. Caso contrário, ele puxa a imagem fonte para linux/amd64. Adicione --pull para atualizar uma imagem de origem direto de seu respectivo registro, mesmo que esteja disponível localmente. As imagens devem usar linux/amd64. Recrie uma imagem local incompatível para essa plataforma antes de enviá-la. Se a imagem de origem estiver em um registro privado, autentique o Docker nesse registro antes de executar o helper.

Para inserir os detalhes da imagem de forma interativa, execute databricks air images push --profile my-databricks-profile sem as flags da imagem. Execute databricks air images push --help para ver todas as opções.

Efetuar push de uma imagem direto de outro Registro

Você também pode usar o auxiliar de CLI para copiar uma imagem existente de outro registro de contêineres para o Artifact Registry.

O exemplo a seguir utiliza um repositório privado do Amazon Elastic Container Registry (ECR) como fonte. Para esse exemplo, instale e configure a CLI da AWS com credenciais que possam se autenticar no ECR e puxar a imagem de origem. Essas credenciais AWS são separadas do seu perfil no Databricks.

Primeiro, autentique o Docker no registro ECR de origem. Substitua o exemplo de ID da conta AWS, região, repositório e tag de imagem por seus próprios valores. A região AWS deve corresponder ao registro ECR de origem, não ao workspace de Databricks de destino. Veja autenticação do registro privado na documentação da AWS.

aws ecr get-login-password --region us-west-2 | \
  docker login --username AWS --password-stdin \
  123456789012.dkr.ecr.us-west-2.amazonaws.com

Depois, passe o URI completo da imagem ECR como --source:

databricks air images push \
  --profile my-databricks-profile \
  --source 123456789012.dkr.ecr.us-west-2.amazonaws.com/my-training-image:v1 \
  --catalog main \
  --schema ml \
  --artifact training:ecr-v1 \
  --pull

A --pull flag recupera a linux/amd64 imagem do ECR mesmo que ela já esteja em cache localmente. O assistente usa sua instalação local do Docker para fazer pull, tag e push da imagem. A imagem de origem no ECR permanece inalterada. Depois que o processo de push for bem-sucedido, defina environment.unity_catalog_image como main.ml.training:ecr-v1 no YAML da carga de trabalho.

  • Última atualização em