Push obrazy pomocí Databricks CLI

Databricks CLI poskytuje pomocný příkaz databricks air images push pro kombinaci autentizace Dockeru, označování obrázků a posílání do registru artefaktů. Registrační oblast detekuje automaticky. Tento pomocník můžete použít místo manuálních kroků v průvodci Registraci artefaktů. Pomocník nevytváří obrázky ani neodesílá pracovní zátěže.

Prerequisites

• Nainstalujte Databricks CLI verzi 1.19.0 nebo novější. Viz Instalaci nebo aktualizaci rozhraní příkazového řádku Databricks.
• Nastavte si Artifact Registry v pracovním prostoru, kde chcete image uložit. Viz Jak začít s registrem artefaktů.
• Vytvořte nebo vyberte cílový katalog a schéma a získejte požadovaná práva v registru artefaktů.
• Nainstalujte a spusťte Docker na svém lokálním počítači. Docker musí být dostupný na vašem PATH.

Konfigurace autentizace v pracovním prostoru

Vytvořte nebo obnovte OAuth profil pracovního prostoru pro pracovní prostor, kde chcete obrázek uložit:

databricks auth login --profile my-databricks-profile

Pomocník pro přihlašovací údaje v Dockeru vyžaduje tento OAuth profil pracovního prostoru. Pro podporované metody autentizace viz Nastavení autentizace Dockerem.

Odeslat místní image

Například posuňte lokální obraz s názvem my-training-image:v1 :main.ml.training:v1

databricks air images push \
  --profile my-databricks-profile \
  --source my-training-image:v1 \
  --catalog main \
  --schema ml \
  --artifact training:v1

Příkaz vytiskne název obrázku Unity Catalog, který použijete ve environment.unity_catalog_image vašem workload YAML. Pro tento příklad použijte main.ml.training:v1, jak je ukázáno v Použijte obraz Dockeru v pracovní zátěži.

Pomocná funkce znovu používá lokální zdrojovou bitovou kopii, pokud existuje. Jinak se vytáhne zdrojový obraz pro linux/amd64. Přidat --pull pro obnovení zdrojového obrazu z jeho registru, i když je dostupný lokálně. Obrázky musí používat linux/amd64. Před odesláním platformy znovu vytvořte nekompatibilní lokální obraz pro danou platformu. Pokud je zdrojový obraz v soukromém registru, ověřte Docker k tomuto registru před spuštěním pomocníka.

Chcete-li interaktivně zadat podrobnosti obrázku, spusťte databricks air images push --profile my-databricks-profile bez přepínačů pro obrázek. Spusťte databricks air images push --help pro zobrazení všech možností.

Přesunte obrázek z jiného registru

Pomocník CLI můžete také použít ke zkopírování existujícího obrazu z jiného kontejnerového registru do Artifact Registry.

Následující příklad používá jako zdroj soukromé repozitář Amazon Elastic Container Registry (ECR). Pro tento příklad nainstalujte a nakonfigurujte AWS CLI s přihlašovacími údaji, které se mohou autentizovat k ECR a stáhnout zdrojový obraz. Tyto AWS přihlašovací údaje jsou oddělené od vašeho Databricks profilu.

Nejprve autentizujte Docker vůči zdrojovému registru ECR. Nahraďte příkladové AWS ID účtu, region, repozitář a image tag vlastními hodnotami. Region AWS se musí shodovat s regionem zdrojového registru ECR, nikoli cílového pracovního prostoru Databricks. Viz Private Registry authentication v dokumentaci AWS.

aws ecr get-login-password --region us-west-2 | \
  docker login --username AWS --password-stdin \
  123456789012.dkr.ecr.us-west-2.amazonaws.com

Poté předejte úplné URI image ECR jako --source:

databricks air images push \
  --profile my-databricks-profile \
  --source 123456789012.dkr.ecr.us-west-2.amazonaws.com/my-training-image:v1 \
  --catalog main \
  --schema ml \
  --artifact training:ecr-v1 \
  --pull

Příznak --pull načítá linux/amd64 obraz z ECR, i když je již uložený lokálně. Pomocný nástroj používá vaši místní instalaci Dockeru ke stažení, otagování a nahrání image. Zdrojový obraz v ECR zůstává nezměněn. Jakmile se push zdaří, nastavte environment.unity_catalog_image na main.ml.training:ecr-v1 v souboru YAML vašeho workloadu.