AI Çalışma Zamanı paket görevlerini yapılandırma

Bu referansı Deklaratif Otomasyon Paketleri içinde özelleştirmek ai_runtime_task için kullanın. GPU iş yükünü planlayan ve ön işleme görevleri ekleyen çalıştırılabilir örnekler için, GPU iş yüklerini planlayıp görevleri oluştur ile başlayın.

Görev alanları ve tanımları için AI Çalışma Zamanı görev referansına bakınız. Denemeler, zaman aşımları, izinler ve environment_key çevredeki görev veya işe göre ayarlayın.

Eğitim kodunuzu gönderin

Paket, dağıtımda olduğu gibi dosyaları command.sh senkronize eder. Sadece komut gerektiren bir iş yükü command_path .${workspace.file_path}/command.shcode_source_path

Ayrı bir eğitim kodu dizini için, paketlenmiş bir artefakt veya çalışma alanı veya hacim yolu olarak ayarlanabilir code_source_path .

Yerel bir dizin paketle

Kodunuzu paketlemek databricks bundle deployiçin bir tgz artefakt ilan edin. Bu yapılandırma, paketleri src/ parçalayıp görevi ortaya çıkan arşive yönlendirir:

artifacts:
  code:
    type: tgz
    path: .
    include: [src]
    files:
      - source: ./dist/code.tgz

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          ai_runtime_task:
            code_source_path: ./dist/code.tgz

Çalışma zamanı, arşivi çıkarır ve üst seviye kod dizinine ayarlar CODE_SOURCE_PATH . path: . ve include: [src]ile , arşiv içerir src/train.py ve CODE_SOURCE_PATH ./databricks/code_source/src O dizine geçtikten sonra çalıştırın python train.py:

#!/usr/bin/env bash
set -euo pipefail
cd "$CODE_SOURCE_PATH"
python train.py

Eser ayarları, path, includegit, , ve files, için, bundle artefact referansına bakınız.

Yüklenen kodu kullanın

Zaten yüklenmiş bir kod arşivi için bir /Workspace/… veya /Volumes/… yolu ayarlayıncode_source_path. Paket, yerel dizininizi paketlemeden bu yolu kullanıyor.

Hesaplama ve ortamları yapılandırma

Düğüm accelerator_count başına GPU'ların katını kodlayarak accelerator_typeayarlayın. Örneğin, GPU_8xH100accelerator_count: 16 iki düğüm üzerinde koşularla. Donanım rehberliği için Donanım sayfasına bakınız.

Çok düğümlü bir iş yükü için, AI Çalışma Zamanı komutu her düğümde çalıştırır. Görev ortamı , WORLD_SIZE, LOCAL_WORLD_SIZE, MASTER_ADDR, ve MASTER_PORTiçerirNUM_NODES. Bu değişkenleri dağıtılmış eğitim komutunuzda okuyun.

İş bloğunda bağımlılıkları environments bildirin ve görevin bulunduğu environment_keyortamı seçin. Aşağıdaki yapılandırma parçası PyTorch'u eğitim ortamına yükler:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: training
      environments:
        - environment_key: training
          spec:
            environment_version: '6'
            dependencies:
              - torch

Standart bir ortam için kullanım environment_version . Databricks yapay zeka ortamı kullanmak için, base_environment örneğin workspace-base-environments/databricks_ai_v6yerine . Bkz . Ortamınızı ayarlama.

Özel bir Docker görüntüsü için, docker_image_url eski Python CLI ile Özel Docker imgelerini kullan seçeneğini açın ai_runtime_task ve takip edin.

Yapılandırma ve veri görevlere aktarma

Bir iş seviyesi environment_variables girişi tanımlayın ve görev environment_variables_keyile seçin. Düz değerler ekleyin variables ve gizli referanslar için kullanın {{secrets/scope/key}} . Bu yapılandırma, sunucusuz işler için ortam değişkenlerini yapılandırma bölümünde tanımlanan ortam değişkenleri önizlemesini gerektirir.

Parametreleri geçmek HYPERPARAMETERS_PATHiçin, atıfta command_pathbulunan betikle birlikte bir hyperparameters.yaml dosya kaydedin. Paket her iki dosyayı senkronize eder ve çalışma zamanı eğitim komutunuzun parametre dosyasına ayarlanır HYPERPARAMETERS_PATH . Mevcut bir iş yükü YAML'den dönüştürme için bkz. Bir AI Çalışma Zamanı iş yükünü pakete dönüştür.

Uyarı

An ai_runtime_task iş görevi değerlerini desteklemez ({{tasks.<task_key>.values.<name>}} veya dbutils.jobs.taskValues). Verileri görevler arasında aktarmak için, Unity Kataloğu hacmi gibi paylaşılan bir konuma yazın ve her iki görevde de aynı yolu kullanın.

Ek kaynaklar

  • Son güncelleştirme: