Configurar tareas de paquetes de IA en tiempo de ejecución

Utiliza esta referencia para personalizar un ai_runtime_task en Paquetes de Automatización Declarativa. Para ejemplos ejecutables que programan una carga de trabajo de GPU y añaden tareas de preprocesamiento, empieza con Schedule cargas de GPU y compone tareas.

Para los campos de tarea y sus definiciones, consulta la referencia de tareas en tiempo de ejecución de IA. Establece reintentos, tiempos de espera, permisos y environment_key en la tarea o trabajo que lo rodea.

Envía tu código de entrenamiento

El paquete sincroniza archivos, como en command.sh el despliegue. Una carga de trabajo solo de comandos puede apuntar command_path a ${workspace.file_path}/command.sh y omitir code_source_path.

Para un directorio separado de código de entrenamiento, se establece code_source_path como un artefacto empaquetado o una ruta de espacio de trabajo o de volumen.

Empaquetar un directorio local

Declara un tgz artefacto para empaquetar tu código en databricks bundle deploy. Este fragmento de configuración empaqueta src/ y apunta la tarea al archivo resultante:

artifacts:
  code:
    type: tgz
    path: .
    include: [src]
    files:
      - source: ./dist/code.tgz

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          ai_runtime_task:
            code_source_path: ./dist/code.tgz

El tiempo de ejecución extrae el archivo y lo establece CODE_SOURCE_PATH en su directorio de código de nivel superior. Con path: . y include: [src], el archivo contiene src/train.py y CODE_SOURCE_PATH es /databricks/code_source/src. Después de cambiar a ese directorio, ejecuta python train.py:

#!/usr/bin/env bash
set -euo pipefail
cd "$CODE_SOURCE_PATH"
python train.py

Para configuraciones de artefactos, incluyendo path, include, git, y files, véase la referencia de artefactos de fibrado.

Usa código subido

Configura code_source_path la ruta a /Workspace/… o /Volumes/… para un archivo de código que ya está subido. El paquete utiliza esa ruta sin empaquetar tu directorio local.

Configurar computación y entornos

Configura accelerator_count un múltiplo de las GPUs por nodo codificado en accelerator_type. Por ejemplo, GPU_8xH100 con accelerator_count: 16 ejecuciones en dos nodos. Consulta Hardware para orientación sobre hardware.

Para una carga de trabajo multi-nodo, AI Runtime ejecuta el comando en cada nodo. El entorno de tareas incluye NUM_NODES, WORLD_SIZE, LOCAL_WORLD_SIZE, MASTER_ADDR, y MASTER_PORT. Lee estas variables en tu comando de entrenamiento distribuido.

Declara dependencias en el bloque del environments trabajo y selecciona el entorno con el archivo de la tarea environment_key. El siguiente fragmento de configuración instala PyTorch en el entorno de entrenamiento:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: training
      environments:
        - environment_key: training
          spec:
            environment_version: '6'
            dependencies:
              - torch

Úsalo environment_version para un entorno estándar. Para usar un entorno de IA Databricks, establezca base_environment , por ejemplo workspace-base-environments/databricks_ai_v6, . Consulte Configuración del entorno.

Para una imagen Docker personalizada, activa docker_image_urlai_runtime_task y sigue Usa imágenes Docker personalizadas con la CLI de Python heredada.

Pasar configuración y datos a las tareas

Define una entrada a nivel environment_variables de puesto y selecciónala junto con la tarea environment_variables_key. Ponle valores variables simples y úsalo {{secrets/scope/key}} como referencia secreta. Esta configuración requiere la vista previa de variables de entorno descrita en Configurar variables de entorno para trabajos serverless.

Para pasar parámetros por HYPERPARAMETERS_PATH, guarda un hyperparameters.yaml archivo junto al script referenciado por command_path. El bundle sincroniza ambos archivos y el runtime se establece HYPERPARAMETERS_PATH en el archivo de parámetros de tu comando de entrenamiento. Para la conversión desde una carga de trabajo existente en YAML, véase Convertir una carga de trabajo de tiempo de ejecución de IA a un paquete.

Note

An ai_runtime_task no soporta valores de tarea del puesto ({{tasks.<task_key>.values.<name>}}dbutils.jobs.taskValueso ). Para pasar datos entre tareas, escríbelos en una ubicación compartida, como un volumen de Unity Catalog, y utiliza el mismo camino en ambas tareas.

Recursos adicionales

  • Se actualizó por última vez el