air Командная группа

Командная группа внутри CLI Databricks отправляет и управляет рабочими нагрузками air GPU, такими как обучение и вывод, с помощью AI Runtime.

Для полей конфигурации рабочей нагрузки см. ссылку на Workload YAML. Чтобы отправить первую нагрузку, смотрите быстрый старт AI Runtime.

Databricks Air Run

Отправьте рабочую нагрузку из конфигурации YAML. Вывод включает ID запуска и URL задания.

databricks air run --file YAML_PATH [flags]

Arguments

None

Options

-f, --file string

    Путь к конфигурации YAML для рабочей нагрузки. Этот параметр является обязательным.

--watch

    Поток ведёт журналы от первого узла (узла 0) до тех пор, пока запуск не достигнет конечного состояния. По умолчанию: false.

--override stringArray

    Переопределите поле YAML с помощью FIELD_PATH=VALUE. Повторите эту опцию, чтобы переопределить несколько полей.

--dry-run

    Проверьте конфигурацию без подачи рабочей нагрузки. По умолчанию: false.

--idempotency-key string

    Вернуть существующий забег, когда ключ был использован ранее. Переопределения idempotency_token в YAML. Максимум: 64 символа.

Мировые флаги

Examples

Следующий пример приводит к подаче рабочей нагрузки из train.yaml и потокового потока журналов с первого узла (узла 0) до завершения запуска:

databricks air run --file train.yaml --watch

Чтобы отправить в фоновом режиме, опустите --watch. Команда возвращается после подчинения. Используйте вернутый ID запуска задания для проверки статуса и потоковых логов:

databricks air get <job-run-id>
databricks air logs <job-run-id>

Используйте тот же профиль рабочего пространства для отправки, статуса и логов. См. Конфигурационные профили для CLI Databricks.

Передайте путь конфигурации в качестве отдельного аргумента для -h отображения помощи по конфигурации рабочей нагрузки:

databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type

Databricks air get

Соберите детали для пробежки.

databricks air get JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    ID запущенной работы, вернувшийся .databricks air run

Options

Мировые флаги

Databricks Air List

Список запусков. По умолчанию команда отображает активные запуски, заданные текущим пользователем.

databricks air list [flags]

Arguments

None

Options

--limit int

    Максимальное количество показов для показа. По умолчанию: 20.

--all-status

    Включайте маршруты в конечных состояниях. По умолчанию: false.

--all-users

    Включайте серии, присланные другими пользователями. По умолчанию: false.

--filter stringArray

    Фильтр работает с использованием KEY=VALUE. Повторяйте этот вариант, чтобы потребовать несколько условий. Поддерживаемые ключи — accelerator_type, experiment, num_acceleratorsи user.

Мировые флаги

Databricks Air Logs

Стримите или собирайте логи для запуска.

databricks air logs JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    ID запущенной работы, вернувшийся .databricks air run

Options

--node int

    Выберите индекс узла с нулем. По умолчанию: 0.

--tail int

    Количество существующих лог-линий для печати. По умолчанию: 10000.

--minutes int

    Получите логи за последние минуты. Не удается объединить с --tail. По умолчанию: 0.

--retry int

    Выберите повторную попытку. 0 это первая попытка и -1 является последней. По умолчанию: -1.

--download-to string

    Скачайте полные логи в каталог. Скачивает все узлы, если --node не настроено. Нельзя объединить с --tail или --minutes.

Мировые флаги

Воздушная погашение Databricks

Отменить один или несколько запусков по ID задания, либо отменить все активные запуски, отправленные текущим пользователем.

databricks air cancel [JOB_RUN_ID...] [flags]

Arguments

JOB_RUN_ID

    Один или несколько завершённых удостоверений работы. Не удается объединить с --all.

Options

--all

    Отменить все активные запуски, отправленные текущим пользователем. По умолчанию: false.

-y, --yes

    Пропустите запрос подтверждения, используемый --all. По умолчанию: false.

Мировые флаги

Databricks Air Images Push

Отправьте изображение контейнера в Реестр артефактов.

Для предварительных требований и инструкций по продвижению изображения см. раздел Push-изображения с Databricks CLI.

databricks air images push [flags]

Arguments

None

Options

-s, --source string

    Образ исходного контейнера — это имя с необязательным тегом (NAME[:TAG]) или дайджестом (NAME@DIGEST). Если это отсутствует в интерактивном терминале, командная строка отображает значение.

--catalog string

    Каталог Unity Catalog для назначения. Если это отсутствует в интерактивном терминале, командная строка отображает значение.

--schema string

    Схема Unity Catalog для назначения. Если это отсутствует в интерактивном терминале, командная строка отображает значение.

--artifact string

    Артефакт назначения как ARTIFACT[:TAG]. По умолчанию используется имя исходного изображения и тег, или тег, latest когда у источника нет тега.

--pull

    Перед загрузкой используйте исходный образ из реестра перед загрузкой, вместо повторного использования доступного локального изображения. По умолчанию: false.

Мировые флаги

Databricks — преобразование воздуха в DABS

Преобразовать конфигурацию YAML рабочей нагрузки в Databricks Asset Bundle. Эта локальная команда записывает databricks.yml и запускает файлы под generated_artifacts/.

Эта команда является необязательным переходом к продвинутому производственному процессу. Вы можете продолжать использовать databricks air run без преобразования конфигурации.

Для рабочего процесса пакета см. Планирование рабочих нагрузок GPU и композицию задач.

databricks air convert-to-dabs YAML_PATH [flags]

Arguments

YAML_PATH

    Путь к конфигурации YAML рабочей нагрузки.

Options

--output-dir string

    Каталог, где команда записывает пакет. Исходный код должен находиться внутри этой папки. По умолчанию: каталог, содержащий входный файл YAML.

--force

    Перезаписывайте уже существующие файлы пакетов. По умолчанию: false.

Мировые флаги

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file Строка

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format Формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level Строка

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

-o, --output Тип

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile Строка

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если этот флаг не указан, при наличии используется профиль с именем DEFAULT.

--progress-format Формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target Строка

    Если применимо, целевой объект пакета для использования

Переход с устаревшей Python CLI

CLI Databricks и устаревший CLI на air базе Python используют разные имена команд и флаги. Обновляйте скрипты с помощью следующих отображений:

Python CLI Databricks CLI (интерфейс командной строки)
air run -f train.yaml databricks air run -f train.yaml
air run -f train.yaml --override A=X B=Y databricks air run -f train.yaml --override A=X --override B=Y
air get run <run-id> databricks air get <run-id>
air list runs databricks air list --all-status
air list runs --active databricks air list
air -h config databricks air run -h config
air logs <run-id> databricks air logs <run-id>
air cancel <run-id> databricks air cancel <run-id>

Дополнительные ресурсы

  • Последнее обновление: