experiments группа команд

Note

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа experiments команд в интерфейсе командной строки Databricks позволяет создавать, изменять, удалять и управлять экспериментами в MLflow. См. статью «Организация учебных запусков с использованием экспериментов MLflow».

создание эксперимента databricks create-experiment

Создайте эксперимент с именем. Возвращает идентификатор только что созданного эксперимента. Проверяет, что другой эксперимент с тем же именем еще не существует и завершается ошибкой, если другой эксперимент с тем же именем уже существует.

Вызывает RESOURCE_ALREADY_EXISTS, если эксперимент с заданным именем существует.

databricks experiments create-experiment NAME [flags]

Arguments

NAME

    Имя эксперимента.

Options

--artifact-location string

    Расположение, где хранятся все артефакты для эксперимента.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

эксперименты databricks create-run

Создайте новый запуск в эксперименте. Запуск обычно является единичным выполнением конвейера машинного обучения или ETL-процесса обработки данных. MLflow использует запуски для отслеживания mlflowParam, mlflowMetric и mlflowRunTag, связанных с одним выполнением.

databricks experiments create-run [flags]

Arguments

None

Options

--experiment-id string

    Идентификатор связанного эксперимента.

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

--run-name string

    Имя запуска.

--start-time int

    Метка времени Unix в миллисекундах момента начала выполнения.

--user-id string

    Идентификатор пользователя, выполняющего запуск.

Глобальные флаги

эксперименты databricks delete-experiment

Пометьте эксперимент и связанные метаданные, запуски, метрики, параметры и теги для удаления. Если эксперимент использует FileStore, артефакты, связанные с экспериментом, также удаляются.

databricks experiments delete-experiment EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Идентификатор связанного эксперимента.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Эксперименты databricks удаление выполнения

Пометить запуск для удаления.

databricks experiments delete-run RUN_ID [flags]

Arguments

RUN_ID

    Идентификатор запуска для удаления.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Удаление запусков экспериментов в Databricks

Массовое удаление запусков в эксперименте, созданных до указанной метки времени или в момент её указания. Удаляет не более max_runs на запрос. Чтобы вызвать API из Databricks Notebook на Python, можно использовать фрагмент клиентского кода на

databricks experiments delete-runs EXPERIMENT_ID MAX_TIMESTAMP_MILLIS [flags]

Arguments

EXPERIMENT_ID

    Идентификатор эксперимента, содержащего запускаемые процессы для удаления.

MAX_TIMESTAMP_MILLIS

    Максимальная метка времени создания в миллисекундах с эпохи UNIX для удаления запусков. Удаляются только запуски, созданные до или в данный момент времени.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

--max-runs int

    Необязательное положительное целое число, указывающее максимальное количество запусков для удаления.

Глобальные флаги

Эксперименты в Databricks: удалить тег

Удалить тег в ходе выполнения. Теги — это метаданные запуска, которые можно обновить во время выполнения и после завершения выполнения.

databricks experiments delete-tag RUN_ID KEY [flags]

Arguments

RUN_ID

    Идентификатор запуска, под которым был зарегистрирован тег. Required.

KEY

    Имя тега. Максимальный размер составляет 255 байт. Required.

Options

--json JSON

    Встроенная строка JSON или JSON-файл @path с текстом запроса

Глобальные флаги

Эксперименты Databricks: получить по имени

Получите метаданные для эксперимента с указанным именем.

Эта команда вернет удаленные эксперименты, но предпочитает активный эксперимент, если активный и удаленный эксперимент имеют то же имя. Если несколько удаленных экспериментов используют одно и то же имя, API вернет одно из них.

Бросает RESOURCE_DOES_NOT_EXIST, если эксперимент с указанным именем не существует.

databricks experiments get-by-name EXPERIMENT_NAME [flags]

Arguments

EXPERIMENT_NAME

    Имя связанного эксперимента.

Options

Глобальные флаги

эксперименты databricks получить-эксперимент

Получение метаданных для эксперимента с указанным идентификатором. Эта команда работает над удаленными экспериментами.

databricks experiments get-experiment EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Идентификатор связанного эксперимента.

Options

Глобальные флаги

эксперименты Databricks `get-history`

Получите список всех значений для указанной метрики для заданного запуска.

databricks experiments get-history METRIC_KEY [flags]

Arguments

METRIC_KEY

    Имя метрики.

Options

--max-results int

    Максимальное количество записей метрик для возврата на каждый запрос с разбивкой на страницы.

--page-token string

    Маркер, указывающий страницу историй метрик для извлечения.

--run-id string

    Идентификатор запуска, из которого необходимо извлечь значения метрик.

--run-uuid string

    Устарело, используйте --run_id. Идентификатор запуска, из которого необходимо извлечь значения метрик.

Глобальные флаги

эксперименты databricks с get-run

Получите метаданные, метрики, параметры и теги для выполнения операции. В случае, если в ходе выполнения регистрируется несколько метрик с одним ключом, возвращается только значение с последней временной меткой.

Если имеется несколько значений с последней меткой времени, верните максимум этих значений.

databricks experiments get-run RUN_ID [flags]

Arguments

RUN_ID

    Идентификатор запуска для извлечения. Необходимо указать.

Options

--run-uuid string

    Устарело, используйте --run_id. Идентификатор запуска для извлечения.

Глобальные флаги

Databricks список артефактов экспериментов

Перечислить артефакты для запуска. Принимает необязательный префикс artifact_path, и, если он указан, ответ содержит только артефакты с данным префиксом. Для томов каталога Unity извлекается не более 1000 артефактов. Используйте databricks fs ls для перечисления артефактов в томах каталога Unity, которые поддерживают разбиение на страницы.

databricks experiments list-artifacts [flags]

Arguments

None

Options

--page-token string

    Указатель, определяющий страницу с результатами артефактов для извлечения.

--path string

    Фильтрация артефактов, соответствующих этому пути (относительный путь из корневого каталога артефактов).

--run-id string

    Идентификатор выполнения, артефакты которого нужно перечислить.

--run-uuid string

    Устарело, используйте --run_id. Идентификатор выполнения, артефакты которого нужно перечислить.

Глобальные флаги

databricks эксперименты list-experiments

Получите список всех экспериментов.

databricks experiments list-experiments [flags]

Arguments

None

Options

--max-results int

    Максимальное количество нужных экспериментов.

--page-token string

    Маркер, указывающий страницу экспериментов для извлечения.

--view-type ViewType

    Квалификатор типа экспериментов, которые будут возвращены. Поддерживаемые значения: ACTIVE_ONLY, ALL, DELETED_ONLY

Глобальные флаги

Databricks проводит логирование пакетных данных

Запишите пакет метрик, параметров и тегов для запуска. Если не удалось сохранить данные, сервер будет реагировать на ошибку (код состояния, отличный от 200). Сведения о перезаписи поведения и ограничениях запросов см. в разделе "Эксперименты".

databricks experiments log-batch [flags]

Arguments

None

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--run-id string

    Идентификатор запуска для входа в систему.

Глобальные флаги

Databricks экспериментирует с входными данными журнала

Note

Эта команда является экспериментальной.

Записывает входные данные, такие как наборы данных и модели, в сеанс MLflow.

databricks experiments log-inputs RUN_ID [flags]

Arguments

RUN_ID

    Идентификатор запуска для входа в систему

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Журналирование метрик экспериментов в Databricks

Запишите метрику для выполнения. Метрика — это пара "ключ-значение" (строковый ключ, значение с плавающей запятой) со связанной меткой времени. Примеры включают различные метрики, представляющие точность модели машинного обучения. Метрика может быть зарегистрирована несколько раз.

databricks experiments log-metric KEY VALUE TIMESTAMP [flags]

Arguments

KEY

    Имя метрики.

VALUE

    Удвоенное значение регистрируемой метрики.

TIMESTAMP

    Метка времени Unix в миллисекундах на момент регистрации показателя.

Options

--dataset-digest string

    Дайджест данных, связанных с метрикой, например.

--dataset-name string

    Имя набора данных, связанного с метрикой.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--model-id string

    Идентификатор зарегистрированной модели, связанной с метрикой, если применимо.

--run-id string

    Идентификатор запуска для записи метрики.

--run-uuid string

    Устарело, используйте --run_id. Идентификатор запуска для записи метрики.

--step int

    Шаг, при котором следует записать метрику.

Глобальные флаги

databricks экспериментирует с моделью журнала

Зафиксируйте модель.

Note

Эта команда является экспериментальной.

databricks experiments log-model [flags]

Arguments

None

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--model-json string

    MLmodel-файл в формате JSON.

--run-id string

    Идентификатор запуска для входа в систему.

Глобальные флаги

Экспериментирование в Databricks - журнал параметров

Запишите параметр, который используется для запуска. Парам — это пара "ключ-значение" (строковый ключ, строковое значение). Примеры включают гиперпараметры, используемые для обучения моделей машинного обучения и константных дат и значений, используемых в конвейере ETL. Параметр может быть зарегистрирован только один раз за выполнение программы.

databricks experiments log-param KEY VALUE [flags]

Arguments

KEY

    Имя параметра. Максимальный размер составляет 255 байт.

VALUE

    Строковое значение регистрируемого парама. Максимальный размер — 500 байт.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--run-id string

    Идентификатор запуска, под которым логируется параметр.

--run-uuid string

    [Не рекомендуется, вместо этого используйте run_id] Идентификатор запуска, для записи параметра.

Глобальные флаги

эксперименты Databricks восстановить-эксперимент

Восстановите эксперимент, помеченный для удаления. Это также восстанавливает связанные метаданные, запуски, метрики, парамы и теги. Если эксперимент использует FileStore, базовые артефакты, связанные с экспериментом, также восстанавливаются.

Выбрасывает RESOURCE_DOES_NOT_EXIST, если эксперимент никогда не был создан или был окончательно удален.

databricks experiments restore-experiment EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Идентификатор связанного эксперимента.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Эксперименты Databricks: восстановление выполнения

Восстановление удаленного запуска. Это также восстанавливает связанные метаданные, запуски, метрики, парамы и теги.

Выбрасывается RESOURCE_DOES_NOT_EXIST, если запуск никогда не был создан или был окончательно удалён.

databricks experiments restore-run RUN_ID [flags]

Arguments

RUN_ID

    Идентификатор запуска для восстановления.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Эксперименты Databricks: восстановление запусков

Массовое восстановление выполняется в эксперименте, который был удален не раньше указанной метки времени. Восстанавливает не более max_runs за каждый запрос.

databricks experiments restore-runs EXPERIMENT_ID MIN_TIMESTAMP_MILLIS [flags]

Arguments

EXPERIMENT_ID

    Идентификатор эксперимента, содержащего запуски для восстановления.

MIN_TIMESTAMP_MILLIS

    Минимальная метка времени удаления в миллисекундах с момента эпохи UNIX для восстановления запусков. Восстанавливаются только удаленные не раньше этой метки времени.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--max-runs int

    Необязательное положительное целое число, указывающее максимальное количество запусков для восстановления.

Глобальные флаги

databricks эксперименты с поиском и экспериментами

Выполняет поиск экспериментов, удовлетворяющих заданным условиям поиска.

databricks experiments search-experiments [flags]

Arguments

None

Options

--filter string

    Строка, представляющая условие фильтра SQL

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--max-results int

    Максимальное количество нужных экспериментов.

--page-token string

    Маркер, указывающий страницу экспериментов для извлечения.

--view-type ViewType

    Квалификатор типа экспериментов, которые будут возвращены. Поддерживаемые значения: ACTIVE_ONLY, ALL, DELETED_ONLY

Глобальные флаги

databricks экспериментирует с поиском

Ищет запуски, удовлетворяющие выражениям. Выражения поиска могут использовать ключи mlflowMetric и mlflowParam.

databricks experiments search-runs [flags]

Arguments

None

Options

--filter string

    Выражение фильтра по параметрам, метрикам и тегам, которое позволяет возвращать подмножество вычислительных запусков.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--max-results int

    Максимальное число запусков, требуемое.

--page-token string

    Маркер для текущей страницы прогонов.

--run-view-type ViewType

    Показывать только активные, только удаленные или все запуски. Поддерживаемые значения: ACTIVE_ONLY, ALL, DELETED_ONLY

Глобальные флаги

databricks эксперименты установить тег эксперимента

Устанавливает тег на эксперименте. Теги экспериментов — это метаданные, которые можно обновить.

databricks experiments set-experiment-tag EXPERIMENT_ID KEY VALUE [flags]

Arguments

EXPERIMENT_ID

    Идентификатор эксперимента, в котором регистрируется тег. Необходимо указать.

KEY

    Имя тега. Поддерживаются ключи размером до 250 байт.

VALUE

    Строковое значение тега, регистрируемого. Поддерживаются значения размером до 64 КБ.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Эксперименты Databricks установить-тег

Задает тег для выполнения. Теги — это метаданные запуска, которые можно обновить во время выполнения и после завершения выполнения.

databricks experiments set-tag KEY VALUE [flags]

Arguments

KEY

    Имя тега. Поддерживаются ключи размером до 250 байт.

VALUE

    Строковое значение тега, регистрируемого. Поддерживаются значения размером до 64 КБ.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--run-id string

    Идентификатор запуска, в рамках которого нужно записать тег в журнал.

--run-uuid string

    Устарело, используйте --run_id. Идентификатор запуска, в рамках которого нужно записать тег в журнал.

Глобальные флаги

Databricks эксперименты обновить-эксперимент

Обновите эксперимент.

databricks experiments update-experiment EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Идентификатор связанного эксперимента.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--new-name string

    Если указано, название эксперимента изменяется на новое.

Глобальные флаги

databricks обновление запуска экспериментов

Обновите запуск.

databricks experiments update-run [flags]

Arguments

None

Options

--end-time int

    Метка времени Unix в миллисекундах после завершения выполнения.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--run-id string

    Идентификатор запуска для обновления.

--run-name string

    Обновлено имя запуска.

--run-uuid string

    Устарело, используйте --run_id. Идентификатор запуска для обновления.

--status UpdateRunStatus

    Обновлен статус запуска. Поддерживаемые значения: FAILED, FINISHED, KILLED, RUNNING, SCHEDULED

Глобальные флаги

Уровни разрешений в экспериментах Databricks

Получите уровни разрешений для эксперимента.

databricks experiments get-permission-levels EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Эксперимент, для которого нужно получить или управлять разрешениями.

Options

Глобальные флаги

Эксперименты Databricks на получение разрешений

Получение разрешений эксперимента. Эксперименты могут наследовать разрешения от корневого объекта.

databricks experiments get-permissions EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Эксперимент, для которого нужно получить или управлять разрешениями.

Options

Глобальные флаги

databricks эксперименты с набором разрешений

Задайте разрешения эксперимента.

Задает разрешения для объекта, заменив существующие разрешения, если они существуют. Удаляет все прямые разрешения, если они не указаны. Объекты могут наследовать разрешения от корневого объекта.

databricks experiments set-permissions EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Эксперимент, для которого нужно получить или управлять разрешениями.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Эксперименты Databricks обновление прав доступа

Обновление разрешений эксперимента. Эксперименты могут наследовать разрешения от корневого объекта.

databricks experiments update-permissions EXPERIMENT_ID [flags]

Arguments

EXPERIMENT_ID

    Эксперимент, для которого нужно получить или управлять разрешениями.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если флаг не указан, используется профиль DEFAULT, если он существует.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования