Поделиться через

SweepJob Класс

  • Ссылка

Задание очистки для настройки гиперпараметров.

Наследование
azure.ai.ml.entities._job.job.Job
SweepJob
azure.ai.ml.entities._job.sweep.parameterized_sweep.ParameterizedSweep
SweepJob
azure.ai.ml.entities._job.job_io_mixin.JobIOMixin
SweepJob

Конструктор

SweepJob(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, display_name: str | None = None, experiment_name: str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, inputs: Dict[str, int | str | float | bool | Input] | None = None, outputs: Dict[str, Output] | None = None, compute: str | None = None, limits: SweepJobLimits | None = None, sampling_algorithm: str | SamplingAlgorithm | None = None, search_space: Dict[str, Choice | LogNormal | LogUniform | Normal | QLogNormal | QLogUniform | QNormal | QUniform | Randint | Uniform] | None = None, objective: Objective | None = None, trial: CommandJob | CommandComponent | None = None, early_termination: BanditPolicy | MedianStoppingPolicy | TruncationSelectionPolicy | None = None, queue_settings: QueueSettings | None = None, **kwargs: Any)

Параметры

name
str

Имя задания.

display_name
str

Отображаемое имя задания.

description
str

Описание задания.

tags
dict[str, str]

Словарь тегов. Теги можно добавлять, удалять и обновлять.

properties
dict[str, str]

Словарь свойств ресурса.

experiment_name
str

Имя эксперимента, в который будет создано задание, если указано значение None , задание будет создано в разделе эксперимента "Default".

identity
Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Удостоверение, которое будет использоваться заданием обучения при выполнении на вычислительных ресурсах.

inputs
dict

Входные данные для команды.

outputs
dict[str, Output]

Сопоставление привязок выходных данных, используемых в задании.

sampling_algorithm
str

Алгоритм выборки гиперпараметров, используемый в search_space. По умолчанию используется значение "random".

search_space
Dict

Словарь пространства поиска гиперпараметров. Ключ — это имя гиперпараметра, а значение — выражение параметра.

objective
Objective

Метрика для оптимизации.

compute
str

Целевой объект вычислений, на котором выполняется задание.

trial
Union[CommandJob, CommandComponent]

Конфигурация задания для каждой пробной версии. Каждая пробная версия будет предоставляться с разными сочетаниями значений гиперпараметров, которые система образцы из search_space.

early_termination
Union[BanditPolicy, MedianStoppingPolicy, TruncationSelectionPolicy]

Используемая политика досрочного завершения. Задание пробной версии отменяется при соблюдении критериев указанной политики. Если этот параметр опущен, то политика раннего завершения применяться не будет.

limits
<xref:azure.ai.ml.entities.SweepJobLimits>

Ограничения для задания очистки.

queue_settings
QueueSettings

Параметры очереди для задания.

kwargs
dict

Словарь дополнительных параметров конфигурации.

Примеры

Создание задания SweepJob


   from azure.ai.ml.entities import CommandJob
   from azure.ai.ml.sweep import BayesianSamplingAlgorithm, Objective, SweepJob, SweepJobLimits

   command_job = CommandJob(
       inputs=dict(kernel="linear", penalty=1.0),
       compute=cpu_cluster,
       environment=f"{job_env.name}:{job_env.version}",
       code="./scripts",
       command="python scripts/train.py --kernel $kernel --penalty $penalty",
       experiment_name="sklearn-iris-flowers",
   )

   sweep = SweepJob(
       sampling_algorithm=BayesianSamplingAlgorithm(),
       trial=command_job,
       search_space={"ss": Choice(type="choice", values=[{"space1": True}, {"space2": True}])},
       inputs={"input1": {"file": "top_level.csv", "mode": "ro_mount"}},
       compute="top_level",
       limits=SweepJobLimits(trial_timeout=600),
       objective=Objective(goal="maximize", primary_metric="accuracy"),
   )

Методы

dump

Помещает содержимое задания в файл в формате YAML.
set_limits

Установка ограничений для узла очистки. Если вы не хотите обновлять соответствующие значения, оставьте для параметров значение Нет.
set_objective

Задайте объект очистки. Если вы не хотите обновлять соответствующие значения, оставьте для параметров значение Нет.

"свернуть", "развернуть". :type goal: str :ключевое слово primary_metric: имя метрики для оптимизации. :p aramtype primary_metric: str

dump

Помещает содержимое задания в файл в формате YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Параметры

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Обязательно

Локальный путь или файловый поток для записи содержимого YAML. Если dest — это путь к файлу, будет создан новый файл. Если dest является открытым файлом, файл будет записан в напрямую.

kwargs
dict

Дополнительные аргументы для передачи сериализатору YAML.

Исключения

FileExistsError

Возникает, если dest является путем к файлу и файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл недоступен для записи.

set_limits

Установка ограничений для узла очистки. Если вы не хотите обновлять соответствующие значения, оставьте для параметров значение Нет.

set_limits(*, max_concurrent_trials: int | None = None, max_total_trials: int | None = None, timeout: int | None = None, trial_timeout: int | None = None) -> None

Параметры

max_concurrent_trials
int

максимальное число одновременных пробных версий.

max_total_trials
int

максимальное общее число пробных версий.

timeout
int

общее время ожидания в секундах для узла очистки

trial_timeout
int

время ожидания в секундах для каждой пробной версии

Исключения

FileExistsError

Возникает, если dest является путем к файлу и файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл недоступен для записи.

set_objective

Задайте объект очистки. Если вы не хотите обновлять соответствующие значения, оставьте для параметров значение Нет.

"свернуть", "развернуть". :type goal: str :ключевое слово primary_metric: имя метрики для оптимизации. :p aramtype primary_metric: str

set_objective(*, goal: str | None = None, primary_metric: str | None = None) -> None

Параметры

goal

Определяет поддерживаемые цели метрики для настройки гиперпараметров. Допустимы следующие значения:

Исключения

FileExistsError

Возникает, если dest является путем к файлу и файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл недоступен для записи.

Атрибуты

base_path

Базовый путь к ресурсу.

Возвращаемое значение

Базовый путь к ресурсу.

Возвращаемый тип

str

creation_context

Контекст создания ресурса.

Возвращаемое значение

Метаданные создания для ресурса.

Возвращаемый тип

Optional[SystemData]

early_termination

Политика досрочного завершения задания очистки.

Возвращаемое значение

Политика досрочного завершения задания очистки.

Возвращаемый тип

<xref:azure.ai.ml.entities._job.sweep.early_termination_policy.EarlyTerminationPolicy>

id

Идентификатор ресурса.

Возвращаемое значение

Глобальный идентификатор ресурса, идентификатор Azure Resource Manager (ARM).

Возвращаемый тип

Optional[str]

inputs

limits

Ограничения для задания очистки.

Возвращаемое значение

Ограничения для задания очистки.

Возвращаемый тип

SweepJobLimits

log_files

Выходные файлы задания.

Возвращаемое значение

Словарь имен журналов и URL-адресов.

Возвращаемый тип

Optional[Dict[str, str]]

outputs

sampling_algorithm

Алгоритм выборки для задания очистки.

Возвращаемое значение

Алгоритм выборки для задания очистки.

Возвращаемый тип

SamplingAlgorithm

status

Состояние задания.

Обычно возвращаются значения Running (Выполняется), Completed (Завершено) и Failed (Сбой). Все возможные значения:

  • NotStarted — это временное состояние, в которое находятся клиентские объекты run до отправки в облако.

  • Starting — началась обработка запуска в облаке. На этом этапе вызывающий объект имеет идентификатор запуска.

  • Подготовка. Для отправки задания создается вычисление по запросу.

  • Подготовка — среда выполнения подготавливается и находится в одном из двух этапов:

    • Сборка образа Docker

    • настройка среды conda.

  • В очереди — задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди.

    ожидая готовности всех запрошенных узлов.

  • Выполнение — задание началось для выполнения в целевом объекте вычислений.

  • Завершение — выполнение пользовательского кода завершено, а выполнение выполняется в этапах постобработки.

  • CancelRequested — для задания запрошена отмена.

  • Завершено — выполнение выполнено успешно. Сюда входит выполнение пользовательского кода и выполнение.

    пользовательского кода и запуска.

  • Failed — сбой запуска. Подробное описание причины как правило предоставляет свойство Error.

  • Canceled — применяется после запроса отмены и указывает, что выполнение теперь успешно отменено.

  • NotResponding — для запусков с включенными пульсами недавно не отправлялся пульс.

Возвращаемое значение

Состояние задания.

Возвращаемый тип

Optional[str]

studio_url

Конечная точка Студии машинного обучения Azure.

Возвращаемое значение

URL-адрес страницы сведений о задании.

Возвращаемый тип

Optional[str]

type

Тип задания.

Возвращаемое значение

Тип задания.

Возвращаемый тип

Optional[str]