Estimator Класс

Представляет универсальный оценщик для обучения данных с помощью любой предоставляемой платформы.

НЕ РЕКОМЕНДУЕТСЯ. Используйте объект ScriptRunConfig с собственной определенной средой или курированной средой AzureML. Общие сведения о настройке выполнений экспериментов с помощью ScriptRunConfig приведены в статье Настройка и отправка запусков обучения.

Этот класс предназначен для использования с платформами машинного обучения, у которых еще нет предварительно настроенного оценщика Машинного обучения Azure. Предварительно настроенные оценщики существуют для Chainer, PyTorch, TensorFlow и SKLearn. Как создать Оценщик, который не является предварительно настроенным, см. статью Обучение моделей с помощью оценщика Машинного обучения Azure.

Класс Оценщика создает программу-оболочку для сведений о конфигурации запуска, чтобы упростить задачи указания способа выполнения скрипта. Он поддерживает выполнение с одним и с несколькими узлами. При запуске оценщика создается модель в выходном каталоге, указанном в скрипте обучения.

Инициализируйте оценщик.

используется azureml.core.environment._DEFAULT_SHM_SIZE. Дополнительные сведения приведены в статье со справочными сведениями о запусках Docker. :type shm_size: str :p aram resume_from: путь к данным, содержащий файлы контрольной точки или модели, из которых следует возобновить эксперимент. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: максимально допустимое время выполнения. Azure ML попытается автоматически

отмените выполнение, если оно занимает больше времени, чем это значение.

Наследование

azureml.train.estimator._mml_base_estimator.MMLBaseEstimator

Estimator

Конструктор

Estimator(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Параметры

source_directory

str

Обязательно

Локальный каталог, содержащий конфигурацию эксперимента и файлы кода, необходимые для задания на обучение.

compute_target

AbstractComputeTarget или str

Обязательно

Целевой объект вычислений, в котором будет выполняться обучение. Это может быть либо объект, либо строка "local" (локальный).

vm_size

str

Обязательно

Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.

vm_priority

str

Обязательно

Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется "dedicated" (выделенный).

Поддерживаемые значения: "dedicated" (выделенный) и "lowpriority" (низкий приоритет).

Действует только в том случае, если параметр vm_size указан во входных данных.

entry_script

str

Обязательно

Относительный путь к файлу, используемому для начала обучения.

script_params

dict

Обязательно

Словарь аргументов командной строки для передачи в скрипт обучения, указанный в entry_script.

node_count

int

Обязательно

Число узлов в целевом объекте вычислений, используемом для обучения. Если значение больше 1, будет запущено распределенное задание MPI.

process_count_per_node

int

Обязательно

Количество процессов (или рабочих ролей), запускаемых на каждом узле. Если значение больше 1, будет запущено распределенное задание MPI. Для распределенных заданий поддерживается только целевой объект AmlCompute.

distributed_backend

str

Обязательно

Внутренний сервер подключений для распределенного обучения.

НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр distributed_training.

Поддерживаемые значения: "mpi". "mpi" представляет MPI/Horovod.

Этот параметр является обязательным при node_count или process_count_per_node> 1.

Если node_count == 1 и process_count_per_node == 1, серверная часть не будет использоваться, кроме случаев, когда она задана явным образом. Для распределенного обучения поддерживается только целевой объект AmlCompute.

distributed_training

Mpi

Обязательно

Параметры для выполнения распределенного задания обучения.

Чтобы запустить распределенное задание с помощью MPI-сервера, используйте объект Mpi для указания process_count_per_node.

use_gpu

bool

Обязательно

Указывает, должна ли среда запуска эксперимента поддерживать GPU. При значении True в среде будет использоваться образ Docker по умолчанию на основе GPU. При значении False будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если параметр custom_docker_image не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.

use_docker

bool

Обязательно

Указывает, должна ли среда запуска эксперимента быть основана на Docker.

custom_docker_base_image

str

Обязательно

Имя образа Docker, из которого будет построен образ, используемый для обучения.

НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр custom_docker_image.

Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию.

custom_docker_image

str

Обязательно

Имя образа Docker, из которого будет построен образ, используемый для обучения. Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию. Можно указывать только те образы, которые доступны в публичных репозиториях Docker (Docker Hub). Чтобы выбрать образ из частного репозитория Docker, используйте параметр конструктора environment_definition.

image_registry_details

ContainerRegistry

Обязательно

Сведения о реестре образов Docker.

user_managed

bool

Обязательно

Указывает, будет ли Azure ML повторно использовать существующую среду Python. При значении False среда Python создается на основе спецификации зависимостей conda.

conda_packages

list

Обязательно

Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.

pip_packages

list

Обязательно

Список строк, представляющих пакеты pip, добавляемые в среду Python для эксперимента.

conda_dependencies_file_path

str

Обязательно

Относительный путь к файлу YAML зависимостей Conda. Если он указан, Машинное обучение Azure не будет устанавливать пакеты, связанные с платформой.

НЕ РЕКОМЕНДУЕТСЯ. Используется параметр conda_dependencies_file.

Укажите conda_dependencies_file_path или conda_dependencies_file. Если указаны оба значения, используется conda_dependencies_file.

pip_requirements_file_path

str

Обязательно

Относительный путь к текстовому файлу требований pip.

НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр pip_requirements_file.

Этот параметр можно указать в сочетании с параметром pip_packages. Укажите pip_requirements_file_path или pip_requirements_file. Если указаны оба значения, используется pip_requirements_file.

conda_dependencies_file

str

Обязательно

Относительный путь к файлу YAML зависимостей Conda. Если он указан, Машинное обучение Azure не будет устанавливать пакеты, связанные с платформой.

pip_requirements_file

str

Обязательно

Относительный путь к текстовому файлу требований pip. Этот параметр можно указать в сочетании с параметром pip_packages.

environment_variables

dict

Обязательно

Словарь имен и значений переменных среды. Эти переменные среды задаются для процесса, в котором выполняется пользовательский скрипт.

environment_definition

Environment

Обязательно

Определение среды для эксперимента. Сюда входят PythonSection, DockerSection и переменные среды. С помощью этого параметра можно задать любую опцию среды, которая не предоставляется напрямую через другие параметры в конструкцию оценщика. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными со средой, например, use_gpu, custom_docker_image, conda_packages и pip_packages. При недопустимых сочетаниях будут выводиться ошибки.

inputs

list

Обязательно

Список объектов DataReference или DatasetConsumptionConfig, используемых в качестве входных данных.

source_directory_data_store

Datastore

Обязательно

Резервное хранилище данных для общей папки проекта.

shm_size

str

Обязательно

Размер блока общей памяти контейнера Docker. Если значение не задано, используется значение по умолчанию azureml.core.environment._DEFAULT_SHM_SIZE. Дополнительные сведения приведены в статье со справочными сведениями о запусках Docker.

resume_from

DataPath

Обязательно

Путь к данным, содержащий файлы контрольной точки или модели, из которых возобновляется выполнение эксперимента.

max_run_duration_seconds

int

Обязательно

Максимально допустимое время выполнения. Машинное обучение Azure будет пытаться автоматически отменить запуск, если он занимает больше времени, чем задано этим значением.

source_directory

str

Обязательно

Локальный каталог, содержащий конфигурацию эксперимента и файлы кода, необходимые для задания на обучение.

compute_target

AbstractComputeTarget или str

Обязательно

Целевой объект вычислений, в котором будет выполняться обучение. Это может быть либо объект, либо строка "local" (локальный).

vm_size

str

Обязательно

Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.

vm_priority

str

Обязательно

Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется "dedicated" (выделенный).

Поддерживаемые значения: "dedicated" (выделенный) и "lowpriority" (низкий приоритет).

Действует только в том случае, если параметр vm_size указан во входных данных.

entry_script

str

Обязательно

Относительный путь к файлу, используемому для начала обучения.

script_params

dict

Обязательно

Словарь аргументов командной строки для передачи в скрипт обучения, указанный в entry_script.

node_count

int

Обязательно

Число узлов в целевом объекте вычислений, используемом для обучения. Если больше 1, будет запущено распределенное задание MPI. Для распределенных заданий поддерживается только целевой объект AmlCompute.

process_count_per_node

int

Обязательно

Количество процессов на каждом узле. Если больше 1, будет запущено распределенное задание MPI. Для распределенных заданий поддерживается только целевой объект AmlCompute.

distributed_backend

str

Обязательно

Внутренний сервер подключений для распределенного обучения.

НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр distributed_training.

Поддерживаемые значения: "mpi". "mpi" представляет MPI/Horovod.

Этот параметр является обязательным при node_count или process_count_per_node> 1.

Если node_count == 1 и process_count_per_node == 1, серверная часть не будет использоваться, кроме случаев, когда она задана явным образом. Для распределенного обучения поддерживается только целевой объект AmlCompute.

distributed_training

Mpi

Обязательно

Параметры для выполнения распределенного задания обучения.

Чтобы запустить распределенное задание с помощью MPI-сервера, используйте объект Mpi для указания process_count_per_node.

use_gpu

bool

Обязательно

Указывает, должна ли среда выполнения эксперимента поддерживать GPU. При значении True в среде будет использоваться образ Docker по умолчанию на основе GPU. При значении False будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если параметр custom_docker_image не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.

use_docker

bool

Обязательно

Указывает, должна ли среда выполнения эксперимента быть основана на Docker.

custom_docker_base_image

str

Обязательно

Имя образа Docker, из которого будет построен образ, используемый для обучения.

НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр custom_docker_image.

Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию.

custom_docker_image

str

Обязательно

Имя образа Docker, из которого будет построен образ, используемый для обучения. Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию. Можно указывать только те образы, которые доступны в публичных репозиториях Docker (Docker Hub). Чтобы выбрать образ из частного репозитория Docker, используйте параметр конструктора environment_definition.

image_registry_details

ContainerRegistry

Обязательно

Сведения о реестре образов Docker.

user_managed

bool

Обязательно

Указывает, будет ли Azure ML повторно использовать существующую среду Python. При значении False среда Python создается на основе спецификации зависимостей conda.

conda_packages

list

Обязательно

Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.

pip_packages

list

Обязательно

Список строк, представляющих пакеты pip, добавляемые в среду Python для эксперимента.

conda_dependencies_file_path

Обязательно

Относительный путь к файлу YAML зависимостей Conda. Если он указан, Машинное обучение Azure не будет устанавливать пакеты, связанные с платформой.

НЕ РЕКОМЕНДУЕТСЯ. Используется параметр conda_dependencies_file.

Укажите conda_dependencies_file_path или conda_dependencies_file. Если указаны оба значения, используется conda_dependencies_file.

pip_requirements_file_path

Обязательно

Относительный путь к текстовому файлу требований pip.

НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр pip_requirements_file.

Его можно указать в сочетании с параметром pip_packages. Укажите pip_requirements_file_path или pip_requirements_file. Если указаны оба значения, используется pip_requirements_file.

pip_requirements_file

str

Обязательно

Относительный путь к текстовому файлу требований pip. Его можно указать в сочетании с параметром pip_packages.

environment_variables

dict

Обязательно

Словарь имен и значений переменных среды. Эти переменные среды задаются для процесса, в котором выполняется пользовательский скрипт.

environment_definition

Environment

Обязательно

Определение среды для эксперимента. Сюда входят PythonSection, DockerSection и переменные среды. С помощью этого параметра можно задать любую опцию среды, которая не предоставляется напрямую через другие параметры в конструкцию оценщика. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными со средой, например, use_gpu, custom_docker_image, conda_packages и pip_packages. При недопустимых сочетаниях будут выводиться ошибки.

inputs

list

Обязательно

Список объектов DataReference или DatasetConsumptionConfig, используемых в качестве входных данных.

source_directory_data_store

Datastore

Обязательно

Резервное хранилище данных для общей папки проекта.

shm_size

Обязательно

Размер блока общей памяти контейнера Docker. Если значение не задано, значение по умолчанию

_disable_validation

bool

Обязательно

Отключите проверку скрипта перед запуском отправки. Значение по умолчанию равно True.

_show_lint_warnings

bool

Обязательно

Отображение предупреждений при анализе кода скрипта. Значение по умолчанию — False.

_show_package_warnings

bool

Обязательно

Отображение предупреждений о проверке пакета. Значение по умолчанию — False.