Estimator 类

表示泛型估算器,用于使用任何提供的框架训练数据。

已弃用。 将 ScriptRunConfig 对象与定义的环境或 Azure 机器学习特选环境配合使用。 有关使用 ScriptRunConfig 配置试验运行的简介,请参阅配置和提交训练运行

此类旨在用于 Azure 机器学习尚未预先配置估算器的机器学习框架。 为 ChainerPyTorchTensorFlowSKLearn 存在的预先配置估算器。 若要创建未预先配置的估算器,请参阅通过估算器使用 Azure 机器学习训练模型

估算器类包装运行配置信息,以帮助简化指定脚本执行方式的任务。 它支持单节点和多节点执行。 运行估算器将在训练脚本中指定的输出目录中生成模型。

初始化估算器。

使用azureml.core.environment._DEFAULT_SHM_SIZE。 有关详细信息,请查看 Docker 运行参考。 :type shm_size: str :p aram resume_from:包含从中恢复试验的检查点或模型文件的数据路径。 :type resume_from:azureml.data.datapath.DataPath :p aram max_run_duration_seconds:允许运行的最长时间。 Azure ML 将尝试自动

如果运行时间超过此值,则取消运行。

继承
azureml.train.estimator._mml_base_estimator.MMLBaseEstimator
Estimator

构造函数

Estimator(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

参数

名称 说明
source_directory
必需
str

包含训练作业所需的试验配置和代码文件的本地目录。

compute_target
必需

发生训练的计算目标。 可以是对象或字符串“local”。

vm_size
必需
str

将为训练创建的计算目标的 VM 大小。 支持的值:任何 Azure VM 大小

vm_priority
必需
str

将为训练创建的计算目标的 VM 优先级。 如果未指定,则使用“dedicated”。

支持的值:“dedicated”和“lowpriority”。

这仅在输入中指定了 vm_size 参数时才会生效。

entry_script
必需
str

用于开始训练文件的相对路径。

script_params
必需

要传递给 entry_script 中指定的训练脚本的命令行参数的字典。

node_count
必需
int

计算目标中用于训练的节点数。 如果大于 1,则将运行 MPI 分布式作业。

process_count_per_node
必需
int

要在每个节点上运行的进程(或“工作线程”)数。 如果大于 1,则将运行 MPI 分布式作业。 分布式作业仅支持 AmlCompute 目标。

distributed_backend
必需
str

分布式训练的通信后端。

已弃用。 使用 distributed_training 参数。

支持的值:“mpi”。 “mpi”表示 MPI/Horovod。

node_countprocess_count_per_node> 1 时,此参数是必需的。

node_count == 1 且 process_count_per_node == 1 时,除非显式设置后端,否则不会使用后端。 分布式训练仅支持 AmlCompute 目标。

distributed_training
必需
Mpi

用于运行分布式训练作业的参数。

若要运行具有 MPI 后端的分布式作业,请使用 Mpi 对象指定 process_count_per_node

use_gpu
必需

表示要运行试验的环境是否应支持 GPU。 如果为 true,则将在环境中使用基于 GPU 的默认 Docker 映像。 如果为 false,则使用基于 CPU 的映像。 仅当未设置 custom_docker_image 参数时,才会使用默认 Docker 映像(CPU 或 GPU)。 此设置仅用于启用了 Docker 的计算目标。

use_docker
必需

指定要运行试验的环境是否应基于 Docker。

custom_docker_base_image
必需
str

要从中生成用于训练的映像的 Docker 映像的名称。

已弃用。 使用 custom_docker_image 参数。

如果未设置,则将使用基于 CPU 的默认映像作为基础映像。

custom_docker_image
必需
str

要从中生成用于训练的映像的 Docker 映像的名称。 如果未设置,则将使用基于 CPU 的默认映像作为基础映像。 仅指定公共 Docker 存储库 (Docker Hub) 中可用的映像。 若要使用专用 docker 存储库中的映像,请改为使用构造函数的 environment_definition 参数。

image_registry_details
必需

Docker 映像注册表的详细信息。

user_managed
必需

指定 Azure ML 是否重复使用现有的 Python 环境。 如果为 false,将基于 conda 依赖项规范创建 Python 环境。

conda_packages
必需

表示要添加到此试验的 Python 环境中的 conda 包的字符串列表。

pip_packages
必需

表示要添加到此试验的 Python 环境中的 pip 包的字符串列表。

conda_dependencies_file_path
必需
str

conda 依赖项 yaml 文件的相对路径。 如果已指定,Azure ML 将不安装任何框架相关的包。

已弃用。 使用 conda_dependencies_file 参数。

指定 conda_dependencies_file_pathconda_dependencies_file。 如果同时指定了这两者,则使用 conda_dependencies_file

pip_requirements_file_path
必需
str

pip 要求文本文件的相对路径。

已弃用。 使用 pip_requirements_file 参数。

此参数可与 pip_packages 参数一起指定。 指定 pip_requirements_file_pathpip_requirements_file。 如果同时指定了这两者,则使用 pip_requirements_file

conda_dependencies_file
必需
str

conda 依赖项 yaml 文件的相对路径。 如果已指定,Azure ML 将不安装任何框架相关的包。

pip_requirements_file
必需
str

pip 要求文本文件的相对路径。 此参数可与 pip_packages 参数一起指定。

environment_variables
必需

环境变量名称和值的字典。 这些环境变量是在执行用户脚本的进程上设置的。

environment_definition
必需

试验的环境定义。 它包括 PythonSection、DockerSection 和环境变量。 使用此参数可以设置不通过其他参数直接公开到估算器构造的任何环境选项。 如果指定了此参数,它将优先于其他与环境相关的参数,如 use_gpucustom_docker_imageconda_packagespip_packages。 对于无效组合,将报告错误。

inputs
必需

要用作输入的 DataReferenceDatasetConsumptionConfig 对象的列表。

source_directory_data_store
必需

项目共享的支持数据存储。

shm_size
必需
str

Docker 容器的共享内存块的大小。 如果未设置,则使用默认的 azureml.core.environment._DEFAULT_SHM_SIZE。 有关详细信息,请查看 Docker 运行参考

resume_from
必需

包含要从中恢复试验的检查点或模型文件的数据路径。

max_run_duration_seconds
必需
int

运行所允许的最大时间。 如果运行时间超过此值,Azure 机器学习会尝试自动取消运行。

source_directory
必需
str

包含训练作业所需的试验配置和代码文件的本地目录。

compute_target
必需

发生训练的计算目标。 可以是对象或字符串“local”。

vm_size
必需
str

将为训练创建的计算目标的 VM 大小。 支持的值:任何 Azure VM 大小

vm_priority
必需
str

将为训练创建的计算目标的 VM 优先级。 如果未指定,则使用“dedicated”。

支持的值:“dedicated”和“lowpriority”。

这仅在输入中指定了 vm_size 参数时才会生效。

entry_script
必需
str

用于开始训练文件的相对路径。

script_params
必需

要传递给 entry_script 中指定的训练脚本的命令行参数的字典。

node_count
必需
int

计算目标中用于训练的节点数。 如果大于 1,将运行 MPI 分布式作业。 分布式作业仅支持 AmlCompute 目标。

process_count_per_node
必需
int

每个节点的进程数。 如果大于 1,将运行 MPI 分布式作业。 分布式作业仅支持 AmlCompute 目标。

distributed_backend
必需
str

分布式训练的通信后端。

已弃用。 使用 distributed_training 参数。

支持的值:“mpi”。 “mpi”表示 MPI/Horovod。

node_countprocess_count_per_node> 1 时,此参数是必需的。

node_count == 1 且 process_count_per_node == 1 时,除非显式设置后端,否则不会使用后端。 分布式训练仅支持 AmlCompute 目标。

distributed_training
必需
Mpi

用于运行分布式训练作业的参数。

若要运行具有 MPI 后端的分布式作业,请使用 Mpi 对象指定 process_count_per_node

use_gpu
必需

指定要运行试验的环境是否应支持 GPU。 如果为 true,则将在环境中使用基于 GPU 的默认 Docker 映像。 如果为 false,则使用基于 CPU 的映像。 仅当未设置 custom_docker_image 参数时,才会使用默认 docker 映像(CPU 或 GPU)。 此设置仅用于启用了 Docker 的计算目标。

use_docker
必需

指定要运行试验的环境是否应基于 Docker。

custom_docker_base_image
必需
str

要从中生成用于训练的映像的 Docker 映像的名称。

已弃用。 使用 custom_docker_image 参数。

如果未设置,则将使用基于 CPU 的默认映像作为基础映像。

custom_docker_image
必需
str

要从中生成用于训练的映像的 Docker 映像的名称。 如果未设置,则将使用基于 CPU 的默认映像作为基础映像。 仅指定公共 Docker 存储库 (Docker Hub) 中可用的映像。 若要使用专用 docker 存储库中的映像,请改为使用构造函数的 environment_definition 参数。

image_registry_details
必需

Docker 映像注册表的详细信息。

user_managed
必需

指定 Azure ML 是否重复使用现有的 Python 环境。 如果为 false,将基于 conda 依赖项规范创建 Python 环境。

conda_packages
必需

表示要添加到此试验的 Python 环境中的 conda 包的字符串列表。

pip_packages
必需

表示要添加到此试验的 Python 环境中的 pip 包的字符串列表。

conda_dependencies_file_path
必需

conda 依赖项 yaml 文件的相对路径。 如果已指定,Azure ML 将不安装任何框架相关的包。

已弃用。 使用 conda_dependencies_file 参数。

指定 conda_dependencies_file_pathconda_dependencies_file。 如果同时指定了这两者,则使用 conda_dependencies_file

pip_requirements_file_path
必需

pip 要求文本文件的相对路径。

已弃用。 使用 pip_requirements_file 参数。

这可以与 pip_packages 参数一起提供。 指定 pip_requirements_file_pathpip_requirements_file。 如果同时指定了这两者,则使用 pip_requirements_file

pip_requirements_file
必需
str

pip 要求文本文件的相对路径。 这可以与 pip_packages 参数一起提供。

environment_variables
必需

环境变量名称和值的字典。 这些环境变量是在执行用户脚本的进程上设置的。

environment_definition
必需

试验的环境定义。 它包括 PythonSection、DockerSection 和环境变量。 使用此参数可以设置不通过其他参数直接公开到估算器构造的任何环境选项。 如果指定了此参数,它将优先于其他与环境相关的参数,如 use_gpucustom_docker_imageconda_packagespip_packages。 对于无效组合,将报告错误。

inputs
必需

要用作输入的 DataReferenceDatasetConsumptionConfig 对象的列表。

source_directory_data_store
必需

项目共享的支持数据存储。

shm_size
必需

Docker 容器的共享内存块的大小。 如果未设置,则为默认值

_disable_validation
必需

在运行提交之前禁用脚本验证。 默认值为 True。

_show_lint_warnings
必需

显示脚本 LINT 警告。 默认值为 False。

_show_package_warnings
必需

显示包验证警告。 默认值为 False。