PyTorch Classe

Representa um estimador para treinamento em experimentos PyTorch.

PRETERIDO. Use o ScriptRunConfig objeto com seu próprio ambiente definido ou um dos ambientes curados do Azure ML PyTorch. Para obter uma introdução à configuração do experimento PyTorch executado com ScriptRunConfig, consulte Treinar modelos PyTorch em escala com o Azure Machine Learning.

Versões suportadas: 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6

Inicialize um estimador PyTorch.

Referência de execução do Docker. :type shm_size: str :p aram resume_from: o caminho de dados que contém o ponto de verificação ou os arquivos de modelo a partir dos quais retomar o experimento. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: o tempo máximo permitido para a execução. O Azure ML tentará automaticamente

cancele a execução se demorar mais do que este valor.

Construtor

PyTorch(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parâmetros

Name	Description
source_directory Necessário	str Um diretório local contendo arquivos de configuração de experimento.
compute_target Necessário	AbstractComputeTarget ou str O alvo de computação onde o treinamento acontecerá. Isso pode ser um objeto ou a cadeia de caracteres "local".
vm_size Necessário	str O tamanho da VM do destino de computação que será criado para o treinamento. Valores suportados: qualquer tamanho de VM do Azure.
vm_priority Necessário	str A prioridade VM do destino de computação que será criado para o treinamento. Se não for especificado, utiliza-se «dedicado». Valores suportados: 'dedicado' e 'baixa prioridade'. Isso entra em vigor somente quando o vm_size param é especificado na entrada.
entry_script Necessário	str O caminho relativo para o arquivo que contém o script de treinamento.
script_params Necessário	dict Um dicionário de argumentos de linha de comando a serem passados para o script de treinamento especificado em entry_script.
node_count Necessário	int O número de nós no destino de computação usado para treinamento. Se maior que 1, um trabalho distribuído MPI será executado. Apenas a meta é suportada AmlCompute para trabalhos distribuídos.
process_count_per_node Necessário	int O número de processos por nó. Se maior que 1, um trabalho distribuído MPI será executado. Apenas a meta é suportada AmlCompute para trabalhos distribuídos.
distributed_backend Necessário	str O backend de comunicação para treinamento distribuído. PRETERIDO. Use o distributed_training parâmetro. Valores suportados: 'mpi', 'gloo' e 'nccl'. 'mpi': MPI/Horovod 'gloo', 'nccl': Formação Distribuída Native PyTorch Este parâmetro é necessário quando node_count ou process_count_per_node> 1. Quando node_count == 1 e process_count_per_node == 1, nenhum back-end será usado a menos que o back-end esteja explicitamente definido. Apenas o alvo é suportado AmlCompute para formação distribuída.
distributed_training Necessário	Mpi ou Gloo ou Nccl Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com back-end MPI, use Mpi o objeto para especificar process_count_per_node. Para executar um trabalho distribuído com back-end gloo, use Gloo. Para executar um trabalho distribuído com back-end nccl, use Nccl.
use_gpu Necessário	bool Especifica se o ambiente para executar o experimento deve suportar GPUs. Se verdadeiro, uma imagem padrão do Docker baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens docker padrão (CPU ou GPU) serão usadas somente se o custom_docker_image parâmetro não estiver definido. Essa configuração é usada somente em destinos de computação habilitados para Docker.
use_docker Necessário	bool Especifica se o ambiente para executar o experimento deve ser baseado no Docker.
custom_docker_base_image Necessário	str O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. PRETERIDO. Use o custom_docker_image parâmetro. Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base.
custom_docker_image Necessário	str O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base.
image_registry_details Necessário	ContainerRegistry Os detalhes do registro de imagem do Docker.
user_managed Necessário	bool Especifica se o Azure ML reutiliza um ambiente python existente. Se false, o Azure ML criará um ambiente Python com base na especificação de dependências conda.
conda_packages Necessário	list Uma lista de strings que representam pacotes conda a serem adicionados ao ambiente Python para o experimento.
pip_packages Necessário	list Uma lista de strings que representam pacotes pip a serem adicionados ao ambiente Python para o experimento.
conda_dependencies_file_path Necessário	str O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura. PRETERIDO. Use o conda_dependencies_file parâmetro.
pip_requirements_file_path Necessário	str O caminho relativo para o arquivo de texto de requisitos pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro. PRETERIDO. Use o pip_requirements_file parâmetro.
conda_dependencies_file Necessário	str O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura.
pip_requirements_file Necessário	str O caminho relativo para o arquivo de texto de requisitos pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro.
environment_variables Necessário	dict Um dicionário de nomes e valores de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo onde o script do usuário está sendo executado.
environment_definition Necessário	Environment A definição do ambiente para o experimento. Ele inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros à construção do Estimador pode ser definida usando este parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como use_gpu, custom_docker_image, conda_packages, ou pip_packages. Erros serão relatados em combinações inválidas de parâmetros.
inputs Necessário	list Uma lista de DataReference ou DatasetConsumptionConfig objetos para usar como entrada.
source_directory_data_store Necessário	Datastore O armazenamento de dados de suporte para compartilhamento de projeto.
shm_size Necessário	str O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não estiver definido, o azureml.core.environment._DEFAULT_SHM_SIZE padrão será usado. Para obter mais informações, consulte Referência de execução do Docker.
resume_from Necessário	DataPath O caminho de dados que contém o ponto de verificação ou os arquivos de modelo a partir dos quais retomar o experimento.
max_run_duration_seconds Necessário	int O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais do que esse valor.
framework_version Necessário	str A versão do PyTorch a ser usada para executar o código de treinamento. PyTorch.get_supported_versions() retorna uma lista das versões suportadas pelo SDK atual.
source_directory Necessário	str Um diretório local contendo arquivos de configuração de experimento.
compute_target Necessário	AbstractComputeTarget ou str O alvo de computação onde o treinamento acontecerá. Isso pode ser um objeto ou a cadeia de caracteres "local".
vm_size Necessário	str O tamanho da VM do destino de computação que será criado para o treinamento. Valores suportados: qualquer tamanho de VM do Azure.
vm_priority Necessário	str A prioridade VM do destino de computação que será criado para o treinamento. Se não for especificado, utiliza-se «dedicado». Valores suportados: 'dedicado' e 'baixa prioridade'. Isso entra em vigor somente quando o vm_size param é especificado na entrada.
entry_script Necessário	str O caminho relativo para o arquivo que contém o script de treinamento.
script_params Necessário	dict Um dicionário de argumentos de linha de comando a serem passados para o script de treinamento especificado em entry_script.
node_count Necessário	int O número de nós no destino de computação usado para treinamento. Se maior que 1, o trabalho distribuído mpi será executado. Somente o destino azureml.core.compute.AmlCompute é suportado para trabalhos distribuídos.
process_count_per_node Necessário	int O número de processos por nó. Se maior que 1, um trabalho distribuído MPI será executado. Apenas a meta é suportada AmlCompute para trabalhos distribuídos.
distributed_backend Necessário	str O backend de comunicação para treinamento distribuído. PRETERIDO. Use o distributed_training parâmetro. Valores suportados: 'mpi', 'gloo' e 'nccl'. 'mpi': MPI/Horovod 'gloo', 'nccl': Formação Distribuída Native PyTorch Este parâmetro é necessário quando node_count ou process_count_per_node> 1. Quando node_count == 1 e process_count_per_node == 1, nenhum back-end será usado a menos que o back-end esteja explicitamente definido. Apenas o alvo é suportado AmlCompute para formação distribuída.
distributed_training Necessário	Mpi ou Gloo ou Nccl Parâmetros para executar um trabalho de treinamento distribuído. Para executar um trabalho distribuído com back-end MPI, use Mpi o objeto para especificar process_count_per_node. Para executar um trabalho distribuído com back-end gloo, use Gloo. Para executar um trabalho distribuído com back-end nccl, use Nccl.
use_gpu Necessário	bool Especifica se o ambiente para executar o experimento deve suportar GPUs. Se verdadeiro, uma imagem padrão do Docker baseada em GPU será usada no ambiente. Se false, uma imagem baseada em CPU será usada. As imagens docker padrão (CPU ou GPU) serão usadas somente se o custom_docker_image parâmetro não estiver definido. Essa configuração é usada somente em destinos de computação habilitados para Docker.
use_docker Necessário	bool Especifica se o ambiente para executar o experimento deve ser baseado no Docker.
custom_docker_base_image Necessário	str O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. PRETERIDO. Use o custom_docker_image parâmetro. Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base.
custom_docker_image Necessário	str O nome da imagem do Docker a partir da qual a imagem a ser usada para treinamento será construída. Se não estiver definida, uma imagem padrão baseada em CPU será usada como imagem base.
image_registry_details Necessário	ContainerRegistry Os detalhes do registro de imagem do Docker.
user_managed Necessário	bool Especifica se o Azure ML reutiliza um ambiente Python existente. Se false, o Azure ML criará um ambiente Python com base na especificação de dependências conda.
conda_packages Necessário	list Uma lista de strings que representam pacotes conda a serem adicionados ao ambiente Python para o experimento.
pip_packages Necessário	list Uma lista de strings que representam pacotes pip a serem adicionados ao ambiente Python para o experimento.
conda_dependencies_file_path Necessário	str O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura. PRETERIDO. Use o conda_dependencies_file parâmetro.
pip_requirements_file_path Necessário	str O caminho relativo para o arquivo de texto de requisitos pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro. PRETERIDO. Use o pip_requirements_file parâmetro.
conda_dependencies_file Necessário	str O caminho relativo para o arquivo yaml de dependências conda. Se especificado, o Azure ML não instalará nenhum pacote relacionado à estrutura.
pip_requirements_file Necessário	str O caminho relativo para o arquivo de texto de requisitos pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro.
environment_variables Necessário	dict Um dicionário de nomes e valores de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo onde o script do usuário está sendo executado.
environment_definition Necessário	Environment A definição do ambiente para o experimento. Ele inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros à construção do Estimador pode ser definida usando este parâmetro. Se esse parâmetro for especificado, ele terá precedência sobre outros parâmetros relacionados ao ambiente, como use_gpu, custom_docker_image, conda_packages, ou pip_packages. Erros serão relatados em combinações inválidas.
inputs Necessário	list Uma lista de azureml.data.data_reference. DataReference objetos para usar como entrada.
source_directory_data_store Necessário	Datastore O armazenamento de dados de suporte para compartilhamento de projeto.
shm_size Necessário	O tamanho do bloco de memória compartilhada do contêiner do Docker. Se não estiver definido, o azureml.core.environment._DEFAULT_SHM_SIZE padrão será usado. Para obter mais informações, consulte
framework_version Necessário	str A versão do PyTorch a ser usada para executar o código de treinamento. PyTorch.get_supported_versions() retorna uma lista das versões suportadas pelo SDK atual.
_enable_optimized_mode Necessário	bool Habilite a criação incremental de ambientes com imagens de estrutura pré-criadas para uma preparação mais rápida do ambiente. Uma imagem de estrutura pré-criada é criada sobre as imagens base de CPU/GPU padrão do Azure ML com dependências de estrutura pré-instaladas.
_disable_validation Necessário	bool Desative a validação de script antes de executar o envio. O padrão é True.
_show_lint_warnings Necessário	bool Mostrar avisos de revestimento de script. O padrão é False.
_show_package_warnings Necessário	bool Mostrar avisos de validação de pacote. O padrão é False.

Observações

Ao enviar um trabalho de treinamento, o Azure ML executa seu script em um ambiente conda dentro de um contêiner do Docker. Os contêineres PyTorch têm as seguintes dependências instaladas.

Dependências | PyTorch 1.0/1.1/1.2/1.3/ | PyTorch 1.4/1.5/1.6 | ———————- | —————– | ————- | Python | 3.6.2 | 3.6.2 | CUDA (apenas imagem GPU) | 10,0 | 10,1 | cuDNN (apenas imagem GPU) | 7.6.3 | 7.6.3 | NCCL (apenas imagem GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Últimas notícias | Últimas notícias | OpenMpi | 3.1.2 | 3.1.2 | Horovod | 0.18.1 | 0.18.1/0.19.1/0.19.5 | Miniconda | 4.5.11 | 4.5.11 | tocha | 1.0/1.1/1.2/1.3.1 | 1.4.0/1.5.0/1.6.0 | Torchvision | 0.4.1 | 0.5.0 | Git | 2.7.4 | 2.7.4 | Tensorboard | 1.14 | 1.14 | futuro | 0.17.1 | 0.17.1 |

As imagens do Docker estendem o Ubuntu 16.04.

Para instalar dependências adicionais, você pode usar o pip_packages parâmetro ou conda_packages . Ou, você pode especificar o pip_requirements_file parâmetro ou conda_dependencies_file . Como alternativa, você pode criar sua própria imagem e passar o custom_docker_image parâmetro para o construtor do estimador.

Para obter mais informações sobre contêineres do Docker usados no treinamento do PyTorch, consulte https://github.com/Azure/AzureML-Containers.

O estimador PyTorch suporta treinamento distribuído em clusters de CPU e GPU usando o Horovod, um código aberto, todos reduzem a estrutura para treinamento distribuído. Para obter exemplos e mais informações sobre como usar o PyTorch em treinamento distribuído, consulte o tutorial Treinar e registrar modelos PyTorch em escala com o Azure Machine Learning.

Atributos

DEFAULT_VERSION

DEFAULT_VERSION = '1.4'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'PyTorch'