RunConfiguration Classe

Representa a configuração para execuções de experimentos visando diferentes destinos de computação no Azure Machine Learning.

O objeto RunConfiguration encapsula as informações necessárias para enviar uma execução de treinamento em um experimento. Normalmente, você não criará um objeto RunConfiguration diretamente, mas obterá um de um método que o retorne, como o método submit da classe Experiment.

O RunConfiguration é uma configuração de ambiente base que também é usada em outros tipos de etapas de configuração que dependem do tipo de execução que você está disparando. Por exemplo, ao configurar um PythonScriptStep, você pode acessar o objeto RunConfiguration da etapa e configurar as dependências do Conda ou acessar as propriedades do ambiente para a execução.

Para obter exemplos de configurações de execução, consulte Selecionar e usar um destino de computação para treinar seu modelo.

Inicialize um RunConfiguration com as configurações padrão.

Herança

azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement

RunConfiguration

Construtor

RunConfiguration(script=None, arguments=None, framework=None, communicator=None, conda_dependencies=None, _history_enabled=None, _path=None, _name=None, command=None)

Parâmetros

Nome	Description
script	str O caminho relativo para o arquivo de script Python. O caminho do arquivo é relativo para o diretório de origem passado para submit. valor padrão: None
arguments	list[str] Argumentos de linha de comando para o arquivo de script Python. valor padrão: None
framework	str A estrutura de destino usada na execução. As estruturas com suporte são Python, PySpark, TensorFlow e PyTorch. valor padrão: None
communicator	str O comunicador usado na execução. Os comunicadores com suporte são None, ParameterServer, OpenMpi e IntelMpi. Tenha em mente que o OpenMpi requer uma imagem personalizada com o OpenMpi instalado. Use ParameterServer ou OpenMpi para clusters AmlCompute. Use IntelMpi para trabalhos de treinamento distribuídos. valor padrão: None
conda_dependencies	CondaDependencies Quando deixado no valor padrão False, o sistema cria um ambiente Python, que inclui os pacotes especificados em conda_dependencies. Quando definido como true, um ambiente do Python existente pode ser especificado com a configuração python_interpreter. valor padrão: None
auto_prepare_environment Obrigatório	bool PRETERIDO. Essa configuração não é mais usada.
command	list[str] ou str O comando a ser enviado à execução. A propriedade command também pode ser usada em vez de script/arguments. As propriedades command e script/arguments não podem ser usadas juntas para enviar uma execução. Para enviar um arquivo de script usando a propriedade command – ['python', 'train.py', '–arg1', arg1_val] Para executar um comando propriamente dito – ['ls'] valor padrão: None
_history_enabled	valor padrão: None
_path	valor padrão: None
_name	valor padrão: None

Comentários

Normalmente, criamos sistemas de aprendizado de máquina para resolver um problema específico. Por exemplo, podemos estar interessados em encontrar o melhor modelo que classifica páginas da Web que podem atuar como resultados da pesquisa correspondentes a uma consulta. Nossa pesquisa pelo melhor modelo de aprendizado de máquina pode exigir que experimentemos algoritmos diferentes ou consideremos diferentes configurações de parâmetros etc.

No SDK do Azure Machine Learning, usamos o conceito de um experimento para capturar a noção de que diferentes execuções de treinamento estão relacionadas ao problema que estão tentando resolver. Então, um Experiment atua como contêiner lógico para essas execuções de treinamento, facilitando o controle de andamento entre as execuções de treinamento, a comparação direta de duas sequências de treinamento etc.

O RunConfiguration encapsula as configurações de ambiente de execução necessárias para enviar uma execução de treinamento em um experimento. Ele captura a estrutura compartilhada de execuções de treinamento projetadas para resolver o mesmo problema de machine learning, bem como as diferenças nos parâmetros de configuração (por exemplo, taxa de aprendizado, função de perda etc.) que distinguem execuções de treinamento distintas umas das outras.

Nos cenários normais de treinamento, RunConfiguration é usado criando um objeto ScriptRunConfig que reúne um objeto RunConfiguration e um script de execução para treinamento.

A configuração de RunConfiguration inclui:

• Agrupamento do diretório de origem do experimento, incluindo o script enviado.

• Configuração dos argumentos de linha de comando para o script enviado.

• Configuração do caminho para o interpretador Python.

• Obtenha a configuração do Conda para gerenciar as dependências do aplicativo. O processo de envio de trabalho pode usar a configuração para provisionar um ambiente temporário do Conda e iniciar o aplicativo. Os ambientes temporários são armazenados em cache e reutilizados nas execuções subsequentes.

• Uso opcional de Docker e imagens base personalizadas.

• Opção de enviar o experimento para vários tipos de computação do Azure.

• Opção de configurar como materializar entradas e carregar saídas.

• Configurações avançadas de runtime para runtimes comuns, como Spark e TensorFlow.

O exemplo a seguir mostra como enviar um script de treinamento no computador local.

   from azureml.core import ScriptRunConfig, RunConfiguration, Experiment

   # create or load an experiment
   experiment = Experiment(workspace, "MyExperiment")
   # run a trial from the train.py code in your current directory
   config = ScriptRunConfig(source_directory='.', script='train.py',
       run_config=RunConfiguration())
   run = experiment.submit(config)

O exemplo a seguir mostra como enviar um script de treinamento no cluster usando a propriedade de comando em vez do script e argumentos.

   from azureml.core import ScriptRunConfig, Experiment
   # create or load an experiment
   experiment = Experiment(workspace, 'MyExperiment')
   # create or retrieve a compute target
   cluster = workspace.compute_targets['MyCluster']
   # create or retrieve an environment
   env = Environment.get(ws, name='MyEnvironment')
   # configure and submit your training run
   config = ScriptRunConfig(source_directory='.',
                            command=['python', 'train.py', '--arg1', arg1_val],
                            compute_target=cluster,
                            environment=env)
   script_run = experiment.submit(config)

O exemplo a seguir mostra como executar um comando no cluster.

   from azureml.core import ScriptRunConfig, Experiment
   # create or load an experiment
   experiment = Experiment(workspace, 'MyExperiment')
   # create or retrieve a compute target
   cluster = workspace.compute_targets['MyCluster']
   # create or retrieve an environment
   env = Environment.get(ws, name='MyEnvironment')
   # configure and submit your training run
   config = ScriptRunConfig(source_directory='.',
                            command=['ls', '-l'],
                            compute_target=cluster,
                            environment=env)
   script_run = experiment.submit(config)

Variáveis

Nome	Description
environment	Environment A definição de ambiente. Esse campo configura o ambiente do Python. Ele pode ser configurado para usar um ambiente do Python existente ou para configurar um ambiente temporário para o experimento. A definição também é responsável por definir as dependências do aplicativo necessárias.
max_run_duration_seconds	int O tempo máximo permitido para a execução. O sistema tentará cancelar automaticamente a execução, se demorar mais do que esse valor.
node_count	int O número de nós que serão usados para o trabalho.
priority	int A prioridade do trabalho para a política de agendamento.
history	HistoryConfiguration A seção de configuração usada para habilitar e desabilitar recursos de registro em log de histórico de experimentos.
spark	SparkConfiguration Quando a plataforma é definida como PySpark, a seção de configuração do Spark é usada para definir o SparkConf padrão para o trabalho enviado.
hdi	HdiConfiguration A seção de configuração do HDI entra em vigor somente quando o destino é definido como computação do Azure HDI. A Configuração do HDI é usada para definir o modo de implantação YARN. O modo de implantação padrão é o cluster.
docker	DockerConfiguration A seção de configuração do Docker é usada para definir variáveis para o ambiente do Docker.
tensorflow	TensorflowConfiguration A seção de configuração usada para configurar os parâmetros distribuídos do TensorFlow. Esse parâmetro entra em vigor somente quando o framework é definido como TensorFlow e o communicator como ParameterServer. AmlCompute é a única computação com suporte para essa configuração.
mpi	MpiConfiguration A seção de configuração usada para configurar os parâmetros distribuídos de trabalho do MPI. Esse parâmetro entra em vigor somente quando o framework é definido como Python e o communicator como OpenMPI ou IntelMpi. AmlCompute é o único tipo de computação com suporte para essa configuração.
pytorch	PyTorchConfiguration A seção de configuração usada para configurar os parâmetros distribuídos de trabalho da PyTorch. Esse parâmetro entra em vigor somente quando framework é definido como PyTorche communicator como Nccl ou Gloo. AmlCompute é o único tipo de computação com suporte para essa configuração.
paralleltask	ParallelTaskConfiguration A seção de configuração usada para configurar os parâmetros distribuídos de trabalho do ParallelTask. Esse parâmetro entra em vigor somente quando o framework é definido como Python e o communicator como ParallelTask. AmlCompute é o único tipo de computação com suporte para essa configuração.
data_references	dict[str, DataReferenceConfiguration] Todas as fontes de dados estão disponíveis para execução durante a execução com base em cada configuração. Para cada item do dicionário, a chave é um nome dado à fonte de dados e o valor é um DataReferenceConfiguration.
data	dict[str, Data] Todos os dados a serem disponibilizados para a execução durante a execução.
datacaches	<xref:buildin.list>[DatacacheConfiguration] Todos os dados para disponibilizar o cache de dados para a execução durante a operação.
output_data	OutputData Todas as saídas que devem ser carregadas e rastreadas para esta execução.
source_directory_data_store	str O armazenamento de dados de suporte para o compartilhamento de projeto.
amlcompute	AmlComputeConfiguration Os detalhes do destino de computação a ser criado durante o experimento. A configuração só entra em vigor quando o destino de computação é AmlCompute.
kubernetescompute	KubernetesComputeConfiguration Os detalhes do destino de computação a ser usado durante o experimento. A configuração só entra em vigor quando o destino de computação é KubernetesCompute.
services	dict[str, ApplicationEndpointConfiguration] Pontos de extremidade para interagir com o recurso de computação. Os pontos de extremidade permitidos são Jupyter, JupyterLab, VS Code, Tensorboard, SSH e portas personalizadas.

Métodos

delete	Exclua um arquivo de configuração de execução. Gera um UserErrorException se o arquivo de configuração não for encontrado.
load	Carregue um arquivo de configuração de execução salvo anteriormente em um arquivo no disco. Se path apontar para um arquivo, o RunConfiguration será carregado nesse arquivo. Se path apontar para um diretório, que deve ser um diretório de projeto, RunConfiguration será carregado em <path>/.azureml/<name> ou <path>/aml_config/<name>.
save	Salve o RunConfiguration em um arquivo no disco. Um UserErrorException é gerado quando: O RunConfiguration não pode ser salvo com o nome especificado. Nenhum parâmetro name foi especificado. O parâmetro path é inválido. Se path for do formato <dir_path>/<file_name>, onde <dir_path> é um diretório válido, o RunConfiguration será salvo em <dir_path>/<file_name>. Se path apontar para um diretório, que deve ser um diretório de projeto, RunConfiguration será salvo em <path>/.azureml/<name> ou <path>/aml_config/<name>. Esse método é útil ao editar a configuração manualmente ou ao compartilhar a configuração com a CLI.

delete

Exclua um arquivo de configuração de execução.

Gera um UserErrorException se o arquivo de configuração não for encontrado.

static delete(path, name)

Parâmetros

Nome	Description
path Obrigatório	str Um diretório raiz selecionado pelo usuário para configurações de execução. Normalmente, esse é o Repositório Git ou o diretório raiz do projeto Python. A configuração é excluída de um subdiretório chamado .azureml.
name Obrigatório	str O nome do arquivo de configuração.

Exceções

Tipo	Description
UserErrorException

load

Carregue um arquivo de configuração de execução salvo anteriormente em um arquivo no disco.

Se path apontar para um arquivo, o RunConfiguration será carregado nesse arquivo.

Se path apontar para um diretório, que deve ser um diretório de projeto, RunConfiguration será carregado em <path>/.azureml/<name> ou <path>/aml_config/<name>.

static load(path, name=None)

Parâmetros

Nome	Description
path Obrigatório	str Um diretório raiz selecionado pelo usuário para configurações de execução. Normalmente, esse é o Repositório Git ou o diretório raiz do projeto Python. Para compatibilidade com versões anteriores, a configuração também será carregada no subdiretório .azureml ou aml_config. Se o arquivo não estiver nesses diretórios, ele será carregado no caminho especificado.
name	str O nome do arquivo de configuração. valor padrão: None

Retornos

Tipo	Description
RunConfiguration	O objeto de configuração de execução.

Exceções

Tipo	Description
UserErrorException

save

Salve o RunConfiguration em um arquivo no disco.

Um UserErrorException é gerado quando:

• O RunConfiguration não pode ser salvo com o nome especificado.

• Nenhum parâmetro name foi especificado.

• O parâmetro path é inválido.

Se path for do formato <dir_path>/<file_name>, onde <dir_path> é um diretório válido, o RunConfiguration será salvo em <dir_path>/<file_name>.

Se path apontar para um diretório, que deve ser um diretório de projeto, RunConfiguration será salvo em <path>/.azureml/<name> ou <path>/aml_config/<name>.

Esse método é útil ao editar a configuração manualmente ou ao compartilhar a configuração com a CLI.

save(path=None, name=None, separate_environment_yaml=False)

Parâmetros

Nome	Description
separate_environment_yaml	bool Indica se a configuração de ambiente do Conda deve ser salva. Se True, a configuração de ambiente do Conda será salva em um arquivo YAML chamado 'environment.yml'. valor padrão: False
path	str Um diretório raiz selecionado pelo usuário para configurações de execução. Normalmente, esse é o Repositório Git ou o diretório raiz do projeto Python. A configuração é salva em um subdiretório chamado .azureml. valor padrão: None
name	str [Obrigatório] O nome do arquivo de configuração. valor padrão: None

Retornos

Tipo	Description
None

Exceções

Tipo	Description
UserErrorException

Atributos

auto_prepare_environment

Obter o parâmetro auto_prepare_environment. Esta é uma configuração preterida e não utilizada.

environment_variables

Variável de ambiente de runtime.

Retornos

Tipo	Description
dict[str, str]	Variáveis de runtime

target

Obter o destino de computação em que a execução do trabalho está agendada.

O destino padrão é "local" e se refere ao computador local. Os destinos de computação em nuvem disponíveis podem ser encontrados usando a função compute_targets.

Retornos

Tipo	Description
str	O nome de destino