Module Classe

Representa uma unidade de computação usada em um pipeline do Azure Machine Learning.

Um módulo é uma coleção de arquivos que será executado em um destino de computação e uma descrição de uma interface. A coleção de arquivos pode ser script, binários ou quaisquer outros arquivos necessários para serem executados no destino de computação. A interface do módulo descreve entradas, saídas e definições de parâmetro. Ele não os associa a valores ou dados específicos. Um módulo tem um instantâneo associado a ele, que captura a coleção de arquivos definidos para o módulo.

Inicializar Módulo.

Construtor

Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)

Parâmetros

Nome	Description
workspace Obrigatório	Workspace O objeto de workspace ao qual este Módulo pertence.
module_id Obrigatório	str A ID do módulo.
name Obrigatório	str O nome do Módulo.
description Obrigatório	str A descrição do Módulo.
status Obrigatório	str O novo status do Módulo: 'Ativo', 'Preterido' ou 'Desabilitado'.
default_version Obrigatório	str A versão padrão do Módulo.
module_version_list Obrigatório	list Uma lista de ModuleVersionDescriptor objetos.
_module_provider	<xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider> (Somente uso interno.) O provedor de módulo. Valor padrão: None
_module_version_provider	<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider> (Somente uso interno.) O provedor ModuleVersion. Valor padrão: None
workspace Obrigatório	Workspace O objeto de workspace ao qual este Módulo pertence.
module_id Obrigatório	str A ID do módulo.
name Obrigatório	str O nome do Módulo.
description Obrigatório	str A descrição do Módulo.
status Obrigatório	str O novo status do Módulo: 'Ativo', 'Preterido' ou 'Desabilitado'.
default_version Obrigatório	str A versão padrão do Módulo.
module_version_list Obrigatório	list Uma lista de ModuleVersionDescriptor objetos.
_module_provider Obrigatório	<xref:<xref:_AevaMlModuleProvider object>> O provedor de módulo.
_module_version_provider Obrigatório	<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider> O provedor ModuleVersion.

Comentários

Um módulo atua como um contêiner de suas versões. No exemplo a seguir, um ModuleVersion é criado a partir do publish_python_script método e tem duas entradas e duas saídas. A criação de ModuleVersion é a versão padrão (is_default é definida como True).


   out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
                           label="Sum of two numbers")
   out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
                            label="Product of two numbers")
   entry_version = module.publish_python_script("calculate.py", "initial",
                                                inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
                                                version="1", source_directory="./calc")

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Este módulo pode ser usado ao definir um pipeline, em etapas diferentes, usando um ModuleStep.

O exemplo a seguir mostra como transferir os dados usados no pipeline para entradas e saídas de um ModuleVersion usando PipelineData:


   middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
   middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
   middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
   middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}

Em seguida, o mapeamento pode ser usado ao criar o ModuleStep:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

A resolução de qual versão do módulo usar ocorre no envio e segue o seguinte processo:

Remover todas as versões desabilitadas
Se uma versão específica tiver sido declarada, use-a, caso contrário,
Se uma versão padrão foi definida para o Módulo, use-a, caso contrário,
Se todas as versões seguirem o controle de versão semântico sem letras, use o valor mais alto, caso contrário,
Pegue a versão do Módulo que foi atualizada por último

Observe que, como o mapeamento de entradas e saídas de um nó para entrada e saída de um módulo é definido após a criação do Pipeline, se a versão resolvida no envio tiver uma interface diferente daquela que é resolvida após a criação do pipeline, o envio do pipeline falhará.

O módulo subjacente pode ser atualizado com novas versões, mantendo a versão padrão a mesma.

Os módulos são nomeados exclusivamente em um workspace.

Métodos

create	Crie o Módulo.
deprecate	Defina o Módulo como 'Preterido'.
disable	Defina o módulo como 'Desabilitado'.
enable	Defina o Módulo como "Ativo".
get	Obter o Módulo por nome ou por ID; gerará uma exceção se nenhum dos dois for fornecido.
get_default	Obtenha a versão do módulo padrão.
get_default_version	Obtenha a versão padrão do Módulo.
get_versions	Obtenha todas as versões do Módulo.
module_def_builder	Crie o objeto de definição de módulo que descreve a etapa.
module_version_list	Obtenha a lista de versões do Módulo.
process_source_directory	Processe o diretório de origem para a etapa e verifique se o script existe.
publish	Crie um ModuleVersion e adicione-o ao módulo atual.
publish_adla_script	Crie um ModuleVersion baseado no ADLA (Azure Data Lake Analytics) e adicione-o ao módulo atual.
publish_azure_batch	Crie um ModuleVersion que use o lote do Azure e adicione-o ao Módulo atual.
publish_python_script	Crie um ModuleVersion baseado em um script Python e adicione-o ao Módulo atual.
resolve	Resolva e retorne o ModuleVersion correto.
set_default_version	Defina o ModuleVersion padrão do módulo.
set_description	Defina a descrição do Módulo.
set_name	Defina o nome do Módulo.

create

Crie o Módulo.

static create(workspace, name, description, _workflow_provider=None)

Parâmetros

Nome	Description
workspace Obrigatório	Workspace O workspace no qual criar o Módulo.
name Obrigatório	str O nome do Módulo.
description Obrigatório	str A descrição do Módulo.
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> (Somente uso interno.) O provedor de fluxo de trabalho. Valor padrão: None

Retornos

Tipo	Description
Module	Objeto module

deprecate

Defina o Módulo como 'Preterido'.

deprecate()

disable

Defina o módulo como 'Desabilitado'.

disable()

enable

Defina o Módulo como "Ativo".

enable()

get

Obter o Módulo por nome ou por ID; gerará uma exceção se nenhum dos dois for fornecido.

static get(workspace, module_id=None, name=None, _workflow_provider=None)

Parâmetros

Nome	Description
workspace Obrigatório	Workspace O workspace no qual criar o Módulo.
module_id	str A ID do módulo. Valor padrão: None
name	str O nome do Módulo. Valor padrão: None
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> (Somente uso interno.) O provedor de fluxo de trabalho. Valor padrão: None

Retornos

Tipo	Description
Module	Objeto module

get_default

Obtenha a versão do módulo padrão.

get_default()

Retornos

Tipo	Description
ModuleVersion	A versão do módulo padrão.

get_default_version

Obtenha a versão padrão do Módulo.

get_default_version()

Retornos

Tipo	Description
str	A versão padrão do Módulo.

get_versions

Obtenha todas as versões do Módulo.

static get_versions(workspace, name, _workflow_provider=None)

Parâmetros

Nome	Description
workspace Obrigatório	Workspace O workspace no qual o Módulo foi criado.
name Obrigatório	str O nome do Módulo.
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> (Somente uso interno.) O provedor de fluxo de trabalho. Valor padrão: None

Retornos

Tipo	Description
list	A lista de ModuleVersionDescriptor

module_def_builder

Crie o objeto de definição de módulo que descreve a etapa.

static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)

Parâmetros

Nome	Description
name Obrigatório	str O nome do Módulo.
description Obrigatório	str A descrição do Módulo.
execution_type Obrigatório	str O tipo de execução do Módulo.
input_bindings Obrigatório	list As associações de entrada do Módulo.
output_bindings Obrigatório	list As associações de saída do Módulo.
param_defs	list As definições de parâmetro do módulo. Valor padrão: None
create_sequencing_ports	bool Indica se as portas de sequenciamento serão criadas para o Módulo. Valor padrão: True
allow_reuse	bool Indica se o Módulo estará disponível para ser reutilizado. Valor padrão: True
version	str A versão do Módulo. Valor padrão: None
module_type	str O tipo de módulo. Valor padrão: None
step_type	str Tipo de etapa associada a este módulo, por exemplo, "PythonScriptStep", "HyperDriveStep", etc. Valor padrão: None
arguments	list Lista de argumentos anotados a serem usados ao chamar este módulo Valor padrão: None
runconfig	str Runconfig que será usado para python_script_step Valor padrão: None
cloud_settings	str Configurações que serão usadas para nuvens Valor padrão: None

Retornos

Tipo	Description
ModuleDef	O objeto def module.

Exceções

Tipo	Description
ValueError

module_version_list

Obtenha a lista de versões do Módulo.

module_version_list()

Retornos

Tipo	Description
list	A lista de ModuleVersionDescriptor

process_source_directory

Processe o diretório de origem para a etapa e verifique se o script existe.

static process_source_directory(name, source_directory, script_name)

Parâmetros

Nome	Description
name Obrigatório	str O nome da etapa.
source_directory Obrigatório	str O diretório de origem da etapa.
script_name Obrigatório	str O nome do script da etapa.

Retornos

Tipo	Description
str, list	O diretório de origem e os caminhos de hash.

Exceções

Tipo	Description
ValueError

publish

Crie um ModuleVersion e adicione-o ao módulo atual.

publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parâmetros

Nome	Description
description Obrigatório	str A descrição do Módulo.
execution_type Obrigatório	str O tipo de execução do Módulo. Os valores aceitáveis são `esCloud`, `adlcloud` e `AzureBatchCloud`
inputs Obrigatório	list As entradas do Módulo.
outputs Obrigatório	list As saídas do Módulo.
param_defs	list As definições de parâmetro do módulo. Valor padrão: None
create_sequencing_ports	bool Indica se as portas de sequenciamento serão criadas para o Módulo. Valor padrão: True
version	str A versão do Módulo. Valor padrão: None
is_default	bool Indica se a versão publicada deve ser a padrão. Valor padrão: False
content_path	str diretório Valor padrão: None
hash_paths	list Uma lista de caminhos para o hash ao verificar se há alterações no conteúdo da etapa. Se não houver alterações detectadas, o pipeline reutilizará o conteúdo da etapa de uma execução anterior. Por padrão, o conteúdo do `source_directory` hash é hash (exceto arquivos listados em .amlignore ou .gitignore). PRETERIDO: não é mais necessário. Valor padrão: None
category	str A categoria da versão do módulo Valor padrão: None
arguments	list Argumentos a serem usados ao chamar o módulo. Os argumentos podem ser cadeias de caracteres, referências de entrada (InputPortDef), referências de saída (OutputPortDef) e parâmetros de pipeline (PipelineParameter). Valor padrão: None
runconfig	RunConfiguration Um RunConfiguration opcional. Um RunConfiguration pode ser usado para especificar requisitos adicionais para a execução, como dependências conda e uma imagem do Docker. Valor padrão: None

Retornos

Tipo	Description
ModuleVersion

Exceções

Tipo	Description
Exception

publish_adla_script

Crie um ModuleVersion baseado no ADLA (Azure Data Lake Analytics) e adicione-o ao módulo atual.

publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)

Parâmetros

Nome	Description
script_name Obrigatório	str O nome de um script do ADLA em relação a `source_directory`.
description Obrigatório	str A descrição da versão do Módulo.
inputs Obrigatório	list As associações de entrada do Módulo.
outputs Obrigatório	list As associações de saída do Módulo.
params	dict Os parâmetros ModuleVersion, como pares default_value nome. Valor padrão: None
create_sequencing_ports	bool Indica se as portas de sequenciamento serão criadas para o Módulo. Valor padrão: True
degree_of_parallelism	int O grau de paralelismo a ser usado para este trabalho. Valor padrão: None
priority	int O valor da prioridade a ser usado para o trabalho atual. Valor padrão: None
runtime_version	str A versão de runtime do mecanismo do ADLA (Azure Data Lake Analytics). Valor padrão: None
compute_target	AdlaCompute, str A computação do ADLA a ser usada para este trabalho. Valor padrão: None
version	str A versão do módulo. Valor padrão: None
is_default	bool Indica se a versão publicada deve ser a padrão. Valor padrão: False
source_directory	str diretório Valor padrão: None
hash_paths	list hash_paths Valor padrão: None
category	str A categoria da versão do módulo Valor padrão: None
arguments	list Argumentos a serem usados ao chamar o módulo. Os argumentos podem ser cadeias de caracteres, referências de entrada (InputPortDef), referências de saída (OutputPortDef) e parâmetros de pipeline (PipelineParameter). Valor padrão: None

Retornos

Tipo	Description
ModuleVersion

publish_azure_batch

Crie um ModuleVersion que use o lote do Azure e adicione-o ao Módulo atual.

publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)

Parâmetros

Nome	Description
description Obrigatório	str A descrição da versão do Módulo.
compute_target Obrigatório	BatchCompute ou str O destino de computação BatchCompute.
inputs Obrigatório	list As associações de entrada do Módulo.
outputs Obrigatório	list As associações de saída do Módulo.
params	dict Os parâmetros ModuleVersion, como pares default_value nome. Valor padrão: None
create_sequencing_ports	bool Indica se as portas de sequenciamento serão criadas para o Módulo. Valor padrão: True
version	str A versão do Módulo. Valor padrão: None
is_default	bool Indica se a versão publicada deve ser a padrão. Valor padrão: False
create_pool	bool Indica se o pool deve ser criado antes de executar os trabalhos. Valor padrão: False
pool_id	str (Obrigatório) A ID do pool em que o trabalho será executado. Valor padrão: None
delete_batch_job_after_finish	bool Indica se o trabalho deve ser excluído da conta do Lote após sua conclusão. Valor padrão: False
delete_batch_pool_after_finish	bool Indica se o pool deve ser excluído após a conclusão do trabalho. Valor padrão: False
is_positive_exit_code_failure	bool Indica se o trabalho falhará se a tarefa existir com um código positivo. Valor padrão: True
vm_image_urn	str Se `create_pool` for True e a VM usar VirtualMachineConfiguration, esse parâmetro indicará a imagem da VM a ser usada. Formato de valor: `urn:publisher:offer:sku`. Exemplo: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`. Valor padrão: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Indica se a tarefa deve ser executada com privilégios de administrador. Valor padrão: False
target_compute_nodes	int Se `create_pool` for True, indica quantos nós de computação serão adicionados ao pool. Valor padrão: 1
vm_size	str Se `create_pool` for True, indica o tamanho da máquina virtual dos nós de computação. Valor padrão: standard_d1_v2
executable	str O nome do comando/executável que será executado como parte do trabalho. Valor padrão: None
source_directory	str O diretório de origem. Valor padrão: None
category	str A categoria da versão do módulo Valor padrão: None
arguments	list Argumentos a serem usados ao chamar o módulo. Os argumentos podem ser cadeias de caracteres, referências de entrada (InputPortDef), referências de saída (OutputPortDef) e parâmetros de pipeline (PipelineParameter). Valor padrão: None

Retornos

Tipo	Description
ModuleVersion

Exceções

Tipo	Description
ValueError

publish_python_script

Crie um ModuleVersion baseado em um script Python e adicione-o ao Módulo atual.

publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Parâmetros

Nome	Description
script_name Obrigatório	str O nome de um script Python, em relação a `source_directory`.
description Obrigatório	str A descrição da versão do Módulo.
inputs Obrigatório	list As associações de entrada do Módulo.
outputs Obrigatório	list As associações de saída do Módulo.
params	dict Os parâmetros ModuleVersion, como pares default_value nome. Valor padrão: None
create_sequencing_ports	bool Indica se as portas de sequenciamento serão criadas para o Módulo. Valor padrão: True
version	str A versão do Módulo. Valor padrão: None
is_default	bool Indica se a versão publicada deve ser a padrão. Valor padrão: False
source_directory	str diretório Valor padrão: None
hash_paths	list Uma lista de caminhos para o hash ao verificar se há alterações no conteúdo da etapa. Se não houver alterações detectadas, o pipeline reutilizará o conteúdo da etapa de uma execução anterior. Por padrão, o conteúdo do `source_directory` hash é hash (exceto arquivos listados em .amlignore ou .gitignore). PRETERIDO: não é mais necessário. Valor padrão: None
category	str A categoria da versão do módulo Valor padrão: None
arguments	list Argumentos a serem usados ao chamar o módulo. Os argumentos podem ser cadeias de caracteres, referências de entrada (InputPortDef), referências de saída (OutputPortDef) e parâmetros de pipeline (PipelineParameter). Valor padrão: None
runconfig	RunConfiguration Um RunConfiguration opcional. Um RunConfiguration pode ser usado para especificar requisitos adicionais para a execução, como dependências conda e uma imagem do Docker. Valor padrão: None

Retornos

Tipo	Description
ModuleVersion

resolve

Resolva e retorne o ModuleVersion correto.

resolve(version=None)

Parâmetros

Nome	Description
version	Valor padrão: None

Retornos

Tipo	Description
ModuleVersion	A versão do Módulo a ser usada.

set_default_version

Defina o ModuleVersion padrão do módulo.

set_default_version(version_id)

Parâmetros

Nome	Description
version_id Obrigatório

Retornos

Tipo	Description
str	A versão padrão.

Exceções

Tipo	Description
Exception

set_description

Defina a descrição do Módulo.

set_description(description)

Parâmetros

Nome	Description
description Obrigatório	str A descrição a ser definida.

Exceções

Tipo	Description
Exception

set_name

Defina o nome do Módulo.

set_name(name)

Parâmetros

Nome	Description
name Obrigatório	str O nome a ser definido.

Exceções

Tipo	Description
Exception

Atributos

default_version

Obtenha a versão padrão do Módulo.

Retornos

Tipo	Description
str	A cadeia de caracteres de versão padrão.

description

Obtenha a descrição do Módulo.

Retornos

Tipo	Description
str	A cadeia de caracteres de descrição.

id

Obtenha a ID do Módulo.

Retornos

Tipo	Description
str	A ID.

name

Obtenha o nome do Módulo.

Retornos

Tipo	Description
str	O nome.

status

Obtenha o status do Módulo.

Retornos

Tipo	Description
str	O status.

Comentários

Esta página foi útil?

Compartilhar via

Module Classe

Construtor

Parâmetros

Comentários

Métodos

create

Parâmetros

Retornos

deprecate

disable

enable

get

Parâmetros

Retornos

get_default

Retornos

get_default_version

Retornos

get_versions

Parâmetros

Retornos

module_def_builder

Parâmetros

Retornos

Exceções

module_version_list

Retornos

process_source_directory

Parâmetros

Retornos

Exceções

publish

Parâmetros

Retornos

Exceções

publish_adla_script

Parâmetros

Retornos

publish_azure_batch

Parâmetros

Retornos

Exceções

publish_python_script

Parâmetros

Retornos

resolve

Parâmetros

Retornos

set_default_version

Parâmetros

Retornos

Exceções

set_description

Parâmetros

Exceções

set_name

Parâmetros

Exceções

Atributos

default_version

Retornos

description

Retornos

id

Retornos

name

Retornos

status

Retornos

Comentários