AzureBatchStep Classe

Referência

Cria uma etapa do Pipeline do Azure ML para enviar trabalhos para o Lote do Azure.

Observação: esta etapa não dá suporte ao upload/download de diretórios e do conteúdo deles.

Para obter um exemplo de AzureBatchStep, confira o notebook https://aka.ms/pl-azbatch.

Crie uma etapa do Pipeline do Azure ML para enviar trabalhos para Lote do Azure.

Herança: azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase

AzureBatchStep

Construtor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parâmetros

Nome	Description
name Obrigatório	str [Obrigatório] O nome da etapa.
create_pool	bool Indica se o pool deve ou não ser criado antes da execução do trabalho. Valor padrão: False
pool_id	str [Obrigatório] A ID do pool em que o trabalho é executado. A ID pode ser um pool existente ou um que será criado quando o trabalho for enviado. Valor padrão: None
delete_batch_job_after_finish	bool Indica se o trabalho deve ser excluído da conta do Lote depois de concluído. Valor padrão: True
delete_batch_pool_after_finish	bool Indica se o pool deve ser excluído após a conclusão do trabalho. Valor padrão: False
is_positive_exit_code_failure	bool Indica se o trabalho falhará caso a tarefa exista com um código positivo. Valor padrão: True
vm_image_urn	str Se `create_pool` for True e a VM usar VirtualMachineConfiguration. Formato de valor: `urn:publisher:offer:sku`. Exemplo: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`. Valor padrão: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Indica se a tarefa deve ser executada com privilégios de administrador. Valor padrão: False
target_compute_nodes	int Se `create_pool` é True, indica quantos nós de computação serão adicionados ao pool. Valor padrão: 1
vm_size	str Se `create_pool` é True, indica o tamanho da máquina virtual dos nós de computação. Valor padrão: standard_d1_v2
source_directory	str Diretório que contém os binários de módulo, o executável, os assemblies, etc. Valor padrão: None
executable	str [Obrigatório] O nome do comando/executável que será executado como parte do trabalho. Valor padrão: None
arguments	str Argumentos para o comando/executável. Valor padrão: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de vinculações de porta de entrada. Antes de o trabalho ser executado, uma pasta é criada para cada entrada. Os arquivos para cada entrada serão copiados do armazenamento para a respectiva pasta no nó de computação. Por exemplo, se o nome de entrada for input1 e o caminho relativo no armazenamento for algum/caminho/relativo/realmente/muito/longo/inputfile.txt, o caminho do arquivo na computação será: ./input1/inputfile.txt. Quando o nome da entrada for maior que 32 caracteres, ele será truncado e receberá um sufixo exclusivo, de modo que o nome da pasta possa ser criado com êxito no destino de computação. Valor padrão: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de vinculações de porta de saída. Semelhante ao que ocorre com as entradas, antes de o trabalho ser executado, uma pasta é criada para cada saída. O nome da pasta será o mesmo que o nome de saída. A suposição é que o trabalho colocará a saída nessa pasta. Valor padrão: None
allow_reuse	bool Indica se a etapa deve ou não reutilizar os resultados anteriores quando executada novamente com as mesmas configurações. A reutilização está habilitada por padrão. Se o conteúdo da etapa (scripts/dependências), as entradas e os parâmetros permanecerem inalterados, será reutilizada a saída da execução anterior dessa etapa. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior serão disponibilizados imediatamente para etapas posteriores. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada dependendo de ter havido ou não alteração da definição do conjunto de dados, não de ter havido alteração dos dados subjacentes. Valor padrão: True
compute_target	BatchCompute, str [Obrigatório] Uma computação BatchCompute em que o trabalho é executado. Valor padrão: None
version	str Uma marca de versão opcional para denotar uma alteração na funcionalidade do módulo. Valor padrão: None
name Obrigatório	str [Obrigatório] O nome da etapa.
create_pool Obrigatório	bool Indica se o pool deve ou não ser criado antes da execução do trabalho.
pool_id Obrigatório	str [Obrigatório] A ID do pool em que o trabalho é executado. A ID pode ser um pool existente ou um que será criado quando o trabalho for enviado.
delete_batch_job_after_finish Obrigatório	bool Indica se o trabalho deve ser excluído da conta do Lote depois de concluído.
delete_batch_pool_after_finish Obrigatório	bool Indica se o pool deve ser excluído após a conclusão do trabalho.
is_positive_exit_code_failure Obrigatório	bool Indica se o trabalho falhará caso a tarefa exista com um código positivo.
vm_image_urn Obrigatório	str Se `create_pool` for True e a VM usar VirtualMachineConfiguration. Formato de valor: `urn:publisher:offer:sku`. Exemplo: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`.
run_task_as_admin Obrigatório	bool Indica se a tarefa deve ser executada com privilégios de administrador.
target_compute_nodes Obrigatório	int Se `create_pool` é True, indica quantos nós de computação serão adicionados ao pool.
vm_size Obrigatório	str Se `create_pool` for True, indicará o tamanho da máquina virtual dos nós de computação.
source_directory Obrigatório	str Uma pasta local que contém os binários do módulo, executáveis, assemblies etc.
executable Obrigatório	str [Obrigatório] O nome do comando/executável que será executado como parte do trabalho.
arguments Obrigatório	list Argumentos para o comando/executável.
inputs Obrigatório	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de vinculações de porta de entrada. Antes de o trabalho ser executado, uma pasta é criada para cada entrada. Os arquivos para cada entrada serão copiados do armazenamento para a respectiva pasta no nó de computação. Por exemplo, se o nome de entrada for input1 e o caminho relativo no armazenamento for algum/caminho/relativo/realmente/muito/longo/inputfile.txt, o caminho do arquivo na computação será: ./input1/inputfile.txt. Caso o nome de entrada tenha mais de 32 caracteres, ele será truncado e acrescentado com um sufixo exclusivo, para que o nome da pasta possa ser criado com êxito na computação.
outputs Obrigatório	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de vinculações de porta de saída. Semelhante ao que ocorre com as entradas, antes de o trabalho ser executado, uma pasta é criada para cada saída. O nome da pasta será o mesmo que o nome de saída. A suposição é que o trabalho terá a saída nessa pasta.
allow_reuse Obrigatório	bool Indica se a etapa deve ou não reutilizar os resultados anteriores quando executada novamente com as mesmas configurações. A reutilização está habilitada por padrão. Se o conteúdo da etapa (scripts/dependências), as entradas e os parâmetros permanecerem inalterados, será reutilizada a saída da execução anterior dessa etapa. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior serão disponibilizados imediatamente para etapas posteriores. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada dependendo de ter havido ou não alteração da definição do conjunto de dados, não de ter havido alteração dos dados subjacentes.
compute_target Obrigatório	BatchCompute, str [Obrigatório] Uma computação BatchCompute em que o trabalho é executado.
version Obrigatório	str Uma marca de versão opcional para denotar uma alteração na funcionalidade do módulo.

Comentários

O exemplo a seguir mostra como usar o AzureBatchStep em um Pipeline do Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Métodos

create_node

Cria um nó da etapa AzureBatch e o adiciona ao grafo especificado.

Esse método não se destina a ser usado diretamente. Quando um pipeline é instanciado com essa etapa, o Azure ML passa automaticamente os parâmetros necessários por meio desse método para que essa etapa possa ser adicionada a um grafo de pipeline que representa o fluxo de trabalho.

create_node

Cria um nó da etapa AzureBatch e o adiciona ao grafo especificado.

create_node(graph, default_datastore, context)

Parâmetros

Nome	Description
graph Obrigatório	Graph O objeto de grafo ao qual adicionar o nó.
default_datastore Obrigatório	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] O armazenamento de dados padrão.
context Obrigatório	<xref:azureml.pipeline.core._GraphContext> O contexto do grafo.

Retornos

Tipo	Description
Node	O nó criado.

Compartilhar via

AzureBatchStep Classe

Construtor

Parâmetros

Comentários

Métodos

create_node

Parâmetros

Retornos

Comentários

Recursos adicionais