AzureBatchStep Classe

Cria uma etapa do Pipeline do Azure ML para enviar trabalhos ao Lote do Azure.

Observação: esta etapa não dá suporte ao upload/download de diretórios e seu conteúdo.

Para obter um exemplo de como usar o AzureBatchStep, consulte o bloco de anotações https://aka.ms/pl-azbatch.

Crie uma etapa do Pipeline do Azure ML para enviar trabalhos ao Lote do Azure.

Construtor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parâmetros

Nome	Description
name Obrigatório	str [Obrigatório] O nome da etapa.
create_pool	bool Indica se o pool deve ser criado antes de executar os trabalhos. Valor padrão: False
pool_id	str [Obrigatório] A ID do pool em que o trabalho é executado. A ID pode ser um pool existente ou um que será criado quando o trabalho for enviado. Valor padrão: None
delete_batch_job_after_finish	bool Indica se o trabalho deve ser excluído da conta do Lote após sua conclusão. Valor padrão: True
delete_batch_pool_after_finish	bool Indica se o pool deve ser excluído após a conclusão do trabalho. Valor padrão: False
is_positive_exit_code_failure	bool Indica se o trabalho falhará se a tarefa existir com um código positivo. Valor padrão: True
vm_image_urn	str Se create_pool for True e a VM usar VirtualMachineConfiguration. Formato de valor: urn:publisher:offer:sku. Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter. Valor padrão: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Indica se a tarefa deve ser executada com privilégios de administrador. Valor padrão: False
target_compute_nodes	int Se create_pool for True, indica quantos nós de computação serão adicionados ao pool. Valor padrão: 1
vm_size	str Se create_pool for True, indica o tamanho da máquina virtual dos nós de computação. Valor padrão: standard_d1_v2
source_directory	str Uma pasta local que contém os binários do módulo, executáveis, assemblies etc. Valor padrão: None
executable	str [Obrigatório] O nome do comando/executável que será executado como parte do trabalho. Valor padrão: None
arguments	str Argumentos para o comando/executável. Valor padrão: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de associações de porta de entrada. Antes da execução do trabalho, uma pasta é criada para cada entrada. Os arquivos de cada entrada serão copiados do armazenamento para a respectiva pasta no nó de computação. Por exemplo, se o nome de entrada for input1 e o caminho relativo no armazenamento for algum/relativo/caminho/que/pode/ser/realmente/longo/inputfile.txt, o caminho do arquivo na computação será: ./input1/inputfile.txt. Quando o nome de entrada tiver mais de 32 caracteres, ele será truncado e acrescentado com um sufixo exclusivo para que o nome da pasta possa ser criado com êxito no destino de computação. Valor padrão: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de associações de porta de saída. Semelhante às entradas, antes da execução do trabalho, uma pasta é criada para cada saída. O nome da pasta será o mesmo que o nome de saída. A suposição é que o trabalho colocará a saída nessa pasta. Valor padrão: None
allow_reuse	bool Indica se a etapa deve reutilizar os resultados anteriores ao executar novamente com as mesmas configurações. A reutilização é habilitada por padrão. Se o conteúdo da etapa (scripts/dependências), bem como entradas e parâmetros permanecerem inalterados, a saída da execução anterior desta etapa será reutilizado. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer etapas subsequentes. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada, não se os dados subjacentes foram alterados. Valor padrão: True
compute_target	BatchCompute, str [Obrigatório] Uma computação BatchCompute em que o trabalho é executado. Valor padrão: None
version	str Uma marca de versão opcional para indicar uma alteração na funcionalidade do módulo. Valor padrão: None
name Obrigatório	str [Obrigatório] O nome da etapa.
create_pool Obrigatório	bool Indica se o pool deve ser criado antes de executar os trabalhos.
pool_id Obrigatório	str [Obrigatório] A ID do pool em que o trabalho é executado. A ID pode ser um pool existente ou um que será criado quando o trabalho for enviado.
delete_batch_job_after_finish Obrigatório	bool Indica se o trabalho deve ser excluído da conta do Lote após sua conclusão.
delete_batch_pool_after_finish Obrigatório	bool Indica se o pool deve ser excluído após a conclusão do trabalho.
is_positive_exit_code_failure Obrigatório	bool Indica se o trabalho falhará se a tarefa existir com um código positivo.
vm_image_urn Obrigatório	str Se create_pool for True e a VM usar VirtualMachineConfiguration. Formato de valor: urn:publisher:offer:sku. Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
run_task_as_admin Obrigatório	bool Indica se a tarefa deve ser executada com privilégios de administrador.
target_compute_nodes Obrigatório	int Se create_pool for True, indica quantos nós de computação serão adicionados ao pool.
vm_size Obrigatório	str Se create_pool for True, indica o tamanho da máquina virtual dos nós de computação.
source_directory Obrigatório	str Uma pasta local que contém os binários do módulo, executáveis, assemblies etc.
executable Obrigatório	str [Obrigatório] O nome do comando/executável que será executado como parte do trabalho.
arguments Obrigatório	list Argumentos para o comando/executável.
inputs Obrigatório	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de associações de porta de entrada. Antes da execução do trabalho, uma pasta é criada para cada entrada. Os arquivos de cada entrada serão copiados do armazenamento para a respectiva pasta no nó de computação. Por exemplo, se o nome de entrada for input1 e o caminho relativo no armazenamento for algum/relativo/caminho/que/pode/ser/realmente/longo/inputfile.txt, o caminho do arquivo na computação será: ./input1/inputfile.txt. Caso o nome de entrada tenha mais de 32 caracteres, ele será truncado e acrescentado com um sufixo exclusivo, portanto, o nome da pasta poderá ser criado com êxito na computação.
outputs Obrigatório	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de associações de porta de saída. Semelhante às entradas, antes da execução do trabalho, uma pasta é criada para cada saída. O nome da pasta será o mesmo que o nome de saída. A suposição é que o trabalho terá a saída nessa pasta.
allow_reuse Obrigatório	bool Indica se a etapa deve reutilizar os resultados anteriores ao executar novamente com as mesmas configurações. A reutilização é habilitada por padrão. Se o conteúdo da etapa (scripts/dependências), bem como entradas e parâmetros permanecerem inalterados, a saída da execução anterior desta etapa será reutilizado. Ao reutilizar a etapa, em vez de enviar o trabalho para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer etapas subsequentes. Se você usar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada, não se os dados subjacentes foram alterados.
compute_target Obrigatório	BatchCompute, str [Obrigatório] Uma computação BatchCompute em que o trabalho é executado.
version Obrigatório	str Uma marca de versão opcional para indicar uma alteração na funcionalidade do módulo.

Comentários

O exemplo a seguir mostra como usar o AzureBatchStep em um Pipeline do Azure Machine Learning.

   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

O exemplo completo está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Métodos

create_node

Crie um nó a partir da etapa do AzureBatch e adicione-o ao grafo especificado. Esse método não se destina a ser usado diretamente. Quando um pipeline é instanciado com essa etapa, o Azure ML passa automaticamente os parâmetros necessários por meio desse método para que essa etapa possa ser adicionada a um grafo de pipeline que representa o fluxo de trabalho.

create_node

Crie um nó a partir da etapa do AzureBatch e adicione-o ao grafo especificado.

Esse método não se destina a ser usado diretamente. Quando um pipeline é instanciado com essa etapa, o Azure ML passa automaticamente os parâmetros necessários por meio desse método para que essa etapa possa ser adicionada a um grafo de pipeline que representa o fluxo de trabalho.

create_node(graph, default_datastore, context)

Parâmetros

Nome	Description
graph Obrigatório	Graph O objeto de grafo ao qual adicionar o nó.
default_datastore Obrigatório	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] O armazenamento de dados padrão.
context Obrigatório	<xref:azureml.pipeline.core._GraphContext> O contexto do grafo.

Retornos

Tipo	Description
Node	O nó criado.