AzureBatchStep Classe

Cria um passo do Pipeline do Azure ML para submeter tarefas para Azure Batch.

Nota: este passo não suporta o carregamento/transferência de diretórios e respetivos conteúdos.

Para obter um exemplo de utilização do AzureBatchStep, consulte o bloco de notas https://aka.ms/pl-azbatch.

Crie um passo do Pipeline do Azure ML para submeter tarefas para Azure Batch.

Herança

azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase

AzureBatchStep

Construtor

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Parâmetros

Name	Description
name Necessário	str [Obrigatório] O nome do passo.
create_pool	bool Indica se deve criar o conjunto antes de executar as tarefas. Default value: False
pool_id	str [Obrigatório] O ID do conjunto onde a tarefa é executada. O ID pode ser um conjunto existente ou um que será criado quando a tarefa for submetida. Default value: None
delete_batch_job_after_finish	bool Indica se pretende eliminar a tarefa da conta do Batch após a sua conclusão. Default value: True
delete_batch_pool_after_finish	bool Indica se pretende eliminar o conjunto após a conclusão da tarefa. Default value: False
is_positive_exit_code_failure	bool Indica se a tarefa falha se a tarefa existir com um código positivo. Default value: True
vm_image_urn	str Se create_pool for Verdadeiro e a VM utilizar VirtualMachineConfiguration. Formato de valor: urn:publisher:offer:sku. Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter. Default value: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Indica se a tarefa deve ser executada com privilégios de administrador. Default value: False
target_compute_nodes	int Se create_pool for Verdadeiro, indica quantos nós de computação serão adicionados ao conjunto. Default value: 1
vm_size	str Se create_pool for Verdadeiro, indica o tamanho da máquina virtual dos nós de computação. Default value: standard_d1_v2
source_directory	str Uma pasta local que contém os binários do módulo, executáveis, assemblagens, etc. Default value: None
executable	str [Obrigatório] O nome do comando/executável que será executado como parte da tarefa. Default value: None
arguments	str Argumentos para o comando/executável. Default value: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de enlaces de porta de entrada. Antes da execução da tarefa, é criada uma pasta para cada entrada. Os ficheiros para cada entrada serão copiados do armazenamento para a respetiva pasta no nó de computação. Por exemplo, se o nome da entrada for input1 e o caminho relativo no armazenamento for algum/relativo/path/that/can/be/really/long/inputfile.txt, o caminho do ficheiro na computação será: ./input1/inputfile.txt. Quando o nome de entrada tiver mais de 32 carateres, será truncado e anexado com um sufixo exclusivo para que o nome da pasta possa ser criado com êxito no destino de computação. Default value: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de enlaces de portas de saída. Semelhante às entradas, antes da execução da tarefa, é criada uma pasta para cada saída. O nome da pasta será o mesmo que o nome de saída. O pressuposto é que a tarefa colocará o resultado nessa pasta. Default value: None
allow_reuse	bool Indica se o passo deve reutilizar os resultados anteriores ao executar novamente com as mesmas definições. A reutilização está ativada por predefinição. Se o conteúdo do passo (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, o resultado da execução anterior deste passo será reutilizado. Ao reutilizar o passo, em vez de submeter a tarefa para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer passos subsequentes. Se utilizar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada e não se os dados subjacentes foram alterados. Default value: True
compute_target	BatchCompute, str [Obrigatório] Uma computação batchCompute onde a tarefa é executada. Default value: None
version	str Uma etiqueta de versão opcional para denotar uma alteração na funcionalidade do módulo. Default value: None
name Necessário	str [Obrigatório] O nome do passo.
create_pool Necessário	bool Indica se deve criar o conjunto antes de executar as tarefas.
pool_id Necessário	str [Obrigatório] O ID do conjunto onde a tarefa é executada. O ID pode ser um conjunto existente ou um que será criado quando a tarefa for submetida.
delete_batch_job_after_finish Necessário	bool Indica se pretende eliminar a tarefa da conta do Batch após a sua conclusão.
delete_batch_pool_after_finish Necessário	bool Indica se pretende eliminar o conjunto após a conclusão da tarefa.
is_positive_exit_code_failure Necessário	bool Indica se a tarefa falha se a tarefa existir com um código positivo.
vm_image_urn Necessário	str Se create_pool for Verdadeiro e a VM utilizar VirtualMachineConfiguration. Formato de valor: urn:publisher:offer:sku. Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
run_task_as_admin Necessário	bool Indica se a tarefa deve ser executada com privilégios de administrador.
target_compute_nodes Necessário	int Se create_pool for Verdadeiro, indica quantos nós de computação serão adicionados ao conjunto.
vm_size Necessário	str Se create_pool for Verdadeiro, indica o tamanho da máquina virtual dos nós de computação.
source_directory Necessário	str Uma pasta local que contém os binários do módulo, executáveis, assemblagens, etc.
executable Necessário	str [Obrigatório] O nome do comando/executável que será executado como parte da tarefa.
arguments Necessário	list Argumentos para o comando/executável.
inputs Necessário	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Uma lista de enlaces de porta de entrada. Antes da execução da tarefa, é criada uma pasta para cada entrada. Os ficheiros para cada entrada serão copiados do armazenamento para a respetiva pasta no nó de computação. Por exemplo, se o nome da entrada for input1 e o caminho relativo no armazenamento for algum/relativo/path/that/can/be/really/long/inputfile.txt, o caminho do ficheiro na computação será: ./input1/inputfile.txt. Caso o nome de entrada tenha mais de 32 carateres, será truncado e anexado com um sufixo exclusivo, pelo que o nome da pasta poderá ser criado com êxito na computação.
outputs Necessário	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Uma lista de enlaces de portas de saída. Semelhante às entradas, antes da execução da tarefa, é criada uma pasta para cada saída. O nome da pasta será o mesmo que o nome de saída. O pressuposto é que a tarefa terá o resultado nessa pasta.
allow_reuse Necessário	bool Indica se o passo deve reutilizar os resultados anteriores ao executar novamente com as mesmas definições. A reutilização está ativada por predefinição. Se o conteúdo do passo (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, o resultado da execução anterior deste passo será reutilizado. Ao reutilizar o passo, em vez de submeter a tarefa para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer passos subsequentes. Se utilizar conjuntos de dados do Azure Machine Learning como entradas, a reutilização será determinada se a definição do conjunto de dados foi alterada e não se os dados subjacentes foram alterados.
compute_target Necessário	BatchCompute, str [Obrigatório] Uma computação batchCompute onde a tarefa é executada.
version Necessário	str Uma etiqueta de versão opcional para denotar uma alteração na funcionalidade do módulo.

Observações

O exemplo seguinte mostra como utilizar o AzureBatchStep num Pipeline do Azure Machine Learning.

   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

O exemplo completo está disponível a partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Métodos

create_node

Crie um nó a partir do passo AzureBatch e adicione-o ao gráfico especificado. Este método não se destina a ser utilizado diretamente. Quando um pipeline é instanciado com este passo, o Azure ML transmite automaticamente os parâmetros necessários através deste método para que esse passo possa ser adicionado a um gráfico de pipeline que represente o fluxo de trabalho.

create_node

Crie um nó a partir do passo AzureBatch e adicione-o ao gráfico especificado.

Este método não se destina a ser utilizado diretamente. Quando um pipeline é instanciado com este passo, o Azure ML transmite automaticamente os parâmetros necessários através deste método para que esse passo possa ser adicionado a um gráfico de pipeline que represente o fluxo de trabalho.

create_node(graph, default_datastore, context)

Parâmetros

Name	Description
graph Necessário	Graph O objeto de grafo ao que adicionar o nó.
default_datastore Necessário	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] O arquivo de dados predefinido.
context Necessário	<xref:azureml.pipeline.core._GraphContext> O contexto do gráfico.

Devoluções

Tipo	Description
Node	O nó criado.