AzureBatchStep Classe
Cria um passo do Pipeline do Azure ML para submeter tarefas para Azure Batch.
Nota: este passo não suporta o carregamento/transferência de diretórios e respetivos conteúdos.
Para obter um exemplo de utilização do AzureBatchStep, veja o bloco de notas https://aka.ms/pl-azbatch.
Crie um passo do Pipeline do Azure ML para submeter tarefas para Azure Batch.
- Herança
-
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBaseAzureBatchStep
Construtor
AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)Parâmetros
- create_pool
- bool
Indica se deve criar o conjunto antes de executar as tarefas.
- pool_id
- str
[Obrigatório] O ID do conjunto onde a tarefa é executada. O ID pode ser um conjunto existente ou um que será criado quando a tarefa for submetida.
- delete_batch_job_after_finish
- bool
Indica se pretende eliminar a tarefa da conta do Batch depois de terminar.
- delete_batch_pool_after_finish
- bool
Indica se pretende eliminar o conjunto após a conclusão da tarefa.
- is_positive_exit_code_failure
- bool
Indica se a tarefa falha se a tarefa existir com um código positivo.
- vm_image_urn
- str
Se create_pool for Verdadeiro e a VM utilizar VirtualMachineConfiguration.
Formato do valor: urn:publisher:offer:sku.
Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- run_task_as_admin
- bool
Indica se a tarefa deve ser executada com privilégios de administrador.
- target_compute_nodes
- int
Se create_pool for Verdadeiro, indica quantos nós de computação serão adicionados ao conjunto.
- vm_size
- str
Se create_pool for Verdadeiro, indica o tamanho da máquina virtual dos nós de computação.
- source_directory
- str
Uma pasta local que contém os binários do módulo, executáveis, assemblagens, etc.
- executable
- str
[Obrigatório] O nome do comando/executável que será executado como parte da tarefa.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
Uma lista de enlaces de portas de entrada. Antes da execução da tarefa, é criada uma pasta para cada entrada. Os ficheiros para cada entrada serão copiados do armazenamento para a respetiva pasta no nó de computação. Por exemplo, se o nome da entrada for input1 e o caminho relativo no armazenamento for algum/relativo/caminho/que/pode/ser/realmente/longo/inputfile.txt, o caminho do ficheiro na computação será: ./input1/inputfile.txt. Quando o nome de entrada tiver mais de 32 carateres, será truncado e anexado com um sufixo exclusivo para que o nome da pasta possa ser criado com êxito no destino de computação.
Uma lista de enlaces de portas de saída. Semelhante às entradas, antes da execução da tarefa, é criada uma pasta para cada saída. O nome da pasta será o mesmo que o nome de saída. O pressuposto é que a tarefa colocará o resultado nessa pasta.
- allow_reuse
- bool
Indica se o passo deve reutilizar os resultados anteriores ao executar novamente com as mesmas definições. A reutilização está ativada por predefinição. Se o conteúdo do passo (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, o resultado da execução anterior deste passo será reutilizado. Ao reutilizar o passo, em vez de submeter a tarefa para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer passos subsequentes. Se utilizar conjuntos de dados do Azure Machine Learning como entradas, a reutilização é determinada se a definição do conjunto de dados foi alterada e não se os dados subjacentes foram alterados.
- compute_target
- BatchCompute, str
[Obrigatório] Uma computação BatchCompute onde a tarefa é executada.
- version
- str
Uma etiqueta de versão opcional para denotar uma alteração na funcionalidade do módulo.
- pool_id
- str
[Obrigatório] O ID do conjunto onde a tarefa é executada. O ID pode ser um conjunto existente ou um que será criado quando a tarefa for submetida.
- delete_batch_job_after_finish
- bool
Indica se pretende eliminar a tarefa da conta do Batch depois de terminar.
- delete_batch_pool_after_finish
- bool
Indica se pretende eliminar o conjunto após a conclusão da tarefa.
- is_positive_exit_code_failure
- bool
Indica se a tarefa falha se a tarefa existir com um código positivo.
- vm_image_urn
- str
Se create_pool for Verdadeiro e a VM utilizar VirtualMachineConfiguration.
Formato do valor: urn:publisher:offer:sku.
Exemplo: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- run_task_as_admin
- bool
Indica se a tarefa deve ser executada com privilégios de administrador.
- target_compute_nodes
- int
Se create_pool for Verdadeiro, indica quantos nós de computação serão adicionados ao conjunto.
- vm_size
- str
Se create_pool for Verdadeiro, indica o tamanho da máquina virtual dos nós de computação.
- source_directory
- str
Uma pasta local que contém os binários do módulo, executáveis, assemblagens, etc.
- executable
- str
[Obrigatório] O nome do comando/executável que será executado como parte da tarefa.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
Uma lista de enlaces de portas de entrada. Antes da execução da tarefa, é criada uma pasta para cada entrada. Os ficheiros para cada entrada serão copiados do armazenamento para a respetiva pasta no nó de computação. Por exemplo, se o nome da entrada for input1 e o caminho relativo no armazenamento for algum/relativo/caminho/que/pode/ser/realmente/longo/inputfile.txt, o caminho do ficheiro na computação será: ./input1/inputfile.txt. Caso o nome de entrada tenha mais de 32 carateres, será truncado e anexado com um sufixo exclusivo, pelo que o nome da pasta pode ser criado com êxito na computação.
Uma lista de enlaces de portas de saída. Semelhante às entradas, antes da execução da tarefa, é criada uma pasta para cada saída. O nome da pasta será o mesmo que o nome de saída. O pressuposto é que a tarefa terá o resultado nessa pasta.
- allow_reuse
- bool
Indica se o passo deve reutilizar os resultados anteriores ao executar novamente com as mesmas definições. A reutilização está ativada por predefinição. Se o conteúdo do passo (scripts/dependências), bem como as entradas e os parâmetros permanecerem inalterados, o resultado da execução anterior deste passo será reutilizado. Ao reutilizar o passo, em vez de submeter a tarefa para computação, os resultados da execução anterior são imediatamente disponibilizados para quaisquer passos subsequentes. Se utilizar conjuntos de dados do Azure Machine Learning como entradas, a reutilização é determinada se a definição do conjunto de dados foi alterada e não se os dados subjacentes foram alterados.
- compute_target
- BatchCompute, str
[Obrigatório] Uma computação BatchCompute onde a tarefa é executada.
- version
- str
Uma etiqueta de versão opcional para denotar uma alteração na funcionalidade do módulo.
Observações
O exemplo seguinte mostra como utilizar o AzureBatchStep num Pipeline do Azure Machine Learning.
step = AzureBatchStep(
name="Azure Batch Job",
pool_id="MyPoolName", # Replace this with the pool name of your choice
inputs=[testdata],
outputs=[outputdata],
executable="azurebatch.cmd",
arguments=[testdata, outputdata],
compute_target=batch_compute,
source_directory=binaries_folder,
)
O exemplo completo está disponível a partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb
Métodos
| create_node |
Crie um nó a partir do passo AzureBatch e adicione-o ao gráfico especificado. Este método não se destina a ser utilizado diretamente. Quando um pipeline é instanciado com este passo, o Azure ML transmite automaticamente os parâmetros necessários através deste método para que esse passo possa ser adicionado a um gráfico de pipeline que representa o fluxo de trabalho. |
create_node
Crie um nó a partir do passo AzureBatch e adicione-o ao gráfico especificado.
Este método não se destina a ser utilizado diretamente. Quando um pipeline é instanciado com este passo, o Azure ML transmite automaticamente os parâmetros necessários através deste método para que esse passo possa ser adicionado a um gráfico de pipeline que representa o fluxo de trabalho.
create_node(graph, default_datastore, context)Parâmetros
- default_datastore
- Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
O arquivo de dados predefinido.
- context
- <xref:azureml.pipeline.core._GraphContext>
O contexto do gráfico.
Devoluções
O nó criado.
Tipo de retorno
Comentários
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja: https://aka.ms/ContentUserFeedback.
Submeter e ver comentários