AzureBatchStep Klass
Skapar ett Azure ML Pipeline-steg för att skicka jobb till Azure Batch.
Obs! Det här steget stöder inte uppladdning/nedladdning av kataloger och deras innehåll.
Ett exempel på hur du använder AzureBatchStep finns i notebook-filen https://aka.ms/pl-azbatch.
Skapa ett Azure ML Pipeline-steg för att skicka jobb till Azure Batch.
- Arv
-
azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBaseAzureBatchStep
Konstruktor
AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)Parametrar
- pool_id
- str
[Krävs] ID:t för poolen där jobbet körs. ID:t kan vara en befintlig pool eller en som skapas när jobbet skickas.
- delete_batch_job_after_finish
- bool
Anger om jobbet ska tas bort från Batch-kontot när det är klart.
- delete_batch_pool_after_finish
- bool
Anger om poolen ska tas bort när jobbet har slutförts.
- is_positive_exit_code_failure
- bool
Anger om jobbet misslyckas om aktiviteten finns med en positiv kod.
- vm_image_urn
- str
Om create_pool är Sant och den virtuella datorn använder VirtualMachineConfiguration.
Värdeformat: urn:publisher:offer:sku.
Exempel: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- run_task_as_admin
- bool
Anger om uppgiften ska köras med administratörsbehörighet.
- target_compute_nodes
- int
Om create_pool är Sant anger du hur många beräkningsnoder som ska läggas till i poolen.
- vm_size
- str
Om create_pool är Sant anger du storleken på den virtuella datorn för beräkningsnoderna.
- source_directory
- str
En lokal mapp som innehåller modulens binärfiler, körbara filer, sammansättningar osv.
- executable
- str
[Krävs] Namnet på kommandot/den körbara filen som ska köras som en del av jobbet.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
En lista över indataportbindningar. Innan jobbet körs skapas en mapp för varje indata. Filerna för varje indata kopieras från lagringen till respektive mapp på beräkningsnoden. Om indatanamnet till exempel är input1 och den relativa sökvägen på lagringen är viss/relativ/sökväg/som/kan/kan/verkligen/lång/inputfile.txt, blir filsökvägen på beräkningen: ./input1/inputfile.txt. När indatanamnet är längre än 32 tecken trunkeras det och läggs till med ett unikt suffix så att mappnamnet kan skapas på beräkningsmålet.
En lista över portbindningar för utdata. Precis som indata skapas en mapp för varje utdata innan jobbet körs. Mappnamnet är samma som utdatanamnet. Antagandet är att jobbet placerar utdata i den mappen.
- allow_reuse
- bool
Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.
- compute_target
- BatchCompute, str
[Krävs] En BatchCompute-beräkning där jobbet körs.
- pool_id
- str
[Krävs] ID:t för poolen där jobbet körs. ID:t kan vara en befintlig pool eller en som skapas när jobbet skickas.
- delete_batch_job_after_finish
- bool
Anger om jobbet ska tas bort från Batch-kontot när det är klart.
- delete_batch_pool_after_finish
- bool
Anger om poolen ska tas bort när jobbet har slutförts.
- is_positive_exit_code_failure
- bool
Anger om jobbet misslyckas om aktiviteten finns med en positiv kod.
- vm_image_urn
- str
Om create_pool är Sant och den virtuella datorn använder VirtualMachineConfiguration.
Värdeformat: urn:publisher:offer:sku.
Exempel: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter.
- target_compute_nodes
- int
Om create_pool är Sant anger du hur många beräkningsnoder som ska läggas till i poolen.
- vm_size
- str
Om create_pool är Sant anger du storleken på den virtuella datorn för beräkningsnoderna.
- source_directory
- str
En lokal mapp som innehåller modulen binärfiler, körbara filer, sammansättningar osv.
- executable
- str
[Krävs] Namnet på kommandot/den körbara filen som ska köras som en del av jobbet.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]]
En lista över indataportbindningar. Innan jobbet körs skapas en mapp för varje indata. Filerna för varje indata kopieras från lagringen till respektive mapp på beräkningsnoden. Om indatanamnet till exempel är input1 och den relativa sökvägen på lagringen är viss/relativ/sökväg/som/kan/kan/verkligen/lång/inputfile.txt, blir filsökvägen på beräkningen: ./input1/inputfile.txt. Om indatanamnet är längre än 32 tecken trunkeras det och läggs till med ett unikt suffix, så att mappnamnet kan skapas på beräkningen.
En lista över portbindningar för utdata. Precis som indata skapas en mapp för varje utdata innan jobbet körs. Mappnamnet är samma som utdatanamnet. Antagandet är att jobbet kommer att ha utdata till den mappen.
- allow_reuse
- bool
Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.
Kommentarer
I följande exempel visas hur du använder AzureBatchStep i en Azure Machine Learning-pipeline.
step = AzureBatchStep(
name="Azure Batch Job",
pool_id="MyPoolName", # Replace this with the pool name of your choice
inputs=[testdata],
outputs=[outputdata],
executable="azurebatch.cmd",
arguments=[testdata, outputdata],
compute_target=batch_compute,
source_directory=binaries_folder,
)
Fullständigt exempel är tillgängligt från https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb
Metoder
| create_node |
Skapa en nod från AzureBatch-steget och lägg till den i den angivna grafen. Den här metoden är inte avsedd att användas direkt. När en pipeline instansieras med det här steget skickar Azure ML automatiskt de parametrar som krävs via den här metoden så att steget kan läggas till i ett pipelinediagram som representerar arbetsflödet. |
create_node
Skapa en nod från AzureBatch-steget och lägg till den i den angivna grafen.
Den här metoden är inte avsedd att användas direkt. När en pipeline instansieras med det här steget skickar Azure ML automatiskt de parametrar som krävs via den här metoden så att steget kan läggas till i ett pipelinediagram som representerar arbetsflödet.
create_node(graph, default_datastore, context)Parametrar
- default_datastore
- Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Standarddatalagringen.
- context
- <xref:azureml.pipeline.core._GraphContext>
Grafkontexten.
Returer
Den skapade noden.
Returtyp
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för