MpiStep Klass
Skapar ett Azure ML-pipelinesteg för att köra ett MPI-jobb.
Ett exempel på hur du använder MpiStep finns i notebook-filen https://aka.ms/pl-style-trans.
Skapa ett Azure ML-pipelinesteg för att köra ett MPI-jobb.
DEPRECATED. CommandStep Använd i stället. Ett exempel finns i Så här kör du distribuerad träning i pipelines med CommandStep.
- Arv
-
MpiStep
Konstruktor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Parametrar
- source_directory
- str
[Krävs] En mapp som innehåller Python-skript, conda env och andra resurser som används i steget.
- script_name
- str
[Krävs] Namnet på ett Python-skript i förhållande till source_directory.
- node_count
- int
[Krävs] Antalet noder i beräkningsmålet som används för träning. Om det är större än 1 körs ett mpi-distribuerat jobb. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.
- process_count_per_node
- int
[Krävs] Antalet processer per nod. Om det är större än 1 körs ett mpi-distribuerat jobb. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
En lista över indataportbindningar.
En lista över portbindningar för utdata.
- params
- dict
En ordlista med namn/värde-par som registrerats som miljövariabler med "AML_PARAMETER_".
- allow_reuse
- bool
Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.
- hash_paths
- list
INAKTUELL: behövs inte längre.
En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory i förutom filer som anges i .amlignore eller .gitignore.
- use_gpu
- bool
Anger om miljön som ska köra experimentet ska ha stöd för GPU:er.
Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.
- custom_docker_image
- str
Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.
- user_managed
- bool
Anger om Azure ML återanvänder en befintlig Python-miljö. False innebär att Azure ML skapar en Python-miljö baserat på specifikationen för conda-beroenden.
- conda_packages
- list
En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön.
- pip_packages
- list
En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön.
- pip_requirements_file_path
- str
Den relativa sökvägen till pip-kravtextfilen.
Den här parametern kan anges i kombination med parametern pip_packages .
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition för experimentet. Den innehåller variablerna PythonSection och DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för MpiStep-konstruktionen kan anges med hjälp av environment_definition parameter. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packages eller pip_packages och fel rapporteras för dessa ogiltiga kombinationer.
- source_directory
- str
[Krävs] En mapp som innehåller Python-skript, conda env och andra resurser som används i steget.
- script_name
- str
[Krävs] Namnet på ett Python-skript i förhållande till source_directory.
- compute_target
- <xref:azureml.core.compute.AmlComputeCompute>, str
[Krävs] Ett beräkningsmål att använda.
- node_count
- int
[Krävs] Antal noder i beräkningsmålet som används för träning. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.
- process_count_per_node
- int
[Krävs] Antal processer per nod. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
En lista över indataportbindningar.
- outputs
- list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]
En lista över portbindningar för utdata.
- params
- dict
En ordlista med namn/värde-par som registrerats som miljövariabler med ">>AML_PARAMETER_<<".
- allow_reuse
- bool
Anger om steget ska återanvända tidigare resultat när omkörningen med samma parametrar förblir oförändrad, och utdata från föregående körning av det här steget återanvänds. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.
- hash_paths
- list
INAKTUELL: behövs inte längre.
En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory i förutom filer som anges i .amlignore eller .gitignore.
- use_gpu
- bool
Anger om miljön som ska köra experimentet ska ha stöd för GPU:er.
Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.
- use_docker
- bool
Anger om miljön som ska köra experimentet ska vara Docker-baserad. custom_docker_image (str): Namnet på docker-avbildningen från vilken avbildningen som ska användas för mpi-jobbet skapas. Om den inte har angetts används en standard-CPU-baserad avbildning som basavbildning.
- custom_docker_image
- str
Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte anges används en standard-CPU-baserad avbildning som basavbildning.
- user_managed
- bool
Anger om Azure ML återanvänder en befintlig Python-miljö. Falskt innebär att Azure ML skapar en Python-miljö baserat på specifikationen för conda-beroenden.
- conda_packages
- list
En lista med strängar som representerar conda-paket som ska läggas till i Python-miljön.
- pip_packages
- list
En lista med strängar som representerar pip-paket som ska läggas till i Python-miljön.
- pip_requirements_file_path
- str
Den relativa sökvägen till textfilen pip requirements.
Den här parametern kan anges i kombination med parametern pip_packages .
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition för experimentet. Den innehåller PythonSection- och DockerSection- och miljövariabler. Alla miljöalternativ som inte exponeras direkt via andra parametrar för MpiStep-konstruktionen kan anges med hjälp av environment_definition parameter. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packages eller pip_packages och fel rapporteras för dessa ogiltiga kombinationer.
Feedback
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i: https://aka.ms/ContentUserFeedback.
Skicka och visa feedback för