Dela via


MpiStep Klass

Skapar ett Azure ML-pipelinesteg för att köra ett MPI-jobb.

Ett exempel på hur du använder MpiStep finns i notebook-filen https://aka.ms/pl-style-trans.

Skapa ett Azure ML-pipelinesteg för att köra ett MPI-jobb.

DEPRECATED. CommandStep Använd i stället. Ett exempel finns i Så här kör du distribuerad träning i pipelines med CommandStep.

Arv

Konstruktor

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Parametrar

Name Description
name
str

[Krävs] Namnet på modulen.

standardvärde: None
source_directory
str

[Krävs] En mapp som innehåller Python-skript, conda env och andra resurser som används i steget.

standardvärde: None
script_name
str

[Krävs] Namnet på ett Python-skript i förhållande till source_directory.

standardvärde: None
arguments

[Krävs] En lista över kommandoradsargument.

standardvärde: None
compute_target

[Krävs] Ett beräkningsmål att använda.

standardvärde: None
node_count
int

[Krävs] Antalet noder i beräkningsmålet som används för träning. Om det är större än 1 körs ett mpi-distribuerat jobb. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.

standardvärde: None
process_count_per_node
int

[Krävs] Antalet processer per nod. Om det är större än 1 körs ett mpi-distribuerat jobb. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.

standardvärde: None
inputs

En lista över indataportbindningar.

standardvärde: None
outputs

En lista över portbindningar för utdata.

standardvärde: None
params
Obligatorisk

En ordlista med namn/värde-par som registrerats som miljövariabler med "AML_PARAMETER_".

allow_reuse

Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.

standardvärde: True
version
str

En valfri versionstagg som anger en funktionsändring för modulen.

standardvärde: None
hash_paths

INAKTUELL: behövs inte längre.

En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory i förutom filer som anges i .amlignore eller .gitignore.

standardvärde: None
use_gpu
Obligatorisk

Anger om miljön som ska köra experimentet ska ha stöd för GPU:er. Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.

use_docker
Obligatorisk

Anger om miljön som ska köra experimentet ska vara Docker-baserad.

custom_docker_image
Obligatorisk
str

Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning.

image_registry_details
Obligatorisk

Information om Docker-avbildningsregistret.

user_managed
Obligatorisk

Anger om Azure ML återanvänder en befintlig Python-miljö. False innebär att Azure ML skapar en Python-miljö baserat på specifikationen för conda-beroenden.

conda_packages
Obligatorisk

En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön.

pip_packages
Obligatorisk

En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön.

pip_requirements_file_path
Obligatorisk
str

Den relativa sökvägen till pip-kravtextfilen. Den här parametern kan anges i kombination med parametern pip_packages .

environment_definition
Obligatorisk

EnvironmentDefinition för experimentet. Den innehåller variablerna PythonSection och DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för MpiStep-konstruktionen kan anges med hjälp av environment_definition parameter. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packages eller pip_packages och fel rapporteras för dessa ogiltiga kombinationer.

name
Obligatorisk
str

[Krävs] Namnet på modulen.

source_directory
Obligatorisk
str

[Krävs] En mapp som innehåller Python-skript, conda env och andra resurser som används i steget.

script_name
Obligatorisk
str

[Krävs] Namnet på ett Python-skript i förhållande till source_directory.

arguments
Obligatorisk

[Krävs] En lista över kommandoradsargument.

compute_target
Obligatorisk
<xref:azureml.core.compute.AmlComputeCompute>, str

[Krävs] Ett beräkningsmål att använda.

node_count
Obligatorisk
int

[Krävs] Antal noder i beräkningsmålet som används för träning. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.

process_count_per_node
Obligatorisk
int

[Krävs] Antal processer per nod. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds.

inputs
Obligatorisk

En lista över indataportbindningar.

outputs
Obligatorisk

En lista över portbindningar för utdata.

params
Obligatorisk

En ordlista med namn/värde-par som registrerats som miljövariabler med ">>AML_PARAMETER_<<".

allow_reuse
Obligatorisk

Anger om steget ska återanvända tidigare resultat när omkörningen med samma parametrar förblir oförändrad, och utdata från föregående körning av det här steget återanvänds. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats.

version
Obligatorisk
str

Valfri versionstagg för att ange en ändring av funktionen för modulen

hash_paths
Obligatorisk

INAKTUELL: behövs inte längre.

En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet source_directory i förutom filer som anges i .amlignore eller .gitignore.

use_gpu
Obligatorisk

Anger om miljön som ska köra experimentet ska ha stöd för GPU:er. Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern custom_docker_image inte har angetts. Den här inställningen används endast i Docker-aktiverade beräkningsmål.

use_docker
Obligatorisk

Anger om miljön som ska köra experimentet ska vara Docker-baserad. custom_docker_image (str): Namnet på docker-avbildningen från vilken avbildningen som ska användas för mpi-jobbet skapas. Om den inte har angetts används en standard-CPU-baserad avbildning som basavbildning.

custom_docker_image
Obligatorisk
str

Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte anges används en standard-CPU-baserad avbildning som basavbildning.

image_registry_details
Obligatorisk

Information om Docker-avbildningsregistret.

user_managed
Obligatorisk

Anger om Azure ML återanvänder en befintlig Python-miljö. Falskt innebär att Azure ML skapar en Python-miljö baserat på specifikationen för conda-beroenden.

conda_packages
Obligatorisk

En lista med strängar som representerar conda-paket som ska läggas till i Python-miljön.

pip_packages
Obligatorisk

En lista med strängar som representerar pip-paket som ska läggas till i Python-miljön.

pip_requirements_file_path
Obligatorisk
str

Den relativa sökvägen till textfilen pip requirements. Den här parametern kan anges i kombination med parametern pip_packages .

environment_definition
Obligatorisk

EnvironmentDefinition för experimentet. Den innehåller PythonSection- och DockerSection- och miljövariabler. Alla miljöalternativ som inte exponeras direkt via andra parametrar för MpiStep-konstruktionen kan anges med hjälp av environment_definition parameter. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packages eller pip_packages och fel rapporteras för dessa ogiltiga kombinationer.