MpiStep Classe
Crée une étape de pipeline Azure Machine Learning pour exécuter une tâche MPI.
Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.
Créez une étape de pipeline Azure ML pour exécuter un travail MPI.
DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultez Comment exécuter un entraînement distribué dans des pipelines avec CommandStep.
- Héritage
-
MpiStep
Constructeur
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)Paramètres
- source_directory
- str
[Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape.
- script_name
- str
[Obligatoire] Nom d’un script Python relatif à source_directory.
- node_count
- int
[Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’apprentissage. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
- process_count_per_node
- int
[Obligatoire] Nombre de processus par nœud. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Liste des liaisons de port d’entrée.
Liste des liaisons de port de sortie.
- params
- dict
Dictionnaire des paires nom-valeur inscrites en tant que variables d’environnement avec « AML_PARAMETER_ ».
- allow_reuse
- bool
Indique si l’étape doit réutiliser les résultats précédents lorsqu’elle est exécutée avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes.
- version
- str
Balise de version facultative pour indiquer une modification de fonctionnalité pour le module.
- hash_paths
- list
DÉPRÉCIÉ : n’est plus nécessaire.
Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de source_directory est haché (à l’exception des fichiers répertoriés dans .amlignore ou .gitignore).
- use_gpu
- bool
Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU.
Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.
- use_docker
- bool
Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker.
- custom_docker_image
- str
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.
- user_managed
- bool
Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda.
- conda_packages
- list
Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python.
- pip_packages
- list
Liste des chaînes représentant les packages pip à ajouter à l’environnement Python.
- pip_requirements_file_path
- str
Chemin d’accès relatif au fichier texte des spécifications pip.
Ce paramètre peut être spécifié en association avec le paramètre pip_packages.
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées.
- source_directory
- str
[Obligatoire] Dossier qui contient le script Python, l’environnement Conda et d’autres ressources utilisées lors de cette étape.
- compute_target
- <xref:azureml.core.compute.AmlComputeCompute>, str
[Obligatoire] Cible de calcul à utiliser.
- node_count
- int
[Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
- process_count_per_node
- int
[Obligatoire] Nombre de processus par nœud. S’il est supérieur à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
- inputs
- list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
Liste des liaisons de port d’entrée.
- outputs
- list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]
Liste des liaisons de port de sortie.
- params
- dict
Dictionnaire de paires nom-valeur inscrites en tant que variables d’environnement avec «>> AML_PARAMETER_<< ».
- allow_reuse
- bool
Indique si l’étape doit réutiliser les résultats précédents lorsque la réexécutation avec les mêmes paramètres reste inchangée. La sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par le fait que la définition du jeu de données a changé ou pas, non par la modification éventuelle des données sous-jacentes.
- version
- str
Balise de version facultative pour indiquer une modification des fonctionnalités du module
- hash_paths
- list
DÉPRÉCIÉ : n’est plus nécessaire.
Liste de chemins à hacher lors de la recherche des modifications apportées au contenu de l’étape. Si aucune modification n’est détectée, le pipeline réutilise le contenu de l’étape d’une exécution précédente. Par défaut, le contenu de source_directory est haché (à l’exception des fichiers répertoriés dans .amlignore ou .gitignore).
- use_gpu
- bool
Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU.
Si la valeur est True, une image Docker par défaut basée sur le GPU est utilisée dans l’environnement. Si False est défini, une image basée sur l’UC est utilisée. Les images Docker par défaut (processeur ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.
- use_docker
- bool
Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker. custom_docker_image (str) : nom de l’image Docker à partir de laquelle l’image à utiliser pour le travail mpi sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC sera utilisée comme image de base.
- custom_docker_image
- str
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.
- user_managed
- bool
Indique si Azure ML réutilise un environnement Python existant ; la valeur False signifie qu’Azure ML va créer un environnement Python basé sur la spécification de dépendances Conda.
- conda_packages
- list
Liste des chaînes représentant les packages Conda à ajouter à l’environnement Python.
- pip_packages
- list
Liste des chaînes représentant les packages pip à ajouter à l’environnement Python.
- pip_requirements_file_path
- str
Chemin d’accès relatif au fichier texte des spécifications pip.
Ce paramètre peut être spécifié en association avec le paramètre pip_packages.
- environment_definition
- EnvironmentDefinition
EnvironmentDefinition pour l’expérience. Cela inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction MpiStep peut être définie à l’aide du paramètre environment_definition. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages et des erreurs sur ces combinaisons non valides sont signalées.
Commentaires
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultez https://aka.ms/ContentUserFeedback.
Envoyer et afficher des commentaires pour