Estimator Classe
Représente un estimateur générique pour la formation des données à l’aide de n’importe quelle infrastructure fournie.
DÉPRÉCIÉ. Utilisez l’objet ScriptRunConfig avec votre propre environnement défini ou un environnement Azure ML organisé. Pour une introduction à la configuration des exécutions d’expérimentation avec ScriptRunConfig, consultez Configurer et envoyer des exécutions de formation.
Cette classe est conçue pour être utilisée avec les infrastructures Machine Learning qui ne disposent pas déjà d’un estimateur préconfiguré Azure Machine Learning. Il existe des estimateurs préconfigurés pour Chainer, PyTorch, TensorFlow et SKLearn. Pour créer un estimateur qui n’est pas préconfiguré, consultez Former des modèles avec Azure Machine Learning à l’aide d’un estimateur.
La classe Estimateur enveloppe les informations de configuration de l’exécution pour simplifier les tâches de spécification du mode d’exécution d’un script. Elle prend en charge l’exécution à nœud unique et à plusieurs nœuds. L’exécution de l’estimateur produit un modèle dans le répertoire de sortie spécifié dans votre script de formation.
Initialisez l’estimateur.
azureml.core.environment._DEFAULT_SHM_SIZE est utilisé. Pour plus d’informations, consultez Informations de référence sur l’exécution de Docker. :type shm_size: str :p aram resume_from : chemin d’accès aux données contenant les fichiers de point de contrôle ou de modèle à partir desquels reprendre l’expérience. :type resume_from : azureml.data.datapath.DataPath :p aram max_run_duration_seconds : durée maximale autorisée pour l’exécution. Azure ML tente automatiquement
annuler l’exécution si elle prend plus de temps que cette valeur.
- Héritage
-
azureml.train.estimator._mml_base_estimator.MMLBaseEstimatorEstimator
Constructeur
Estimator(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)Paramètres
- source_directory
- str
Répertoire local contenant la configuration d’expérimentation et les fichiers de code nécessaires pour un travail de formation.
- compute_target
- AbstractComputeTarget ou str
Cible de calcul où la formation se produira. Il peut s’agir d’un objet ou de la chaîne « local ».
- vm_size
- str
Taille de la machine virtuelle de la cible de calcul qui sera créée pour la formation. Valeurs prises en charge : toute taille de machine virtuelle Azure.
- vm_priority
- str
Priorité de la machine virtuelle de la cible de calcul qui sera créée pour la formation. Si elle n’est pas spécifiée, la valeur « dedicated » est utilisée.
Valeurs prises en charge : « dedicated » et « lowpriority ».
Cela prend effet uniquement lorsque le paramètre vm_size est spécifié dans l’entrée.
- script_params
- dict
Dictionnaire d’arguments de ligne de commande à passer au script de formation spécifié dans entry_script.
- node_count
- int
Nombre de nœuds de la cible de calcul utilisée pour la formation. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté.
- process_count_per_node
- int
Nombre de processus (ou « workers ») à exécuter sur chaque nœud. Si la valeur est supérieure à 1, un travail distribué MPI est exécuté. Seule la cible AmlCompute est prise en charge pour les travaux distribués.
- distributed_backend
- str
Back-end de communication pour la formation distribuée.
DÉPRÉCIÉ. Utilisez le paramètre distributed_training.
Valeurs prises en charge : « mpi ». « mpi » représente MPI/Horovod.
Ce paramètre est obligatoire quand node_count ou process_count_per_node> 1.
Lorsque node_count == 1 et process_count_per_node == 1, aucun back-end n’est utilisé, sauf si le back-end est explicitement défini. Seule la cible AmlCompute est prise en charge pour la formation distribuée.
- distributed_training
- Mpi
Paramètres pour l’exécution d’un travail de formation distribuée.
Pour exécuter un travail distribué avec le back-end MPI, utilisez l’objet Mpi pour spécifier process_count_per_node.
- use_gpu
- bool
Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU.
Si la valeur est true, une image Docker par défaut basée sur GPU sera utilisée dans l’environnement. Si la valeur est false, une image basée sur l’UC sera utilisée. Les images Docker par défaut (UC ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul activées par Docker.
- use_docker
- bool
Spécifie si l’environnement d’exécution de l’expérience doit être basé sur Docker.
- custom_docker_base_image
- str
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée.
DÉPRÉCIÉ. Utilise le paramètre custom_docker_image.
Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.
- custom_docker_image
- str
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC sera utilisée comme image de base. Spécifiez uniquement des images disponibles dans les référentiels Docker publics (Docker Hub). Pour utiliser une image à partir d’un référentiel Docker privé, utilisez le paramètre environment_definition du constructeur.
- user_managed
- bool
Spécifie si Azure ML réutilise un environnement Python existant. Si la valeur est false, un environnement Python est créé en fonction de la spécification de dépendances conda.
- conda_packages
- list
Liste des chaînes représentant les packages conda à ajouter à l’environnement Python pour l’expérience.
- pip_packages
- list
Liste des chaînes représentant les packages pip à ajouter à l’environnement Python pour l’expérience.
- conda_dependencies_file_path
- str
Chemin d’accès relatif au fichier yaml des dépendances Conda. Si la valeur est spécifiée, Azure ML n’installe aucun package associé à une infrastructure.
DÉPRÉCIÉ. Utiliser le paramètre conda_dependencies_file.
Spécifiez conda_dependencies_file_path ou conda_dependencies_file. Si les deux sont spécifiés, conda_dependencies_file est utilisé.
- pip_requirements_file_path
- str
Chemin d’accès relatif au fichier texte des exigences pip.
DÉPRÉCIÉ. Utiliser le paramètre pip_requirements_file.
Ce paramètre peut être spécifié en association avec le paramètre pip_packages. Spécifiez pip_requirements_file_path ou pip_requirements_file. Si les deux sont spécifiés, pip_requirements_file est utilisé.
- conda_dependencies_file
- str
Chemin d’accès relatif au fichier yaml de dépendances conda. Si la valeur est spécifiée, Azure ML n’installe aucun package associé à une infrastructure.
- pip_requirements_file
- str
Chemin d’accès relatif au fichier texte des spécifications pip.
Ce paramètre peut être spécifié en association avec le paramètre pip_packages.
- environment_variables
- dict
Dictionnaire des noms et valeurs des variables d’environnement. Ces variables d’environnement sont définies sur le processus où le script utilisateur est en cours d’exécution.
- environment_definition
- Environment
La définition de l’environnement pour l’expérience. Inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction de l’estimateur peut être définie à l’aide de ce paramètre. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages.
Des erreurs sont signalées pour les combinaisons non valides.
- inputs
- list
Liste d’objets DataReference ou DatasetConsumptionConfig à utiliser comme entrée.
- source_directory_data_store
- Datastore
Magasin de données de stockage pour le partage de projet.
- shm_size
- str
Taille du bloc de mémoire partagée du conteneur Docker. Si la valeur n’est pas définie, la valeur par défaut azureml.core.environment._DEFAULT_SHM_SIZE est utilisée. Pour plus d’informations, consultez Informations de référence sur l’exécution de Docker.
- resume_from
- DataPath
Chemin d’accès aux données contenant le point de contrôle ou les fichiers de modèle à partir desquels reprendre l’expérience.
- max_run_duration_seconds
- int
Durée maximale autorisée pour l’exécution. Azure ML tentera d’annuler automatiquement l’exécution si elle prend plus de temps que cette valeur.
- source_directory
- str
Répertoire local contenant la configuration d’expérimentation et les fichiers de code nécessaires pour un travail de formation.
- compute_target
- AbstractComputeTarget ou str
Cible de calcul où la formation se produira. Il peut s’agir d’un objet ou de la chaîne « local ».
- vm_size
- str
Taille de la machine virtuelle de la cible de calcul qui sera créée pour la formation. Valeurs prises en charge : toute taille de machine virtuelle Azure.
- vm_priority
- str
Priorité de la machine virtuelle de la cible de calcul qui sera créée pour la formation. Si elle n’est pas spécifiée, la valeur « dedicated » est utilisée.
Valeurs prises en charge : « dedicated » et « lowpriority ».
Cela prend effet uniquement lorsque le paramètre vm_size est spécifié dans l’entrée.
- script_params
- dict
Dictionnaire d’arguments de ligne de commande à passer au script de formation spécifié dans entry_script.
- node_count
- int
Nombre de nœuds de la cible de calcul utilisée pour la formation. S’il est supérieur à 1, un travail distribué MPI est exécuté. Seule la cible AmlCompute est prise en charge pour les travaux distribués.
- process_count_per_node
- int
nombre de processus par nœud. S’il est supérieur à 1, un travail distribué MPI est exécuté. Seule la cible AmlCompute est prise en charge pour les travaux distribués.
- distributed_backend
- str
Back-end de communication pour la formation distribuée.
DÉPRÉCIÉ. Utilisez le paramètre distributed_training.
Valeurs prises en charge : « mpi ». « mpi » représente MPI/Horovod.
Ce paramètre est obligatoire quand node_count ou process_count_per_node> 1.
Lorsque node_count == 1 et process_count_per_node == 1, aucun back-end n’est utilisé, sauf si le back-end est explicitement défini. Seule la cible AmlCompute est prise en charge pour la formation distribuée.
- distributed_training
- Mpi
Paramètres pour l’exécution d’un travail de formation distribuée.
Pour exécuter un travail distribué avec le back-end MPI, utilisez l’objet Mpi pour spécifier process_count_per_node.
- use_gpu
- bool
Indique si l’environnement d’exécution de l’expérience doit prendre en charge les GPU.
Si la valeur est True, une image Docker par défaut basée sur le GPU sera utilisée dans l’environnement. Si la valeur est false, une image basée sur l’UC sera utilisée. Les images Docker par défaut (UC ou GPU) sont utilisées uniquement si le paramètre custom_docker_image n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul compatibles avec Docker.
- use_docker
- bool
Indique si l’environnement d’exécution de l’expérience doit être basé sur Docker.
- custom_docker_base_image
- str
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée.
DÉPRÉCIÉ. Utilise le paramètre custom_docker_image.
Si la valeur n’est pas définie, une image par défaut basée sur l’UC est utilisée comme image de base.
- custom_docker_image
- str
Nom de l’image Docker à partir de laquelle l’image à utiliser pour la formation sera générée. Si la valeur n’est pas définie, une image par défaut basée sur l’UC sera utilisée comme image de base. Spécifiez uniquement des images disponibles dans les référentiels Docker publics (Docker Hub). Pour utiliser une image à partir d’un référentiel Docker privé, utilisez le paramètre environment_definition du constructeur.
- user_managed
- bool
Spécifie si Azure ML réutilise un environnement Python existant. Si la valeur est false, un environnement Python est créé en fonction de la spécification de dépendances conda.
- conda_packages
- list
Liste des chaînes représentant les packages conda à ajouter à l’environnement Python pour l’expérience.
- pip_packages
- list
Liste des chaînes représentant les packages pip à ajouter à l’environnement Python pour l’expérience.
- conda_dependencies_file_path
Chemin d’accès relatif au fichier yaml des dépendances Conda. Si la valeur est spécifiée, Azure ML n’installe aucun package associé à une infrastructure.
DÉPRÉCIÉ. Utiliser le paramètre conda_dependencies_file.
Spécifiez conda_dependencies_file_path ou conda_dependencies_file. Si les deux sont spécifiés, conda_dependencies_file est utilisé.
- pip_requirements_file_path
Chemin d’accès relatif au fichier texte des exigences pip.
DÉPRÉCIÉ. Utilise le paramètre pip_requirements_file.
Peut être fourni en association avec le paramètre pip_packages. Spécifiez pip_requirements_file_path ou pip_requirements_file. Si les deux sont spécifiés, pip_requirements_file est utilisé.
- pip_requirements_file
- str
Chemin d’accès relatif au fichier texte des exigences pip.
Peut être fourni en association avec le paramètre pip_packages.
- environment_variables
- dict
Dictionnaire des noms et valeurs des variables d’environnement. Ces variables d’environnement sont définies sur le processus où le script utilisateur est en cours d’exécution.
- environment_definition
- Environment
La définition de l’environnement pour l’expérience. Inclut PythonSection, DockerSection et les variables d’environnement. Toute option d’environnement qui n’est pas directement exposée par le biais d’autres paramètres à la construction de l’estimateur peut être définie à l’aide de ce paramètre. Si ce paramètre est spécifié, il a la priorité sur les autres paramètres liés à l’environnement, comme use_gpu, custom_docker_image, conda_packages ou pip_packages.
Des erreurs sont signalées pour les combinaisons non valides.
- inputs
- list
Liste d’objets DataReference ou DatasetConsumptionConfig à utiliser comme entrée.
- source_directory_data_store
- Datastore
Magasin de données de stockage pour le partage de projet.
- shm_size
Taille du bloc de mémoire partagée du conteneur Docker. S’il n’est pas défini, la valeur par défaut
- _disable_validation
- bool
Désactivez la validation du script avant l’exécution de la soumission. La valeur par défaut est True.
- _show_lint_warnings
- bool
Afficher les avertissements de linting de script. La valeur par défaut est False.
- _show_package_warnings
- bool
Afficher les avertissements de validation de package. La valeur par défaut est False.
Commentaires
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultez https://aka.ms/ContentUserFeedback.
Envoyer et afficher des commentaires pour