Partager via


steps Paquet

Contient des étapes prédéfinies qui peuvent être exécutées dans un pipeline Azure Machine Learning.

Les étapes de pipeline Azure ML peuvent être configurées ensemble pour construire un pipeline, qui représente un flux de travail Azure Machine Learning pouvant être partagé et réutilisé. Chaque étape d’un pipeline peut être configurée pour permettre la réutilisation de ses résultats d’exécution précédents si le contenu de l’étape (scripts et dépendances) ainsi que les entrées et les paramètres restent inchangés.

Les classes de ce package sont généralement utilisées avec les classes du package core. Le package de base contient des classes pour la configuration des données (PipelineData), la planification (Schedule) et la gestion de la sortie des étapes (StepRun).

Les étapes prédéfinies de ce package couvrent de nombreux scénarios courants rencontrés dans les flux de travail Machine Learning. Pour commencer à utiliser les étapes de pipeline prédéfinies, consultez :

Modules

adla_step

Contient les fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un script U-SQL avec Azure Data Lake Analytics.

automl_step

Contient des fonctionnalités permettant d’ajouter et de gérer une étape de pipeline ML automatisée dans Azure Machine Learning.

azurebatch_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute un fichier exécutable Windows dans Azure Batch.

command_step

Contient les fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute des commandes.

data_transfer_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui transfère des données entre les options de stockage.

databricks_step

Contient les fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un notebook Databricks ou un script Python sur DBFS.

estimator_step

Contient des fonctionnalités pour la création d’une étape de pipeline qui exécute un estimateur pour la formation du modèle de Machine Learning.

hyper_drive_step

Contient des fonctionnalités permettant de créer et de gérer des étapes de pipeline Azure ML qui exécutent le réglage des hyperparamètres.

kusto_step

Contient les fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un notebook Kusto.

module_step

Contient des fonctionnalités pour ajouter une étape de pipeline Azure Machine Learning à l’aide d’une version existante d’un module.

mpi_step

Contient les fonctionnalités permettant d’ajouter une étape de pipeline Azure Machine Learning pour exécuter une tâche MPI pour la formation du modèle de Machine Learning.

parallel_run_config

Contient les fonctionnalités permettant de configurer un objet ParallelRunStep.

parallel_run_step

Contient les fonctionnalités permettant d’ajouter une étape pour exécuter le script utilisateur en mode parallèle sur plusieurs cibles AmlCompute.

python_script_step

Contient les fonctionnalités permettant de créer une étape de pipeline ML Azure qui exécute un script Python.

r_script_step

Contient les fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute un script R.

synapse_spark_step

Contient les fonctionnalités permettant de créer une étape Azure ML Synapse qui exécute un script Python.

Classes

AdlaStep

Crée une étape de pipeline Azure ML pour exécuter un script U-SQL avec Azure Data Lake Analytics.

Pour obtenir un exemple d’utilisation d’AdlaStep, consultez le notebook https://aka.ms/pl-adla.

Créez une étape de pipeline Azure ML pour exécuter un script U-SQL avec Azure Data Lake Analytics.

AutoMLStep

Crée une étape de pipeline Azure ML qui encapsule une exécution ML automatisée.

Pour obtenir un exemple d’utilisation d’AutoMLStep, consultez le notebook https://aka.ms/pl-automl.

Initialisez un AutoMLStep.

AutoMLStepRun

Fournit des informations sur une exécution de l’expérience de ML automatisé et des méthodes pour récupérer les sorties par défaut.

La classe AutoMLStepRun est utilisée pour gérer, vérifier l’état et récupérer les détails d’exécution une fois qu’une exécution ML automatisée est envoyée dans un pipeline. De plus, cette classe peut être utilisée pour récupérer les sorties par défaut de AutoMLStep par le biais de la classe StepRun.

Initialiser une exécution d’étape automl.

AzureBatchStep

Crée une étape de pipeline Azure ML pour l’envoi de travaux à Azure Batch.

Remarque : cette étape ne prend pas en charge le chargement/téléchargement des répertoires et de leur contenu.

Pour obtenir un exemple d’utilisation d’AzureBatchStep, consultez le notebook https://aka.ms/pl-azbatch.

Créez une étape de pipeline Azure ML pour envoyer des travaux à Azure Batch.

CommandStep

Crée une étape de pipeline Azure ML qui exécute une commande.

Crée une étape de pipeline Azure ML qui exécute une commande.

DataTransferStep

Crée une étape de pipeline Azure ML qui transfère des données entre les options de stockage.

DataTransferStep prend en charge les types de stockage courants comme Stockage Blob Azure et Azure Data Lake Storage en tant que sources et récepteurs. Pour plus d’informations, consultez la section Remarques.

Pour obtenir un exemple d’utilisation de DataTransferStep, consultez le notebook https://aka.ms/pl-data-trans.

Créez une étape de pipeline Azure ML qui transfère des données entre les options de stockage.

DatabricksStep

Crée une étape de pipeline Azure Machine Learning pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

Créez une étape de pipeline Azure ML pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

:p aram python_script_name:[Obligatoire] Nom d’un script Python relatif à source_directory. Si le script prend des entrées et des sorties, celles-ci sont passées au script en tant que paramètres. Si python_script_name est spécifié, source_directory doit l’être également.

Spécifiez exactement une valeur de notebook_path, python_script_path, python_script_name ou main_class_name.

Si vous spécifiez un objet DataReference comme entrée avec data_reference_name=input1 et un objet PipelineData en tant que sortie avec name=output1, alors les entrées et sorties sont passées au script en tant que paramètres. Voici à quoi elles ressemblent. Vous devez analyser les arguments dans votre script pour accéder aux chemins de chaque entrée et sortie : "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

En outre, les paramètres suivants sont disponibles dans le script :

  • AZUREML_RUN_TOKEN : jeton AML pour l’authentification auprès d’Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY : délai d’expiration du jeton AML.
  • AZUREML_RUN_ID : ID d’exécution Azure Machine Learning de cette exécution.
  • AZUREML_ARM_SUBSCRIPTION : abonnement Azure de votre espace de travail AML.
  • AZUREML_ARM_RESOURCEGROUP : groupe de ressources Azure de votre espace de travail Azure Machine Learning.
  • AZUREML_ARM_WORKSPACE_NAME : nom de votre espace de travail Azure Machine Learning.
  • AZUREML_ARM_PROJECT_NAME : nom de votre expérience Azure Machine Learning.
  • AZUREML_SERVICE_ENDPOINT : URL de point de terminaison pour les services AML.
  • AZUREML_WORKSPACE_ID : ID de votre espace de travail Azure Machine Learning.
  • AZUREML_EXPERIMENT_ID : ID de votre expérience travail Azure Machine Learning.
  • AZUREML_SCRIPT_DIRECTORY_NAME : chemin d’accès au répertoire dans DBFS où source_directory a été copié.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Quand vous exécutez un script Python à partir de votre ordinateur local sur Databricks à l’aide des paramètres DatabricksStep source_directory et python_script_name, votre source_directory est copié sur le système DBFS et le chemin d’accès au répertoire sur DBFS est transmis en tant que paramètre à votre script au début de l’exécution. Ce paramètre est étiqueté comme –AZUREML_SCRIPT_DIRECTORY_NAME. Vous devez ajouter le préfixe de la chaîne « dbfs:/ » ou « /dbfs/ » pour accéder au répertoire dans DBFS.

EstimatorStep

DÉPRÉCIÉ. Crée une étape de pipeline pour exécuter Estimator pour la formation du modèle Azure ML.

Créez une étape de pipeline Azure ML pour exécuter l’estimateur pour l’entraînement du modèle Machine Learning.

DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultez Guide pratique de l’exécution de l’apprentissage ML des pipelines avec CommandStep.

HyperDriveStep

Crée une étape de pipeline Azure Machine Learning pour exécuter le paramétrage des hyperparamètres pour la formation du modèle de Machine Learning.

Pour obtenir un exemple d’utilisation de HyperDriveStep, consultez le notebook https://aka.ms/pl-hyperdrive.

Créez une étape de pipeline Azure ML pour exécuter un tunning d’hyperparamètres pour l’entraînement de modèle Machine Learning.

HyperDriveStepRun

Gère, vérifie l’état et récupère les détails d’exécution d’une étape de pipeline HyperDriveStep.

HyperDriveStepRun fournit les fonctionnalités de HyperDriveRun avec la prise en charge supplémentaire de StepRun. La classe HyperDriveStepRun vous permet de gérer, de vérifier l’état et de récupérer les détails de l’exécution de HyperDrive et de chacune de ses exécutions enfants générées. La classe StepRun vous permet d’effectuer cette opération une fois que l’exécution du pipeline parent a été envoyée et que le pipeline a soumis l’exécution de l’étape.

Initialisez un HyperDriveStepRun.

HyperDriveStepRun fournit les fonctionnalités de HyperDriveRun avec la prise en charge supplémentaire de StepRun. La classe HyperDriveRun vous permet de gérer, d’case activée status et de récupérer les détails de l’exécution d’HyperDrive et de chacune de ses exécutions enfants générées. La classe StepRun vous permet d’effectuer cette opération une fois que l’exécution du pipeline parent a été envoyée et que le pipeline a soumis l’exécution de l’étape.

KustoStep

KustoStep active les fonctionnalités d’exécution des requêtes Kusto sur un cluster Kusto cible dans Azure ML Pipelines.

Initialisez KustoStep.

ModuleStep

Crée une étape de pipeline Azure Machine Learning pour exécuter une version spécifique d’un module.

Les objets Module définissent des calculs réutilisables, tels que des scripts ou des exécutables, qui peuvent être utilisés dans différents scénarios de Machine Learning et par différents utilisateurs. Pour utiliser une version de module spécifique dans un pipeline, créez un ModuleStep. Un ModuleStep est une étape de pipeline qui utilise un ModuleVersion existant.

Pour obtenir un exemple d’utilisation de ModuleStep, consultez le notebook https://aka.ms/pl-modulestep.

Créez une étape de pipeline Azure ML pour exécuter une version spécifique d’un module.

MpiStep

Crée une étape de pipeline Azure Machine Learning pour exécuter une tâche MPI.

Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.

Créez une étape de pipeline Azure ML pour exécuter un travail MPI.

DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultez Comment exécuter un entraînement distribué dans des pipelines avec CommandStep.

ParallelRunConfig

Définit la configuration d’un objet ParallelRunStep.

Pour obtenir un exemple d’utilisation de ParallelRunStep, consultez le notebook https://aka.ms/batch-inference-notebooks.

Pour obtenir le guide de résolution des problèmes, consultez https://aka.ms/prstsg. Vous trouverez plus de références ici.

Initialisez l’objet config.

ParallelRunStep

Crée une étape de pipeline Azure Machine Learning pour traiter de grandes quantités de données de façon asynchrone et en parallèle.

Pour obtenir un exemple d’utilisation de ParallelRunStep, consultez le notebook https://aka.ms/batch-inference-notebooks.

Pour obtenir le guide de résolution des problèmes, consultez https://aka.ms/prstsg. Vous trouverez plus de références ici.

Créez une étape de pipeline Azure ML pour traiter de grandes quantités de données de manière asynchrone et en parallèle.

Pour obtenir un exemple d’utilisation de ParallelRunStep, consultez le lien https://aka.ms/batch-inference-notebooksde notebook .

PythonScriptStep

Crée une étape de pipeline ML Azure qui exécute un script Python.

Pour obtenir un exemple d’utilisation de PythonScriptStep, consultez le notebook https://aka.ms/pl-get-started.

Créez une étape de pipeline Azure ML qui exécute un script Python.

RScriptStep

Notes

Il s’agit d’une classe expérimentale qui peut changer à tout moment. Pour plus d’informations, consultez https://aka.ms/azuremlexperimental.

Crée une étape de pipeline Azure ML qui exécute un script R.

Créez une étape de pipeline Azure ML qui exécute un script R.

DÉPRÉCIÉ. Utilisez plutôt CommandStep. Pour obtenir un exemple, consultezExécuter des scripts R dans des pipelines avec CommandStep.

SynapseSparkStep

Notes

Il s’agit d’une classe expérimentale qui peut changer à tout moment. Pour plus d’informations, consultez https://aka.ms/azuremlexperimental.

Crée une étape Azure ML Synapse qui envoie et exécute un script Python.

Créez une étape de pipeline Azure ML qui exécute un travail Spark sur un pool Synapse Spark.