core Paquet

Contient les fonctionnalités de base des pipelines Azure Machine Learning, qui sont des workflows de Machine Learning configurables.

Les pipelines Azure Machine Learning vous permettent de créer des workflows de Machine Learning réutilisables, qui peuvent servir de modèles pour vos scénarios de Machine Learning. Ce package contient les fonctionnalités de base permettant d’utiliser les pipelines Azure ML. Il est généralement utilisé avec les classes du package steps.

Un pipeline de Machine Learning est représenté par une collection d’objets PipelineStep qui peuvent être séquencés et mis en parallèle, ou créés avec des dépendances explicites entre les étapes. Les étapes de pipeline permettent de définir un objet Pipeline qui représente le workflow à exécuter. Vous pouvez créer et utiliser des pipelines dans un notebook Jupyter Notebook ou tout autre IDE pour lequel le kit SDK Azure ML est installé.

Les pipelines Azure ML vous permettent de vous concentrer sur le Machine Learning plutôt que sur l’infrastructure. Pour commencer à créer un pipeline, consultez https://aka.ms/pl-first-pipeline.

Pour plus d’informations sur les avantages du pipeline Machine Learning et sur sa relation avec les autres pipelines proposés par Azure, consultez Que sont les pipelines ML dans Azure Machine Learning service ?

Modules

builder

Définit des classes pour la génération d’un pipeline Azure Machine Learning.

Un graphique de pipeline comprend des étapes de pipeline (PipelineStep), des données de pipeline facultatives (PipelineData) produites ou consommées à chaque étape, ainsi qu’une séquence d’exécution d’étape facultative (StepSequence).

graph

Définit des classes pour construire des graphes de pipeline Azure Machine Learning.

Les graphes de pipeline Azure ML sont créés pour les objets Pipeline, lorsque vous utilisez des objets PipelineStep (et des classes dérivées), PipelineData et PipelineData. Dans les cas d’utilisation classiques, vous n’aurez pas besoin d’utiliser directement les classes de ce module.

Un graphe d’exécution de pipeline se compose de nœuds de module qui représentent des unités de base telles qu’une source de données ou une étape. Les nœuds peuvent avoir des ports d’entrée et de sortie, ainsi que des paramètres associés. Les arêtes définissent les relations entre deux ports de nœud dans un graphe.

module

Contient des classes pour la création et la gestion des unités de calcul réutilisables d’un pipeline Azure Machine Learning.

Les modules vous permettent de créer des unités de calcul dans un Pipeline, qui peut avoir des entrées, des sorties et s’appuyer sur des paramètres et une configuration d’environnement pour fonctionner. Un module peut être versionné et utilisé dans différents pipelines Azure Machine Learning, contrairement aux PipelineStep (et classes dérivées) utilisées dans un pipeline.

Les modules sont conçus pour être réutilisés dans plusieurs pipelines, et peuvent évoluer pour adapter une logique de calcul spécifique à différents cas d’utilisation. Une étape dans un pipeline peut être utilisée dans des itérations rapides pour améliorer un algorithme, et une fois l’objectif atteint, l’algorithme est généralement publié en tant que module pour en permettre la réutilisation.

module_step_base

Contient des fonctionnalités pour ajouter une étape à un pipeline à l’aide d’une version de Module.

pipeline

Définit la classe pour créer des workflows Azure Machine Learning réutilisables.

pipeline_draft

Définit des classes pour la gestion des pipelines mutables.

pipeline_endpoint

Définit des classes pour la gestion des pipelines, notamment le contrôle de version et les points de terminaison.

pipeline_output_dataset

Contient les fonctionnalités permettant de promouvoir une sortie intermédiaire en jeu de données Azure Machine Learning.

Les données intermédiaires (sortie) d’un pipeline par défaut ne deviennent pas un jeu de données Azure Machine Learning. Pour promouvoir des données intermédiaires en jeu de données Azure Machine Learning, appelez la méthode as_dataset sur la classe PipelineData afin de retourner un objet PipelineOutputFileDataset. À partir d’un objet PipelineOutputFileDataset, vous pouvez ensuite créer un objet PipelineOutputTabularDataset.

run

Définit les classes pour les pipelines soumis, y compris les classes pour la vérification de l’état et la récupération des détails de l’exécution.

schedule

Définit les classes permettant de planifier les soumissions de pipelines Azure Machine Learning.

Classes

InputPortBinding

Définit une liaison d’une source à une entrée d’une étape de pipeline.

Une InputPortBinding peut être utilisée comme entrée d’une étape. La source peut être PipelineData, PortDataReference, DataReference, PipelineDataset ou OutputPortBinding.

InputPortBinding s’avère utile pour spécifier le nom de l’entrée d’étape, si elle doit être différente du nom de l’objet de liaison (autrement dit, pour éviter des noms d’entrée/de sortie en double ou parce que le script d’étape a besoin d’une entrée portant un nom donné). Elle peut également être utilisée pour spécifier le bind_mode pour les entrées PythonScriptStep.

Initialisez InputPortBinding.

Module

Représente une unité de calcul utilisée dans un pipeline Azure Machine Learning.

Un module est une collection de fichiers qui s’exécutent sur une cible de calcul et une description d’une interface. La collection de fichiers peut comporter des scripts, des fichiers binaires ou tout autre fichier nécessaire à l’exécution sur la cible de calcul. L’interface du module décrit les entrées, les sorties et les définitions de paramètres. Elle ne les lie pas à des valeurs ou des données spécifiques. Un module est associé à une capture instantanée, qui capture la collection de fichiers définie pour le module.

Initialiser le module.

ModuleVersion

Représente l’unité de calcul réelle dans un Module.

Il est déconseillé d’utiliser cette classe directement. Au lieu de cela, utilisez l’une des méthodes de publication de la classe Module.

Initialisez ModuleVersion.

ModuleVersionDescriptor

Définit la version et l’ID d’un ModuleVersion.

Initialisez ModuleVersionDescriptor.

OutputPortBinding

Définit une sortie nommée d’une étape de pipeline.

OutputPortBinding peut être utilisé pour spécifier le type de données qui sera produit par une étape et la façon dont les données seront produites. Il peut être utilisé avec InputPortBinding pour spécifier que la sortie de l’étape est une entrée obligatoire d’une autre étape.

Initialiser OutputPortBinding.

Pipeline

Représente une collection d’étapes qui peuvent être exécutées en tant que workflow Azure Machine Learning réutilisable.

Utilisez un pipeline pour créer et gérer des workflows qui combinent les différentes phases de Machine Learning. Chaque phase de Machine Learning, comme la préparation des données et la formation du modèle, peut inclure une ou plusieurs étapes d’un pipeline.

Pour savoir quand et pourquoi utiliser les pipelines, consultez https://aka.ms/pl-concept.

Pour obtenir une vue d’ensemble de la construction d’un pipeline, consultez https://aka.ms/pl-first-pipeline.

Initialiser le pipeline.

PipelineData

Représente des données intermédiaires dans un pipeline Azure Machine Learning.

Les données utilisées dans un pipeline peuvent être produites à une étape et consommées à une autre étape si un objet PipelineData est fourni en tant que sortie d’une étape et en tant qu’entrée d’une ou de plusieurs étapes suivantes.

Remarque : si vous utilisez les données du pipeline, assurez-vous que le répertoire utilisé existait.

Voici un exemple Python pour vous assurer que le répertoire existait, supposez que vous avez un port de sortie nommé output_folder dans une étape de pipeline, vous souhaitez écrire des données dans le chemin d’accès relatif dans ce dossier.


   import os
   os.makedirs(args.output_folder, exist_ok=True)
   f = open(args.output_folder + '/relative_path/file_name', 'w+')

PipelineData utilise DataReference sous-jacent qui n’est plus l’approche recommandée pour l’accès aux données et leur remise. Utilisez plutôt OutputFileDatasetConfig, vous pouvez trouver un exemple ici : pipeline utilisant OutputFileDatasetConfig.

Initialisez PipelineData.

PipelineDataset

Agit comme un adaptateur pour le jeu de données et le pipeline.

Notes

Cette classe est déconseillée. Découvrez comment utiliser le jeu de données avec le pipeline ; consultez https://aka.ms/pipeline-with-dataset.

Il s’agit d’une classe interne. Vous ne devez pas créer cette classe directement, mais plutôt appeler les méthodes d’instance as_* sur le jeu de données ou les classes OutputDatasetConfig.

Agir en tant qu’adaptateur pour le jeu de données et le pipeline.

Il s’agit d’une classe interne. Vous ne devez pas créer cette classe directement, mais plutôt appeler les méthodes d’instance as_* sur le jeu de données ou les classes OutputDatasetConfig.

PipelineDraft

Représente un pipeline mutable qui peut être utilisé pour envoyer des exécutions et créer des pipelines publiés.

Utilisez PipelineDrafts pour effectuer une itération sur Pipelines. Il est possible de créer des PipelineDrafts ex nihilo, à partir d’un autre PipelineDraft ou de pipelines existants : Pipeline, PublishedPipeline ou PipelineRun.

Initialiser PipelineDraft.

PipelineEndpoint

Représente un flux de travail Pipeline qui peut être déclenché à partir d’une URL de point de terminaison unique.

Les objets PipelineEndpoint peuvent être utilisés pour créer de nouvelles versions d’un PublishedPipeline tout en conservant le même point de terminaison. Les objets PipelineEndpoint ont un nom unique dans un espace de travail.

À l’aide de l’attribut de point de terminaison d’un objet PipelineEndpoint, vous pouvez déclencher de nouvelles exécutions de pipeline à partir d’applications externes avec des appels REST. Pour plus d’informations sur la procédure d’authentification lors de l’appel des points de terminaison REST, consultez https://aka.ms/pl-restep-auth.

Pour plus d’informations sur la création et l’exécution de pipelines de Machine Learning, consultez https://aka.ms/pl-first-pipeline.

Initialiser PipelineEndpoint.

PipelineParameter

Définit un paramètre dans une exécution du pipeline.

Utilisez les paramètres de pipeline pour créer des pipelines polyvalents qui peuvent par la suite être soumis de nouveau avec des valeurs de paramètre variables.

Initialiser les paramètres de pipeline.

PipelineRun

Représente une exécution d’une Pipeline.

Cette classe peut être utilisée pour gérer des détails d’exécution, en vérifier l’état et les récupérer une fois qu’une exécution de pipeline est soumise. Utilisez get_steps pour récupérer les objets StepRun créés par l’exécution de pipeline. D’autres utilisations incluent la récupération de l’objet Graph associé à l’exécution de pipeline, la récupération (fetch) de l’état de l’exécution de pipeline et l’attente de la fin de l’exécution.

Initialiser une exécution de pipeline.

PipelineStep

Représente une étape d’exécution dans un pipeline Azure Machine Learning.

Les pipelines sont construits à partir de plusieurs étapes de pipelines, qui sont des unités de calcul distinctes dans le pipeline. Chaque étape peut s’exécuter indépendamment et utiliser des ressources de calcul isolées. Chaque étape dispose généralement de ses propres entrées, sorties et paramètres nommés.

La classe PipelineStep est la classe de base dont héritent d’autres classes d’étape intégrées conçues pour des scénarios courants, comme PythonScriptStep, DataTransferStep et HyperDriveStep.

Pour obtenir une vue d’ensemble de la façon dont les Pipelines et PipelineSteps sont liés, consultez Présentation des pipelines ML.

Initialiser PipelineStep.

PortDataReference

Modélise les données associées à une sortie d’une StepRun terminée.

Un objet PortDataReference peut être utilisé pour télécharger les données de sortie produites par un StepRun. Elle peut également être utilisée comme entrée d’étape dans un pipeline futur.

Initialisez PortDataReference.

PublishedPipeline

Représente un pipeline à envoyer sans le code Python qui l’a construit.

En outre, un PublishedPipeline peut être utilisé pour renvoyer un Pipeline avec différentes valeurs et entrées PipelineParameter.

Initialisez PublishedPipeline.

:p point de terminaisonaram L’URL du point de terminaison REST pour envoyer le pipeline s’exécute pour ce pipeline. :type endpoint: str :p aram total_run_steps : nombre d’étapes dans ce pipeline :type total_run_steps: int :p aram workspace: Espace de travail du pipeline publié. :type workspace: azureml.core.Workspace :p aram continue_on_step_failure : Continuer l’exécution d’autres étapes dans pipelineRun

si une étape échoue, la valeur par défaut est false.

Schedule

Définit une planification de soumission d’un pipeline.

Une fois qu’un pipeline est publié, vous pouvez utiliser une planification pour soumettre le pipeline à un intervalle spécifique, ou quand des changements liés à un emplacement du service Stockage Blob sont détectés.

Initialisez la planification.

ScheduleRecurrence

Définit la fréquence, l’intervalle et l’heure de début d’un pipeline Schedule.

ScheduleRecurrence vous permet également de spécifier le fuseau horaire ainsi que les heures, les minutes ou les jours de la périodicité.

Initialiser une périodicité de planification.

Il permet également de spécifier le fuseau horaire et les heures ou les minutes ou jours de semaine pour la périodicité.

StepRun

Exécution d’une étape dans un Pipeline.

Cette classe peut être utilisée pour gérer, vérifier l’état et récupérer les détails de l’exécution une fois que l’exécution du pipeline parent a été envoyée et que le pipeline a soumis l’étape d’exécution.

Initialiser un StepRun.

StepRunOutput

Représente une sortie créée par un StepRun dans un pipeline.

StepRunOutput peut être utilisé pour accéder au PortDataReference créé par l’étape.

Initialiser StepRunOutput.

StepSequence

Représente une liste d’étapes dans un Pipeline et l’ordre dans lequel les exécuter.

Utilisez une StepSequence lors de l’initialisation d’un pipeline pour créer un flux de travail qui contient des étapes à exécuter dans un ordre spécifique.

Initialiser StepSequence.

TrainingOutput

Définit une sortie spécialisée de certaines étapes de pipeline à utiliser dans un pipeline.

TrainingOutput permet la mise à disposition d’une métrique ou d’un modèle de Machine Learning automatisé comme sortie d’étape à consommer dans un pipeline Azure Machine Learning. Ne peut pas être utilisé avec AutoMLStep ou HyperDriveStep.

Initialiser TrainingOutput.

param model_file : fichier de modèle spécifique à inclure dans la sortie. Pour HyperDriveStep uniquement.

Énumérations

TimeZone

Énumère les fuseaux horaires valides pour une récurrence Schedule.