Partager via


DataReference Classe

Représente une référence aux données dans un magasin de données.

Un élément DataReference représente un chemin d’accès dans un magasin de données et peut être utilisé pour décrire comment et où les données doivent être mises à disposition dans une exécution. Ce n’est plus l’approche recommandée pour l’accès aux données et leur livraison dans Azure Machine Learning. L’élément Dataset prend en charge l’accès aux données à partir du stockage Blob Azure, d’Azure Files, d’Azure Data Lake Storage Gen1, d’Azure Data Lake Storage Gen2, d’Azure SQL Database et d’Azure Database pour PostgreSQL via une interface unifiée avec des fonctionnalités de gestion de données supplémentaires. Il est recommandé d’utiliser le jeu de données pour lire les données dans vos projets Machine Learning.

Pour plus d’informations sur l’utilisation du jeu de données Azure ML dans deux scénarios courants, consultez les articles suivants :

Constructeur DataReference de classe.

Héritage
builtins.object
DataReference

Constructeur

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

Paramètres

Nom Description
datastore
Obligatoire

Magasin de banques à référencer.

data_reference_name
str

Nom de la référence de données.

valeur par défaut: None
path_on_datastore
str

Chemin d’accès relatif dans le stockage de sauvegarde pour la référence de données.

valeur par défaut: None
mode
str

Opération sur la référence de données. Les valeurs prises en charge sont « mount » (valeur par défaut) et « download ».

Utilisez le mode « download » quand votre script attend un chemin spécifique (par exemple codé en dur) pour les données d’entrée. Dans ce cas, spécifiez le chemin avec le paramètre path_on_compute quand vous déclarez DataReference. Azure Machine Learning télécharge les données spécifiées par ce chemin avant d’exécuter votre script.

Si vous utilisez le mode « mount », un répertoire temporaire est créé avec les données montées, et une variable d’environnement $AZUREML_DATAREFERENCE_<data_reference_name> est définie avec le chemin du répertoire temporaire. Si vous passez DataReference dans la liste d’arguments d’une étape de pipeline (par exemple PythonScriptStep), la référence est étendue au chemin de données local au moment de l’exécution.

valeur par défaut: mount
path_on_compute
str

Chemin sur la cible de calcul pour la référence de données.

valeur par défaut: None
overwrite

Indique si les données existantes doivent être remplacées.

valeur par défaut: False
datastore
Obligatoire

Magasin de banques à référencer.

data_reference_name
Obligatoire
str

Nom de la référence de données.

path_on_datastore
Obligatoire
str

Chemin d’accès relatif dans le stockage de sauvegarde pour la référence de données.

mode
Obligatoire
str

Opération sur la référence de données. Valeurs prises en charge « mount » (valeur par défaut) et « download ».

Utilisez le mode « download » quand votre script attend un chemin spécifique (par exemple codé en dur) pour les données d’entrée. Dans ce cas, spécifiez le chemin avec le paramètre path_on_compute quand vous déclarez DataReference. Azure Machine Learning télécharge les données spécifiées par ce chemin avant d’exécuter votre script.

Si vous utilisez le mode « mount », un répertoire temporaire est créé avec les données montées, et une variable d’environnement $AZUREML_DATAREFERENCE_<data_reference_name> est définie avec le chemin du répertoire temporaire. Si vous passez DataReference dans la liste d’arguments d’une étape de pipeline (par exemple PythonScriptStep), la référence est étendue au chemin de données local au moment de l’exécution.

path_on_compute
Obligatoire
str

Chemin sur la cible de calcul pour la référence de données.

overwrite
Obligatoire

Indique s’il est nécessaire de remplacer les données existantes.

Remarques

DataReference définit à la fois l’emplacement des données et la façon dont ces données sont utilisées sur la liaison de calcul cible (montage ou chargement). Le chemin des données dans le magasin de données peut correspondre à la racine /, à un répertoire du magasin de données ou à un fichier du magasin de données.

Méthodes

as_download

Passe l’opération de référence de données en mode « download ».

Le téléchargement de DataReference prend uniquement en charge Azure Blob et le partage de fichiers Azure. Pour télécharger des données à partir d’Azure Blob, du partage de fichiers Azure, d’Azure Data Lake Gen1 et d’Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount

Passe l’opération de référence de données en mode « mount ».

Le montage de DataReference prend uniquement en charge Azure Blob. Pour monter des données dans Azure Blob, le partage de fichiers Azure, Azure Data Lake Gen1 et Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_upload

Passe l’opération de référence de données en mode « upload ».

Pour plus d’informations sur les cibles de calcul et les magasins de données qui prennent en charge le chargement des données, consultez : https://aka.ms/datastore-matrix.

create

Crée DataReference en utilisant DataPath et DataPathComputeBinding.

path

Crée une instance de DataReference en fonction du chemin donné.

to_config

Convertit l’objet DataReference en objet DataReferenceConfiguration.

as_download

Passe l’opération de référence de données en mode « download ».

Le téléchargement de DataReference prend uniquement en charge Azure Blob et le partage de fichiers Azure. Pour télécharger des données à partir d’Azure Blob, du partage de fichiers Azure, d’Azure Data Lake Gen1 et d’Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_download(path_on_compute=None, overwrite=False)

Paramètres

Nom Description
path_on_compute
str

Chemin sur la cible de calcul pour la référence de données.

valeur par défaut: None
overwrite

Indique s’il est nécessaire de remplacer les données existantes.

valeur par défaut: False

Retours

Type Description

Nouvel objet de référence de données.

as_mount

Passe l’opération de référence de données en mode « mount ».

Le montage de DataReference prend uniquement en charge Azure Blob. Pour monter des données dans Azure Blob, le partage de fichiers Azure, Azure Data Lake Gen1 et Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount()

Retours

Type Description

Nouvel objet de référence de données.

as_upload

Passe l’opération de référence de données en mode « upload ».

Pour plus d’informations sur les cibles de calcul et les magasins de données qui prennent en charge le chargement des données, consultez : https://aka.ms/datastore-matrix.

as_upload(path_on_compute=None, overwrite=False)

Paramètres

Nom Description
path_on_compute
str

Chemin sur la cible de calcul pour la référence de données.

valeur par défaut: None
overwrite

Indique s’il est nécessaire de remplacer les données existantes.

valeur par défaut: False

Retours

Type Description

Nouvel objet de référence de données.

create

Crée DataReference en utilisant DataPath et DataPathComputeBinding.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

Paramètres

Nom Description
data_reference_name
str

Nom de la référence de données à créer.

valeur par défaut: None
datapath

[Obligatoire] Chemin de données à utiliser.

valeur par défaut: None
datapath_compute_binding

[Obligatoire] Liaison de calcul du chemin de données à utiliser.

valeur par défaut: None

Retours

Type Description

Objet DataReference.

path

Crée une instance de DataReference en fonction du chemin donné.

path(path=None, data_reference_name=None)

Paramètres

Nom Description
path
str

Chemin dans le magasin de données.

valeur par défaut: None
data_reference_name
str

Nom de la référence de données.

valeur par défaut: None

Retours

Type Description

Objet de référence de données.

to_config

Convertit l’objet DataReference en objet DataReferenceConfiguration.

to_config()

Retours

Type Description

Nouvel objet DataReferenceConfiguration.