DataReference Classe

Représente une référence aux données dans un magasin de données.

Un élément DataReference représente un chemin d’accès dans un magasin de données et peut être utilisé pour décrire comment et où les données doivent être mises à disposition dans une exécution. Ce n’est plus l’approche recommandée pour l’accès aux données et leur livraison dans Azure Machine Learning. L’élément Dataset prend en charge l’accès aux données à partir du stockage Blob Azure, d’Azure Files, d’Azure Data Lake Storage Gen1, d’Azure Data Lake Storage Gen2, d’Azure SQL Database et d’Azure Database pour PostgreSQL via une interface unifiée avec des fonctionnalités de gestion de données supplémentaires. Il est recommandé d’utiliser le jeu de données pour lire les données dans vos projets Machine Learning.

Pour plus d’informations sur l’utilisation du jeu de données Azure ML dans deux scénarios courants, consultez les articles suivants :

• Créer et exécuter des pipelines Machine Learning
• Créer des estimateurs dans l’entraînement

Constructeur DataReference de classe.

Héritage

builtins.object

DataReference

Constructeur

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

Paramètres

Nom	Description
datastore Obligatoire	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] Magasin de banques à référencer.
data_reference_name	str Nom de la référence de données. Valeur par défaut: None
path_on_datastore	str Chemin d’accès relatif dans le stockage de sauvegarde pour la référence de données. Valeur par défaut: None
mode	str Opération sur la référence de données. Les valeurs prises en charge sont « mount » (valeur par défaut) et « download ». Utilisez le mode « download » quand votre script attend un chemin spécifique (par exemple codé en dur) pour les données d’entrée. Dans ce cas, spécifiez le chemin avec le paramètre path_on_compute quand vous déclarez DataReference. Azure Machine Learning télécharge les données spécifiées par ce chemin avant d’exécuter votre script. Si vous utilisez le mode « mount », un répertoire temporaire est créé avec les données montées, et une variable d’environnement $AZUREML_DATAREFERENCE_<data_reference_name> est définie avec le chemin du répertoire temporaire. Si vous passez DataReference dans la liste d’arguments d’une étape de pipeline (par exemple PythonScriptStep), la référence est étendue au chemin de données local au moment de l’exécution. Valeur par défaut: mount
path_on_compute	str Chemin sur la cible de calcul pour la référence de données. Valeur par défaut: None
overwrite	bool Indique si les données existantes doivent être remplacées. Valeur par défaut: False
datastore Obligatoire	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] Magasin de banques à référencer.
data_reference_name Obligatoire	str Nom de la référence de données.
path_on_datastore Obligatoire	str Chemin d’accès relatif dans le stockage de sauvegarde pour la référence de données.
mode Obligatoire	str Opération sur la référence de données. Valeurs prises en charge « mount » (valeur par défaut) et « download ». Utilisez le mode « download » quand votre script attend un chemin spécifique (par exemple codé en dur) pour les données d’entrée. Dans ce cas, spécifiez le chemin avec le paramètre path_on_compute quand vous déclarez DataReference. Azure Machine Learning télécharge les données spécifiées par ce chemin avant d’exécuter votre script. Si vous utilisez le mode « mount », un répertoire temporaire est créé avec les données montées, et une variable d’environnement $AZUREML_DATAREFERENCE_<data_reference_name> est définie avec le chemin du répertoire temporaire. Si vous passez DataReference dans la liste d’arguments d’une étape de pipeline (par exemple PythonScriptStep), la référence est étendue au chemin de données local au moment de l’exécution.
path_on_compute Obligatoire	str Chemin sur la cible de calcul pour la référence de données.
overwrite Obligatoire	bool Indique s’il est nécessaire de remplacer les données existantes.

Remarques

DataReference définit à la fois l’emplacement des données et la façon dont ces données sont utilisées sur la liaison de calcul cible (montage ou chargement). Le chemin des données dans le magasin de données peut correspondre à la racine /, à un répertoire du magasin de données ou à un fichier du magasin de données.

Méthodes

as_download	Passe l’opération de référence de données en mode « download ». Le téléchargement de DataReference prend uniquement en charge Azure Blob et le partage de fichiers Azure. Pour télécharger des données à partir d’Azure Blob, du partage de fichiers Azure, d’Azure Data Lake Gen1 et d’Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount	Passe l’opération de référence de données en mode « mount ». Le montage de DataReference prend uniquement en charge Azure Blob. Pour monter des données dans Azure Blob, le partage de fichiers Azure, Azure Data Lake Gen1 et Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_upload	Passe l’opération de référence de données en mode « upload ». Pour plus d’informations sur les cibles de calcul et les magasins de données qui prennent en charge le chargement des données, consultez : https://aka.ms/datastore-matrix.
create	Crée DataReference en utilisant DataPath et DataPathComputeBinding.
path	Crée une instance de DataReference en fonction du chemin donné.
to_config	Convertit l’objet DataReference en objet DataReferenceConfiguration.

as_download

Passe l’opération de référence de données en mode « download ».

Le téléchargement de DataReference prend uniquement en charge Azure Blob et le partage de fichiers Azure. Pour télécharger des données à partir d’Azure Blob, du partage de fichiers Azure, d’Azure Data Lake Gen1 et d’Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_download(path_on_compute=None, overwrite=False)

Paramètres

Nom	Description
path_on_compute	str Chemin sur la cible de calcul pour la référence de données. Valeur par défaut: None
overwrite	bool Indique s’il est nécessaire de remplacer les données existantes. Valeur par défaut: False

Retours

Type	Description
DataReference	Nouvel objet de référence de données.

as_mount

Passe l’opération de référence de données en mode « mount ».

Le montage de DataReference prend uniquement en charge Azure Blob. Pour monter des données dans Azure Blob, le partage de fichiers Azure, Azure Data Lake Gen1 et Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation d’un jeu de données, accédez à https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount()

Retours

Type	Description
DataReference	Nouvel objet de référence de données.

as_upload

Passe l’opération de référence de données en mode « upload ».

Pour plus d’informations sur les cibles de calcul et les magasins de données qui prennent en charge le chargement des données, consultez : https://aka.ms/datastore-matrix.

as_upload(path_on_compute=None, overwrite=False)

Paramètres

Nom	Description
path_on_compute	str Chemin sur la cible de calcul pour la référence de données. Valeur par défaut: None
overwrite	bool Indique s’il est nécessaire de remplacer les données existantes. Valeur par défaut: False

Retours

Type	Description
DataReference	Nouvel objet de référence de données.

create

Crée DataReference en utilisant DataPath et DataPathComputeBinding.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

Paramètres

Nom	Description
data_reference_name	str Nom de la référence de données à créer. Valeur par défaut: None
datapath	DataPath [Obligatoire] Chemin de données à utiliser. Valeur par défaut: None
datapath_compute_binding	DataPathComputeBinding [Obligatoire] Liaison de calcul du chemin de données à utiliser. Valeur par défaut: None

Retours

Type	Description
DataReference	Objet DataReference.

path

Crée une instance de DataReference en fonction du chemin donné.

path(path=None, data_reference_name=None)

Paramètres

Nom	Description
path	str Chemin dans le magasin de données. Valeur par défaut: None
data_reference_name	str Nom de la référence de données. Valeur par défaut: None

Retours

Type	Description
DataReference	Objet de référence de données.

to_config

Convertit l’objet DataReference en objet DataReferenceConfiguration.

to_config()

Retours

Type	Description
DataReferenceConfiguration	Nouvel objet DataReferenceConfiguration.