DataReference Klas

  • Referentie

Vertegenwoordigt een verwijzing naar gegevens in een gegevensarchief.

Een DataReference vertegenwoordigt een pad in een gegevensarchief en kan worden gebruikt om te beschrijven hoe en waar gegevens beschikbaar moeten worden gesteld in een uitvoering. Het is niet langer de aanbevolen methode voor gegevenstoegang en -levering in Azure Machine Learning. Gegevensset biedt ondersteuning voor toegang tot gegevens uit Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database en Azure Database for PostgreSQL via een geïntegreerde interface met extra mogelijkheden voor gegevensbeheer. Het wordt aanbevolen om de gegevensset te gebruiken voor het lezen van gegevens in uw machine learning-projecten.

Zie de artikelen voor meer informatie over het gebruik van Azure ML-gegevenssets in twee veelvoorkomende scenario's:

Constructor Class DataReference.

Overname
builtins.object
DataReference

Constructor

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

Parameters

datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Vereist

Het gegevensarchief waarnaar moet worden verwezen.

data_reference_name
str
standaardwaarde: None

De naam van de gegevensreferentie.

path_on_datastore
str
standaardwaarde: None

Het relatieve pad in de back-upopslag voor de gegevensverwijzing.

mode
str
standaardwaarde: mount

De bewerking op de gegevensreferentie. Ondersteunde waarden zijn 'koppelen' (de standaardinstelling) en 'downloaden'.

Gebruik de 'downloadmodus' wanneer uw script een specifiek (bijvoorbeeld in code vastgelegd) pad verwacht voor de invoergegevens. Geef in dit geval het pad op met de path_on_compute parameter wanneer u de DataReference declareert. Azure Machine Learning downloadt de gegevens die door dat pad zijn opgegeven voordat het script wordt uitgevoerd.

Met de koppelingsmodus wordt een tijdelijke map gemaakt met de gekoppelde gegevens en wordt een omgevingsvariabele $AZUREML_DATAREFERENCE_<data_reference_name> ingesteld met het pad naar de tijdelijke map. Als u een DataReference doorgeeft aan de lijst met argumenten voor een pijplijnstap (bijvoorbeeld PythonScriptStep), wordt de verwijzing tijdens runtime uitgebreid naar het lokale gegevenspad.

path_on_compute
str
standaardwaarde: None

Het pad op het rekendoel voor de gegevensreferentie.

overwrite
bool
standaardwaarde: False

Geeft aan of bestaande gegevens moeten worden overschreven.

datastore
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Vereist

Het gegevensarchief waarnaar moet worden verwezen.

data_reference_name
str
Vereist

De naam van de gegevensreferentie.

path_on_datastore
str
Vereist

Het relatieve pad in de back-upopslag voor de gegevensverwijzing.

mode
str
Vereist

De bewerking op de gegevensreferentie. Ondersteunde waarden 'koppelen' (de standaardinstelling) en 'downloaden'.

Gebruik de 'downloadmodus' wanneer uw script een specifiek (bijvoorbeeld in code vastgelegd) pad verwacht voor de invoergegevens. Geef in dit geval het pad op met de path_on_compute parameter wanneer u de DataReference declareert. Azure Machine Learning downloadt de gegevens die door dat pad zijn opgegeven voordat het script wordt uitgevoerd.

Met de koppelingsmodus wordt een tijdelijke map gemaakt met de gekoppelde gegevens en wordt een omgevingsvariabele $AZUREML_DATAREFERENCE_<data_reference_name> ingesteld met het pad naar de tijdelijke map. Als u een DataReference doorgeeft aan de lijst met argumenten voor een pijplijnstap (bijvoorbeeld PythonScriptStep), wordt de verwijzing tijdens runtime uitgebreid naar het lokale gegevenspad.

path_on_compute
str
Vereist

Het pad op het rekendoel voor de gegevensreferentie.

overwrite
bool
Vereist

Geeft aan of bestaande gegevens moeten worden overschreven.

Opmerkingen

Een DataReference definieert zowel de gegevenslocatie als hoe de gegevens worden gebruikt op de doelberekeningsbinding (koppelen of uploaden). Het pad naar de gegevens in het gegevensarchief kan de hoofdmap /, een map in het gegevensarchief of een bestand in het gegevensarchief zijn.

Methoden

as_download

Gegevensreferentiebewerking overschakelen om te downloaden.

Het downloaden van DataReference ondersteunt alleen Azure Blob en Azure-bestandsshare. Als u gegevens wilt downloaden van Azure Blob, Azure File Share, Azure Data Lake Gen1 en Azure Data Lake Gen2, raden we u aan azure Machine Learning Dataset te gebruiken. Ga naar https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsvoor meer informatie over het maken en gebruiken van een gegevensset.
as_mount

Schakel de gegevensreferentiebewerking om te koppelen.

DataReference-koppeling ondersteunt alleen Azure Blob. Als u gegevens wilt koppelen in Azure Blob, Azure File Share, Azure Data Lake Gen1 en Azure Data Lake Gen2, wordt u aangeraden Azure Machine Learning Dataset te gebruiken. Ga naar https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsvoor meer informatie over het maken en gebruiken van een gegevensset.
as_upload

Gegevensreferentiebewerking overschakelen om te uploaden.

Zie voor meer informatie over welke berekeningen en gegevensarchieven ondersteuning bieden voor het uploaden van de gegevens: https://aka.ms/datastore-matrix.
create

Maak een DataReference met behulp van DataPath en DataPathComputeBinding.
path

Maak een DataReference-exemplaar op basis van het opgegeven pad.
to_config

Converteer het Object DataReference naar het object DataReferenceConfiguration.

as_download

Gegevensreferentiebewerking overschakelen om te downloaden.

Het downloaden van DataReference ondersteunt alleen Azure Blob en Azure-bestandsshare. Als u gegevens wilt downloaden van Azure Blob, Azure File Share, Azure Data Lake Gen1 en Azure Data Lake Gen2, raden we u aan azure Machine Learning Dataset te gebruiken. Ga naar https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsvoor meer informatie over het maken en gebruiken van een gegevensset.

as_download(path_on_compute=None, overwrite=False)

Parameters

path_on_compute
str
standaardwaarde: None

Het pad op de berekening voor de gegevensreferentie.

overwrite
bool
standaardwaarde: False

Geeft aan of bestaande gegevens moeten worden overschreven.

Retouren

Een nieuw gegevensverwijzingsobject.

Retourtype

DataReference

as_mount

Schakel de gegevensreferentiebewerking om te koppelen.

DataReference-koppeling ondersteunt alleen Azure Blob. Als u gegevens wilt koppelen in Azure Blob, Azure File Share, Azure Data Lake Gen1 en Azure Data Lake Gen2, wordt u aangeraden Azure Machine Learning Dataset te gebruiken. Ga naar https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasetsvoor meer informatie over het maken en gebruiken van een gegevensset.

as_mount()

Retouren

Een nieuw gegevensverwijzingsobject.

Retourtype

DataReference

as_upload

Gegevensreferentiebewerking overschakelen om te uploaden.

Zie voor meer informatie over welke berekeningen en gegevensarchieven ondersteuning bieden voor het uploaden van de gegevens: https://aka.ms/datastore-matrix.

as_upload(path_on_compute=None, overwrite=False)

Parameters

path_on_compute
str
standaardwaarde: None

Het pad op de berekening voor de gegevensreferentie.

overwrite
bool
standaardwaarde: False

Geeft aan of bestaande gegevens moeten worden overschreven.

Retouren

Een nieuw gegevensverwijzingsobject.

Retourtype

DataReference

create

Maak een DataReference met behulp van DataPath en DataPathComputeBinding.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

Parameters

data_reference_name
str
standaardwaarde: None

De naam voor de gegevensreferentie die moet worden gemaakt.

datapath
DataPath
standaardwaarde: None

[Vereist] Het gegevenspad dat moet worden gebruikt.

datapath_compute_binding
DataPathComputeBinding
standaardwaarde: None

[Vereist] De datapath-rekenbinding die moet worden gebruikt.

Retouren

Een DataReference-object.

Retourtype

DataReference

path

Maak een DataReference-exemplaar op basis van het opgegeven pad.

path(path=None, data_reference_name=None)

Parameters

path
str
standaardwaarde: None

Het pad in het gegevensarchief.

data_reference_name
str
standaardwaarde: None

De naam van de gegevensreferentie.

Retouren

Het gegevensverwijzingsobject.

Retourtype

DataReference

to_config

Converteer het Object DataReference naar het object DataReferenceConfiguration.

to_config()

Retouren

Een nieuw DataReferenceConfiguration-object.

Retourtype

DataReferenceConfiguration