Share via

DataReference Classe

  • Riferimento

Rappresenta un riferimento ai dati in un archivio dati.

DataReference rappresenta un percorso in un archivio dati e può essere usato per descrivere come e dove rendere disponibili i dati in un'esecuzione. Non è più l'approccio consigliato per l'accesso ai dati e il recapito in Azure Machine Learning. Il set di dati supporta l'accesso ai dati da archiviazione BLOB di Azure, File di Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, database Azure SQL e Database di Azure per PostgreSQL tramite un'interfaccia unificata con funzionalità di gestione dei dati aggiunte. È consigliabile usare il set di dati per la lettura dei dati nei progetti di Machine Learning.

Per altre informazioni su come usare il set di dati di Azure ML in due scenari comuni, vedere gli articoli:

Costruttore Class DataReference.

Ereditarietà
builtins.object
DataReference

Costruttore

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

Parametri

Nome Descrizione
datastore
Necessario
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Archivio dati a cui fare riferimento.
data_reference_name
str

Nome del riferimento ai dati.

valore predefinito: None
path_on_datastore
str

Percorso relativo nell'archivio di backup per il riferimento ai dati.

valore predefinito: None
mode
str

Operazione sul riferimento ai dati. I valori supportati sono 'mount' (impostazione predefinita) e 'download'.

Usare la modalità di download quando lo script prevede un percorso specifico (ad esempio hardcoded) per i dati di input. In questo caso, specificare il percorso con il path_on_compute parametro quando si dichiara DataReference. Azure Machine Learning scaricherà i dati specificati da tale percorso prima di eseguire lo script.

Con la modalità "mount", viene creata una directory temporanea con i dati montati e una variabile di ambiente $AZUREML_DATAREFERENCE_<data_reference_name> viene impostata con il percorso della directory temporanea. Se si passa un oggetto DataReference nell'elenco di argomenti per un passaggio della pipeline ,ad esempio PythonScriptStep, il riferimento verrà espanso nel percorso dati locale in fase di esecuzione.

valore predefinito: mount
path_on_compute
str

Percorso nella destinazione di calcolo per il riferimento ai dati.

valore predefinito: None
overwrite
bool

Indica se sovrascrivere i dati esistenti.

valore predefinito: False
datastore
Necessario
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Archivio dati a cui fare riferimento.
data_reference_name
Necessario
str

Nome del riferimento ai dati.
path_on_datastore
Necessario
str

Percorso relativo nell'archivio di backup per il riferimento ai dati.
mode
Necessario
str

Operazione sul riferimento ai dati. Valori supportati 'mount' (impostazione predefinita) e 'download'.

Usare la modalità di download quando lo script prevede un percorso specifico (ad esempio hardcoded) per i dati di input. In questo caso, specificare il percorso con il path_on_compute parametro quando si dichiara DataReference. Azure Machine Learning scaricherà i dati specificati da tale percorso prima di eseguire lo script.

Con la modalità "mount", viene creata una directory temporanea con i dati montati e una variabile di ambiente $AZUREML_DATAREFERENCE_<data_reference_name> viene impostata con il percorso della directory temporanea. Se si passa un oggetto DataReference nell'elenco di argomenti per un passaggio della pipeline ,ad esempio PythonScriptStep, il riferimento verrà espanso nel percorso dati locale in fase di esecuzione.
path_on_compute
Necessario
str

Percorso nella destinazione di calcolo per il riferimento ai dati.
overwrite
Necessario
bool

Indica se sovrascrivere i dati esistenti.

Commenti

DataReference definisce sia la posizione dei dati che la modalità di utilizzo dei dati nell'associazione di calcolo di destinazione (montaggio o caricamento). Il percorso dei dati nell'archivio dati può essere la radice /, una directory all'interno dell'archivio dati o un file nell'archivio dati.

Metodi

as_download

Cambiare l'operazione di riferimento ai dati da scaricare.

Il download di DataReference supporta solo BLOB di Azure e Condivisione file di Azure. Per scaricare dati da BLOB di Azure, condivisione file di Azure, Azure Data Lake Gen1 e Azure Data Lake Gen2, è consigliabile usare il set di dati di Azure Machine Learning. Per altre informazioni su come creare e usare il set di dati, visitare https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount

Cambiare l'operazione di riferimento ai dati da montare.

Il montaggio DataReference supporta solo BLOB di Azure. Per montare i dati nel BLOB di Azure, nella condivisione file di Azure, in Azure Data Lake Gen1 e in Azure Data Lake Gen2, è consigliabile usare il set di dati di Azure Machine Learning. Per altre informazioni su come creare e usare il set di dati, visitare https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_upload

Cambiare l'operazione di riferimento ai dati da caricare.

Per altre informazioni sui calcoli e gli archivi dati che supportano il caricamento dei dati, vedere: https://aka.ms/datastore-matrix.
create

Create un oggetto DataReference tramite DataPath e DataPathComputeBinding.
path

Create un'istanza di DataReference in base al percorso specificato.
to_config

Convertire l'oggetto DataReference in oggetto DataReferenceConfiguration.

as_download

Cambiare l'operazione di riferimento ai dati da scaricare.

Il download di DataReference supporta solo BLOB di Azure e Condivisione file di Azure. Per scaricare dati da BLOB di Azure, condivisione file di Azure, Azure Data Lake Gen1 e Azure Data Lake Gen2, è consigliabile usare il set di dati di Azure Machine Learning. Per altre informazioni su come creare e usare il set di dati, visitare https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_download(path_on_compute=None, overwrite=False)

Parametri

Nome Descrizione
path_on_compute
str

Percorso nel calcolo per il riferimento ai dati.

valore predefinito: None
overwrite
bool

Indica se sovrascrivere i dati esistenti.

valore predefinito: False

Restituisce

Tipo Descrizione
DataReference

Nuovo oggetto riferimento dati.

as_mount

Cambiare l'operazione di riferimento ai dati da montare.

Il montaggio DataReference supporta solo BLOB di Azure. Per montare i dati nel BLOB di Azure, nella condivisione file di Azure, in Azure Data Lake Gen1 e in Azure Data Lake Gen2, è consigliabile usare il set di dati di Azure Machine Learning. Per altre informazioni su come creare e usare il set di dati, visitare https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount()

Restituisce

Tipo Descrizione
DataReference

Nuovo oggetto riferimento dati.

as_upload

Cambiare l'operazione di riferimento ai dati da caricare.

Per altre informazioni sui calcoli e gli archivi dati che supportano il caricamento dei dati, vedere: https://aka.ms/datastore-matrix.

as_upload(path_on_compute=None, overwrite=False)

Parametri

Nome Descrizione
path_on_compute
str

Percorso nel calcolo per il riferimento ai dati.

valore predefinito: None
overwrite
bool

Indica se sovrascrivere i dati esistenti.

valore predefinito: False

Restituisce

Tipo Descrizione
DataReference

Nuovo oggetto riferimento dati.

create

Create un oggetto DataReference tramite DataPath e DataPathComputeBinding.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

Parametri

Nome Descrizione
data_reference_name
str

Nome del riferimento ai dati da creare.

valore predefinito: None
datapath
DataPath

[Obbligatorio] Percorso dati da utilizzare.

valore predefinito: None
datapath_compute_binding
DataPathComputeBinding

[Obbligatorio] Associazione di calcolo del percorso dati da usare.

valore predefinito: None

Restituisce

Tipo Descrizione
DataReference

Oggetto DataReference.

path

Create un'istanza di DataReference in base al percorso specificato.

path(path=None, data_reference_name=None)

Parametri

Nome Descrizione
path
str

Percorso nell'archivio dati.

valore predefinito: None
data_reference_name
str

Nome del riferimento ai dati.

valore predefinito: None

Restituisce

Tipo Descrizione
DataReference

Oggetto di riferimento dati.

to_config

Convertire l'oggetto DataReference in oggetto DataReferenceConfiguration.

to_config()

Restituisce

Tipo Descrizione
DataReferenceConfiguration

Nuovo oggetto DataReferenceConfiguration.