DataReference Klasse
Stellt einen Verweis auf Daten in einem Datenspeicher dar.
Eine DataReference-Klasse stellt einen Pfad in einem Datenspeicher dar und kann verwendet werden, um zu beschreiben, wie und wo Daten in einer Ausführung verfügbar gemacht werden sollen. Hierbei handelt es sich nicht mehr um den empfohlenen Ansatz für den Datenzugriff und die Datenbereitstellung in Azure Machine Learning. Das Dataset unterstützt das Zugreifen auf Daten aus Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL-Datenbank und Azure Database for PostgreSQL über eine einheitliche Schnittstelle mit zusätzlichen Datenverwaltungsfunktionen. Es wird empfohlen, das Dataset zum Lesen von Daten in Ihren Machine Learning-Projekten zu verwenden.
Weitere Informationen zur Verwendung des Azure ML-Datasets in zwei gängigen Szenarios finden Sie in den folgenden Artikeln:
- Erstellen und Ausführen von Machine Learning-Pipelines mit dem Azure Machine Learning SDK
- Erstellen von Kalkulatoren im Training
DataReference-Konstruktor der Klasse.
- Vererbung
-
builtins.objectDataReference
Konstruktor
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Parameter
- datastore
- Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Der Datenspeicher, auf den verwiesen wird.
- path_on_datastore
- str
Der relative Pfad im Sicherungsspeicher für den Datenverweis.
- mode
- str
Der Vorgang für den Datenverweis. Unterstützte Werte sind 'mount' (Standard) und 'download'.
Verwenden Sie den Modus 'download', wenn Ihr Skript einen bestimmten (z. B. hartcodierten) Pfad für die Eingabedaten erwartet.
Geben Sie in diesem Fall den Pfad mit dem Parameter path_on_compute an, wenn Sie „DataReference“ deklarieren.
Azure Machine Learning lädt die Daten herunter, die vor der Ausführung Ihres Skripts von diesem Pfad angegeben werden.
Beim Modus 'mount' wird ein temporäres Verzeichnis mit den bereitgestellten Daten erstellt, und die Umgebungsvariable $AZUREML_DATAREFERENCE_<data_reference_name> wird mit dem Pfad zum temporären Verzeichnis festgelegt. Wenn Sie „DataReference“ für einen Pipelineschritt (z. B. „PythonScriptStep“) an die Argumentliste übergeben, wird der Verweis zur Laufzeit auf den lokalen Datenpfad erweitert.
- datastore
- Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]
Der Datenspeicher, auf den verwiesen wird.
- mode
- str
Der Vorgang für den Datenverweis. Unterstützte Werte "mount" (Standard) und "download".
Verwenden Sie den Modus 'download', wenn Ihr Skript einen bestimmten (z. B. hartcodierten) Pfad für die Eingabedaten erwartet.
Geben Sie in diesem Fall den Pfad mit dem Parameter path_on_compute an, wenn Sie „DataReference“ deklarieren.
Azure Machine Learning lädt die Daten herunter, die vor der Ausführung Ihres Skripts von diesem Pfad angegeben werden.
Beim Modus 'mount' wird ein temporäres Verzeichnis mit den bereitgestellten Daten erstellt, und die Umgebungsvariable $AZUREML_DATAREFERENCE_<data_reference_name> wird mit dem Pfad zum temporären Verzeichnis festgelegt. Wenn Sie „DataReference“ für einen Pipelineschritt (z. B. „PythonScriptStep“) an die Argumentliste übergeben, wird der Verweis zur Laufzeit auf den lokalen Datenpfad erweitert.
Hinweise
„DataReference“ definiert sowohl den Datenspeicherort als auch die Verwendung der Daten für die Zielcomputebindung ('mount' oder 'upload'). Der Pfad zu den Daten im Datenspeicher kann das Stammverzeichnis, ein Verzeichnis innerhalb des Datenspeichers oder eine Datei im Datenspeicher sein.
Methoden
| as_download |
Ändern Sie den Datenverweisvorgang in 'download'. Der DataReference-Modus 'download' unterstützt nur Azure Blob Storage und Azure-Dateifreigaben. Zum Herunterladen von Daten aus Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Ändern Sie den Datenverweisvorgang in 'mount'. Der DataReference-Modus 'mount' unterstützt nur Azure Blob Storage. Zum Einbinden von Daten in Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Ändern Sie den Datenverweisvorgang in 'upload'. Weitere Informationen dazu, welche Compute- und Datenspeicher das Hochladen der Daten unterstützen, finden Sie unter https://aka.ms/datastore-matrix. |
| create |
Erstellen Sie eine DataReference-Klasse mit „DataPath“ und „DataPathComputeBinding“. |
| path |
Erstellen Sie eine DataReference-Instanz basierend auf dem angegebenen Pfad. |
| to_config |
Konvertieren Sie das DataReference-Objekt in das DataReferenceConfiguration-Objekt. |
as_download
Ändern Sie den Datenverweisvorgang in 'download'.
Der DataReference-Modus 'download' unterstützt nur Azure Blob Storage und Azure-Dateifreigaben. Zum Herunterladen von Daten aus Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Parameter
Gibt zurück
Ein neues Datenverweisobjekt.
Rückgabetyp
as_mount
Ändern Sie den Datenverweisvorgang in 'mount'.
Der DataReference-Modus 'mount' unterstützt nur Azure Blob Storage. Zum Einbinden von Daten in Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Gibt zurück
Ein neues Datenverweisobjekt.
Rückgabetyp
as_upload
Ändern Sie den Datenverweisvorgang in 'upload'.
Weitere Informationen dazu, welche Compute- und Datenspeicher das Hochladen der Daten unterstützen, finden Sie unter https://aka.ms/datastore-matrix.
as_upload(path_on_compute=None, overwrite=False)Parameter
Gibt zurück
Ein neues Datenverweisobjekt.
Rückgabetyp
create
Erstellen Sie eine DataReference-Klasse mit „DataPath“ und „DataPathComputeBinding“.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Parameter
- datapath_compute_binding
- DataPathComputeBinding
[Erforderlich] Die zu verwendende Computebindung für den Datenpfad.
Gibt zurück
Ein DataReference-Objekt.
Rückgabetyp
path
Erstellen Sie eine DataReference-Instanz basierend auf dem angegebenen Pfad.
path(path=None, data_reference_name=None)Parameter
Gibt zurück
Das Datenverweisobjekt.
Rückgabetyp
to_config
Konvertieren Sie das DataReference-Objekt in das DataReferenceConfiguration-Objekt.
to_config()Gibt zurück
Ein neues DataReferenceConfiguration-Objekt.
Rückgabetyp
Feedback
Bald verfügbar: Im Laufe des Jahres 2024 werden wir GitHub-Issues stufenweise als Feedbackmechanismus für Inhalte abbauen und durch ein neues Feedbacksystem ersetzen. Weitere Informationen finden Sie unter https://aka.ms/ContentUserFeedback.
Feedback senden und anzeigen für