Udostępnij za pośrednictwem


DataReference Klasa

Reprezentuje odwołanie do danych w magazynie danych.

Funkcja DataReference reprezentuje ścieżkę w magazynie danych i może służyć do opisania sposobu i miejsca udostępniania danych w przebiegu. Nie jest to już zalecane podejście do uzyskiwania dostępu do danych i dostarczania ich w usłudze Azure Machine Learning. Zestaw danych obsługuje dostęp do danych z usługi Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database i Azure Database for PostgreSQL dzięki ujednoliconemu interfejsowi z dodanymi możliwościami zarządzania danymi. Zaleca się używanie zestawu danych do odczytywania danych w projektach uczenia maszynowego.

Aby uzyskać więcej informacji na temat korzystania z zestawu danych usługi Azure ML w dwóch typowych scenariuszach, zobacz artykuły:

Konstruktor Klasy DataReference.

Dziedziczenie
builtins.object
DataReference

Konstruktor

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

Parametry

Nazwa Opis
datastore
Wymagane

Magazyn danych do odwołania.

data_reference_name
str

Nazwa odwołania do danych.

wartość domyślna: None
path_on_datastore
str

Ścieżka względna w magazynie zaplecza dla odwołania do danych.

wartość domyślna: None
mode
str

Operacja na odwołaniu do danych. Obsługiwane wartości to "mount" (wartość domyślna) i "download".

Użyj trybu pobierania, gdy skrypt oczekuje określonej ścieżki (np. zakodowanej na stałe) dla danych wejściowych. W takim przypadku określ ścieżkę z parametrem path_on_compute podczas deklarowania wartości DataReference. Usługa Azure Machine Learning pobierze dane określone przez ścieżkę przed wykonaniem skryptu.

W trybie instalacji katalog tymczasowy jest tworzony z zainstalowanymi danymi i zmienną środowiskową $AZUREML_DATAREFERENCE_<data_reference_name> jest ustawiana ze ścieżką do katalogu tymczasowego. Jeśli przekażesz element DataReference do listy argumentów dla kroku potoku (np. PythonScriptStep), odwołanie zostanie rozwinięte do lokalnej ścieżki danych w czasie wykonywania.

wartość domyślna: mount
path_on_compute
str

Ścieżka docelowa zasobów obliczeniowych dla odwołania do danych.

wartość domyślna: None
overwrite

Wskazuje, czy zastąpić istniejące dane.

wartość domyślna: False
datastore
Wymagane

Magazyn danych do odwołania.

data_reference_name
Wymagane
str

Nazwa odwołania do danych.

path_on_datastore
Wymagane
str

Ścieżka względna w magazynie zaplecza dla odwołania do danych.

mode
Wymagane
str

Operacja na odwołaniu do danych. Obsługiwane wartości "mount" (wartość domyślna) i "download".

Użyj trybu pobierania, gdy skrypt oczekuje określonej ścieżki (np. zakodowanej na stałe) dla danych wejściowych. W takim przypadku określ ścieżkę z parametrem path_on_compute podczas deklarowania wartości DataReference. Usługa Azure Machine Learning pobierze dane określone przez ścieżkę przed wykonaniem skryptu.

W trybie instalacji katalog tymczasowy jest tworzony z zainstalowanymi danymi i zmienną środowiskową $AZUREML_DATAREFERENCE_<data_reference_name> jest ustawiana ze ścieżką do katalogu tymczasowego. Jeśli przekażesz element DataReference do listy argumentów dla kroku potoku (np. PythonScriptStep), odwołanie zostanie rozwinięte do lokalnej ścieżki danych w czasie wykonywania.

path_on_compute
Wymagane
str

Ścieżka docelowa zasobów obliczeniowych dla odwołania do danych.

overwrite
Wymagane

Wskazuje, czy zastąpić istniejące dane.

Uwagi

Funkcja DataReference definiuje zarówno lokalizację danych, jak i sposób użycia danych w docelowym powiązaniu obliczeniowym (instalowanie lub przekazywanie). Ścieżka do danych w magazynie danych może być katalogiem głównym /, katalogiem w magazynie danych lub plikiem w magazynie danych.

Metody

as_download

Przełącz operację odwołania do danych, aby pobrać.

Pobieranie danychReference obsługuje tylko obiekty blob platformy Azure i udział plików platformy Azure. Aby pobrać dane z usługi Azure Blob, udział plików platformy Azure, usługę Azure Data Lake Gen1 i usługę Azure Data Lake Gen2, zalecamy użycie zestawu danych usługi Azure Machine Learning. Aby uzyskać więcej informacji na temat tworzenia i używania zestawu danych, odwiedź stronę https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount

Przełącz operację odwołania do danych, aby zainstalować.

Instalacja dataReference obsługuje tylko obiekt blob platformy Azure. Aby zainstalować dane w usłudze Azure Blob, udziale plików platformy Azure, usłudze Azure Data Lake Gen1 i usłudze Azure Data Lake Gen2, zalecamy użycie zestawu danych usługi Azure Machine Learning. Aby uzyskać więcej informacji na temat tworzenia i używania zestawu danych, odwiedź stronę https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_upload

Przełącz operację odwołania do danych w celu przekazania.

Aby uzyskać więcej informacji o tym, które obliczenia i magazyny danych obsługują przekazywanie danych, zobacz: https://aka.ms/datastore-matrix.

create

Twórca dataReference przy użyciu metod DataPath i DataPathComputeBinding.

path

Twórca wystąpienia DataReference na podstawie podanej ścieżki.

to_config

Przekonwertuj obiekt DataReference na obiekt DataReferenceConfiguration.

as_download

Przełącz operację odwołania do danych, aby pobrać.

Pobieranie danychReference obsługuje tylko obiekty blob platformy Azure i udział plików platformy Azure. Aby pobrać dane z usługi Azure Blob, udział plików platformy Azure, usługę Azure Data Lake Gen1 i usługę Azure Data Lake Gen2, zalecamy użycie zestawu danych usługi Azure Machine Learning. Aby uzyskać więcej informacji na temat tworzenia i używania zestawu danych, odwiedź stronę https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_download(path_on_compute=None, overwrite=False)

Parametry

Nazwa Opis
path_on_compute
str

Ścieżka obliczeniowa dla odwołania do danych.

wartość domyślna: None
overwrite

Wskazuje, czy zastąpić istniejące dane.

wartość domyślna: False

Zwraca

Typ Opis

Nowy obiekt odwołania do danych.

as_mount

Przełącz operację odwołania do danych, aby zainstalować.

Instalacja dataReference obsługuje tylko obiekt blob platformy Azure. Aby zainstalować dane w usłudze Azure Blob, udziale plików platformy Azure, usłudze Azure Data Lake Gen1 i usłudze Azure Data Lake Gen2, zalecamy użycie zestawu danych usługi Azure Machine Learning. Aby uzyskać więcej informacji na temat tworzenia i używania zestawu danych, odwiedź stronę https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount()

Zwraca

Typ Opis

Nowy obiekt odwołania do danych.

as_upload

Przełącz operację odwołania do danych w celu przekazania.

Aby uzyskać więcej informacji o tym, które obliczenia i magazyny danych obsługują przekazywanie danych, zobacz: https://aka.ms/datastore-matrix.

as_upload(path_on_compute=None, overwrite=False)

Parametry

Nazwa Opis
path_on_compute
str

Ścieżka obliczeniowa dla odwołania do danych.

wartość domyślna: None
overwrite

Wskazuje, czy zastąpić istniejące dane.

wartość domyślna: False

Zwraca

Typ Opis

Nowy obiekt odwołania do danych.

create

Twórca dataReference przy użyciu metod DataPath i DataPathComputeBinding.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

Parametry

Nazwa Opis
data_reference_name
str

Nazwa odwołania do danych do utworzenia.

wartość domyślna: None
datapath

[Wymagane] Ścieżka danych do użycia.

wartość domyślna: None
datapath_compute_binding

[Wymagane] Powiązanie obliczeniowe ścieżki danych do użycia.

wartość domyślna: None

Zwraca

Typ Opis

Obiekt DataReference.

path

Twórca wystąpienia DataReference na podstawie podanej ścieżki.

path(path=None, data_reference_name=None)

Parametry

Nazwa Opis
path
str

Ścieżka w magazynie danych.

wartość domyślna: None
data_reference_name
str

Nazwa odwołania do danych.

wartość domyślna: None

Zwraca

Typ Opis

Obiekt odwołania do danych.

to_config

Przekonwertuj obiekt DataReference na obiekt DataReferenceConfiguration.

to_config()

Zwraca

Typ Opis

Nowy obiekt DataReferenceConfiguration.