DataReference 類別

表示數據存放區中數據的參考。

DataReference 代表數據存放區中的路徑,可用來描述如何在執行中提供數據及位置。 它不再是 Azure Machine Learning 中數據存取和傳遞的建議方法。 數據集支援從 Azure Blob 記憶體、Azure 檔案儲存體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database 和 適用於 PostgreSQL 的 Azure 資料庫 存取數據透過整合介面與新增的數據管理功能。 建議您使用數據集來讀取機器學習項目中的數據。

如需如何在兩個常見案例中使用 Azure ML 數據集的詳細資訊,請參閱文章:

類別 DataReference 建構函式。

繼承
builtins.object
DataReference

建構函式

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

參數

名稱 Description
datastore
必要

要參考的資料存放區。

data_reference_name
str

數據參考的名稱。

預設值: None
path_on_datastore
str

支援儲存體中的資料參考相對路徑。

預設值: None
mode
str

數據參考上的作業。 支援的值是 『mount』 (預設) 和 'download'。

當您的文稿需要特定 (例如輸入數據的硬式編碼) 路徑時,請使用「下載」模式。 在此情況下,當您宣告 DataReference 時,請使用 path_on_compute 參數指定路徑。 Azure Machine Learning 會先下載該路徑所指定的數據,再執行腳本。

使用 「掛接」模式時,會使用掛接的數據建立暫存目錄,而環境變數 $AZUREML_DATAREFERENCE_<data_reference_name> 會設定暫存目錄的路徑。 如果您將 DataReference 傳遞給管線步驟的自變數清單 (,例如 PythonScriptStep) ,則會在運行時間將參考擴充至本機數據路徑。

預設值: mount
path_on_compute
str

數據參考之計算目標上的路徑。

預設值: None
overwrite

指出是否要覆寫現有的數據。

預設值: False
datastore
必要

要參考的資料存放區。

data_reference_name
必要
str

數據參考的名稱。

path_on_datastore
必要
str

支援儲存體中的資料參考相對路徑。

mode
必要
str

數據參考上的作業。 支援的值 'mount' (預設) 和 'download'。

當您的文稿需要特定 (例如輸入數據的硬式編碼) 路徑時,請使用「下載」模式。 在此情況下,當您宣告 DataReference 時,請使用 path_on_compute 參數指定路徑。 Azure Machine Learning 會先下載該路徑所指定的數據,再執行腳本。

使用 「掛接」模式時,會使用掛接的數據建立暫存目錄,而環境變數 $AZUREML_DATAREFERENCE_<data_reference_name> 會設定暫存目錄的路徑。 如果您將 DataReference 傳遞給管線步驟的自變數清單 (,例如 PythonScriptStep) ,則會在運行時間將參考擴充至本機數據路徑。

path_on_compute
必要
str

數據參考之計算目標上的路徑。

overwrite
必要

指出是否要覆寫現有的數據。

備註

DataReference 會定義數據位置,以及如何在目標計算系結上使用數據, (掛接或上傳) 。 數據存放區中數據的路徑可以是根 /、數據存放區內的目錄,或數據存放區中的檔案。

方法

as_download

切換要下載的數據參考作業。

DataReference 下載僅支援 Azure Blob 和 Azure 檔案共用。 若要從 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 下載數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets

as_mount

切換要掛接的數據參考作業。

DataReference 掛接僅支援 Azure Blob。 若要在 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 中掛接數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets

as_upload

切換要上傳的數據參考作業。

如需哪些計算和數據存放區支援上傳數據的詳細資訊,請參閱: https://aka.ms/datastore-matrix

create

使用 DataPath 和 DataPathComputeBinding Create DataReference。

path

Create 以指定路徑為基礎的 DataReference 實例。

to_config

將 DataReference 物件轉換為 DataReferenceConfiguration 物件。

as_download

切換要下載的數據參考作業。

DataReference 下載僅支援 Azure Blob 和 Azure 檔案共用。 若要從 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 下載數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets

as_download(path_on_compute=None, overwrite=False)

參數

名稱 Description
path_on_compute
str

數據參考之計算的路徑。

預設值: None
overwrite

指出是否要覆寫現有的數據。

預設值: False

傳回

類型 Description

新的資料參考物件。

as_mount

切換要掛接的數據參考作業。

DataReference 掛接僅支援 Azure Blob。 若要在 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 中掛接數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請造訪 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets

as_mount()

傳回

類型 Description

新的資料參考物件。

as_upload

切換要上傳的數據參考作業。

如需哪些計算和數據存放區支援上傳數據的詳細資訊,請參閱: https://aka.ms/datastore-matrix

as_upload(path_on_compute=None, overwrite=False)

參數

名稱 Description
path_on_compute
str

數據參考之計算的路徑。

預設值: None
overwrite

指出是否要覆寫現有的數據。

預設值: False

傳回

類型 Description

新的資料參考物件。

create

使用 DataPath 和 DataPathComputeBinding Create DataReference。

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

參數

名稱 Description
data_reference_name
str

要建立的數據參考名稱。

預設值: None
datapath

[必要]要使用的數據路徑。

預設值: None
datapath_compute_binding

[必要]要使用的 datapath 計算系結。

預設值: None

傳回

類型 Description

DataReference 物件。

path

Create 以指定路徑為基礎的 DataReference 實例。

path(path=None, data_reference_name=None)

參數

名稱 Description
path
str

數據存放區上的路徑。

預設值: None
data_reference_name
str

數據參考的名稱。

預設值: None

傳回

類型 Description

數據參考物件。

to_config

將 DataReference 物件轉換為 DataReferenceConfiguration 物件。

to_config()

傳回

類型 Description

新的 DataReferenceConfiguration 物件。