DataReference 類別
表示數據存放區中數據的參考。
DataReference 代表數據存放區中的路徑,可用來描述如何在執行中提供數據及位置。 它不再是在 Azure Machine Learning 中存取和傳遞數據的建議方法。 數據集 支援透過具有新增數據管理功能的整合介面,從 Azure Blob 記憶體、Azure 檔案記憶體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2、Azure SQL Database 和適用於 PostgreSQL 的 Azure 資料庫存取數據。 建議您使用數據集來讀取機器學習項目中的數據。
如需如何在兩個常見案例中使用 Azure ML 數據集的詳細資訊,請參閱文章:
類別 DataReference 建構函式。
建構函式
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)
參數
| 名稱 | Description |
|---|---|
|
datastore
必要
|
要參考的數據存放區。 |
|
data_reference_name
|
數據參考的名稱。 預設值: None
|
|
path_on_datastore
|
數據參考之備份記憶體中的相對路徑。 預設值: None
|
|
mode
|
數據參考上的作業。 支援的值為 'mount' (預設值) 和 'download'。 當您的文稿需要輸入數據的特定(例如硬式編碼)路徑時,請使用「下載」模式。
在此情況下,當您宣告 DataReference 時,請使用 參數指定路徑 使用 「掛接」模式時,會使用掛接的數據建立暫存目錄,並將環境變數 $AZUREML_DATAREFERENCE_<data_reference_name> 設定為暫存目錄的路徑。 如果您將 DataReference 傳遞給管線步驟的自變數清單(例如 PythonScriptStep),則參考將會在運行時間擴充到本機數據路徑。 預設值: mount
|
|
path_on_compute
|
數據參考之計算目標的路徑。 預設值: None
|
|
overwrite
|
指出是否要覆寫現有的數據。 預設值: False
|
|
datastore
必要
|
要參考的數據存放區。 |
|
data_reference_name
必要
|
數據參考的名稱。 |
|
path_on_datastore
必要
|
數據參考之備份記憶體中的相對路徑。 |
|
mode
必要
|
數據參考上的作業。 支援的值 'mount' (預設值) 和 'download'。 當您的文稿需要輸入數據的特定(例如硬式編碼)路徑時,請使用「下載」模式。
在此情況下,當您宣告 DataReference 時,請使用 參數指定路徑 使用 「掛接」模式時,會使用掛接的數據建立暫存目錄,並將環境變數 $AZUREML_DATAREFERENCE_<data_reference_name> 設定為暫存目錄的路徑。 如果您將 DataReference 傳遞給管線步驟的自變數清單(例如 PythonScriptStep),則參考將會在運行時間擴充到本機數據路徑。 |
|
path_on_compute
必要
|
數據參考之計算目標的路徑。 |
|
overwrite
必要
|
指出是否要覆寫現有的數據。 |
備註
DataReference 會定義數據位置,以及如何在目標計算系結上使用數據(掛接或上傳)。 數據存放區中數據的路徑可以是根 /、數據存放區內的目錄,或數據存放區中的檔案。
方法
| as_download |
切換要下載的數據參考作業。 DataReference 下載僅支援 Azure Blob 和 Azure 檔案共用。 若要從 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 下載數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請流覽 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。 |
| as_mount |
切換要掛接的數據參考作業。 DataReference 掛接僅支援 Azure Blob。 若要在 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 中掛接數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請流覽 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。 |
| as_upload |
切換要上傳的數據參考作業。 如需支援上傳數據之計算和數據存放區的詳細資訊,請參閱: https://aka.ms/datastore-matrix。 |
| create |
使用 DataPath 和 DataPathComputeBinding 建立 DataReference。 |
| path |
根據指定的路徑建立 DataReference 實例。 |
| to_config |
將 DataReference 物件轉換為 DataReferenceConfiguration 物件。 |
as_download
切換要下載的數據參考作業。
DataReference 下載僅支援 Azure Blob 和 Azure 檔案共用。 若要從 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 下載數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請流覽 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。
as_download(path_on_compute=None, overwrite=False)
參數
| 名稱 | Description |
|---|---|
|
path_on_compute
|
數據參考之計算的路徑。 預設值: None
|
|
overwrite
|
指出是否要覆寫現有的數據。 預設值: False
|
傳回
| 類型 | Description |
|---|---|
|
新的資料參考物件。 |
as_mount
切換要掛接的數據參考作業。
DataReference 掛接僅支援 Azure Blob。 若要在 Azure Blob、Azure 檔案共用、Azure Data Lake Gen1 和 Azure Data Lake Gen2 中掛接數據,建議您使用 Azure Machine Learning 數據集。 如需如何建立和使用資料集的詳細資訊,請流覽 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets。
as_mount()
傳回
| 類型 | Description |
|---|---|
|
新的資料參考物件。 |
as_upload
切換要上傳的數據參考作業。
如需支援上傳數據之計算和數據存放區的詳細資訊,請參閱: https://aka.ms/datastore-matrix。
as_upload(path_on_compute=None, overwrite=False)
參數
| 名稱 | Description |
|---|---|
|
path_on_compute
|
數據參考之計算的路徑。 預設值: None
|
|
overwrite
|
指出是否要覆寫現有的數據。 預設值: False
|
傳回
| 類型 | Description |
|---|---|
|
新的資料參考物件。 |
create
使用 DataPath 和 DataPathComputeBinding 建立 DataReference。
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)
參數
| 名稱 | Description |
|---|---|
|
data_reference_name
|
要建立的數據參考名稱。 預設值: None
|
|
datapath
|
[必要]要使用的數據路徑。 預設值: None
|
|
datapath_compute_binding
|
[必要]要使用的Datapath計算系結。 預設值: None
|
傳回
| 類型 | Description |
|---|---|
|
DataReference 物件。 |
path
根據指定的路徑建立 DataReference 實例。
path(path=None, data_reference_name=None)
參數
| 名稱 | Description |
|---|---|
|
path
|
數據存放區上的路徑。 預設值: None
|
|
data_reference_name
|
數據參考的名稱。 預設值: None
|
傳回
| 類型 | Description |
|---|---|
|
數據參考物件。 |
to_config
將 DataReference 物件轉換為 DataReferenceConfiguration 物件。
to_config()
傳回
| 類型 | Description |
|---|---|
|
新的 DataReferenceConfiguration 物件。 |