az ml data
注意
此參考是 Azure CLI 的 ml 延伸模組的一部分(2.15.0 版或更高版本)。 擴充功能會在您第一次執行 az ml data 命令時自動安裝。 深入了解擴充功能。
管理 Azure ML 數據資產。
Azure ML 數據資產是記憶體服務或公用 URL 中檔案的參考,以及任何對應的元數據。 它們不是數據的複本。 您可以使用這些數據資產,在模型定型和掛接期間存取相關數據,或將參考的數據下載到計算目標。
命令
名稱 | Description | 類型 | 狀態 |
---|---|---|---|
az ml data archive |
封存數據資產。 |
副檔名 | GA |
az ml data create |
在工作區/登錄中建立數據資產。 如果您使用登錄,請將 取代 |
副檔名 | GA |
az ml data import |
匯入數據並建立數據資產。 |
副檔名 | 預覽 |
az ml data list |
列出工作區/登錄中的數據資產。 如果您使用登錄,請將 取代 |
副檔名 | GA |
az ml data list-materialization-status |
顯示建立數據資產版本之數據匯入具體化作業清單的狀態。 |
副檔名 | 預覽 |
az ml data mount |
將特定數據資產掛接至本機路徑。 目前僅支援Linux。 |
副檔名 | 預覽 |
az ml data restore |
還原封存的數據資產。 |
副檔名 | GA |
az ml data share |
從工作區共用特定數據資產到登錄。 |
副檔名 | 預覽 |
az ml data show |
顯示工作區/登錄中數據資產的詳細數據。 如果您使用登錄,請將 取代 |
副檔名 | GA |
az ml data update |
更新數據資產。 |
副檔名 | GA |
az ml data archive
封存數據資產。
封存數據資產預設會隱藏清單查詢 (az ml data list
)。 您仍然可以繼續在工作流程中參考和使用封存的數據資產。 您可以封存資料資產容器或特定資料資產版本。 封存數據資產容器會將該指定名稱下的所有數據資產版本封存。 您可以使用 還原封存的數據資產 az ml data restore
。 如果封存整個數據資產容器,則您無法還原個別的數據資產版本 - 您必須還原數據資產容器。
az ml data archive --name
[--label]
[--resource-group]
[--version]
[--workspace-name]
範例
封存資料資產容器(封存該資料資產的所有版本)
az ml data archive --name my-env --resource-group my-resource-group --workspace-name my-workspace
封存特定數據資產版本
az ml data archive --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace
必要參數
數據資產的名稱。
選擇性參數
數據資產的標籤。 與版本互斥。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
數據資產的版本。 與標籤互斥。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data create
在工作區/登錄中建立數據資產。 如果您使用登錄,請將 取代 --workspace-name my-workspace
為 --registry-name <registry-name>
選項。
您可以從本機電腦上的檔案或雲端記憶體中的檔案參考來定義數據資產。 建立的數據資產將會在工作區/登錄的指定名稱和版本下追蹤。
若要在本機計算機上從檔案建立數據資產,請在 YAML 組態中指定 [路徑] 字段。Azure ML 會將這些檔案上傳至 Blob 容器,以備份工作區的預設數據存放區(名為 'workspaceblobstore')。 建立的數據資產接著會指向該上傳的數據。
若要在雲端記憶體中建立參考檔案的數據資產,請在 YAML 組態的記憶體中指定檔案的「路徑」。
您也可以直接從記憶體 URL 或公用 URL 建立數據資產。 若要這樣做,請在 YAML 設定中指定 [路徑] 字段的 URL。如果您使用登錄,請將 取代 --workspace-name my-workspace
為 --registry-name <my-registry-name>
選項。
az ml data create [--datastore]
[--description]
[--file]
[--name]
[--no-wait]
[--path]
[--registry-name]
[--resource-group]
[--set]
[--skip-validation]
[--type {mltable, uri_file, uri_folder}]
[--version]
[--workspace-name]
範例
從工作區中的 YAML 規格檔案建立數據資產
az ml data create --file data.yml --resource-group my-resource-group --workspace-name my-workspace
從登錄中的 YAML 規格檔案建立數據資產
az ml data create --file data.yml --registry-name my-registry-name
在工作區中使用YAML規格檔案來建立數據資產
az ml data create --name my-data --version 1 --path ./my-data.csv --resource-group my-resource-group --workspace-name my-workspace
在登錄中使用 YAML 規格檔案來建立數據資產
az ml data create --name my-data --version 1 --path ./my-data.csv --registry-name my-registry-name
選擇性參數
要上傳本機成品的數據存放區。
數據資產的描述。
包含 Azure ML 資料規格之 YAML 檔案的本機路徑。 如需數據的 YAML 參考檔,請參閱: https://aka.ms/ml-cli-v2-data-yaml-reference。
數據資產的名稱。 如果提供 --registry-name,則為必要專案。
請勿等候長時間執行的作業完成。 預設值是 False。
數據資產的路徑可以是本機或遠端。
如果提供,命令會以登錄為目標,而不是工作區。 因此,不需要資源群組和工作區。 如果未提供 --workspace-name 和 --resource-group,則必須提供 。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
指定要設定的屬性路徑和值,以更新物件。 範例:--set property1.property2=。
當類型為MLTable時,請略過MLTable元數據的驗證。
數據資產的類型。
數據資產的版本。 如果提供 --registry-name,則為必要專案。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data import
此命令處於預覽狀態,且正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus
匯入數據並建立數據資產。
數據資產可以先將數據從資料庫或文件系統匯入至雲端記憶體來建立。 建立的數據資產將會在工作區的指定名稱和版本下追蹤。
在 YAML 組態的檔案系統欄位上指定資料庫資料表或 'path' 的 'query'。Azure ML 會先執行作業,將數據複製到雲端記憶體。
az ml data import --resource-group
--workspace-name
[--datastore]
[--description]
[--file]
[--name]
[--path]
[--set]
[--skip-validation]
[--type {mltable, uri_file, uri_folder}]
[--version]
範例
從 YAML 規格檔案匯入資料資產
az ml data import --file dataimport.yml --resource-group my-resource-group --workspace-name my-workspace
必要參數
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
選擇性參數
要上傳本機成品的數據存放區。
數據資產的描述。
包含 Azure ML 資料規格之 YAML 檔案的本機路徑。 如需數據的 YAML 參考檔,請參閱: https://aka.ms/ml-cli-v2-data-yaml-reference。
數據資產的名稱。
雲端記憶體上數據資產的路徑。
指定要設定的屬性路徑和值,以更新物件。 範例:--set property1.property2=。
略過基礎數據匯入具體化作業所參考的計算資源驗證。
數據資產的類型。
數據資產的版本。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data list
列出工作區/登錄中的數據資產。 如果您使用登錄,請將 取代 --workspace-name my-workspace
為 --registry-name <registry-name>
選項。
az ml data list [--archived-only]
[--include-archived]
[--max-results]
[--name]
[--registry-name]
[--resource-group]
[--workspace-name]
範例
列出工作區中的所有數據資產
az ml data list --resource-group my-resource-group --workspace-name my-workspace
列出工作區中指定名稱的所有數據資產版本
az ml data list --name my-data --resource-group my-resource-group --workspace-name my-workspace
使用 --query 自變數列出工作區中的所有數據資產,以在命令結果上執行 JMESPath 查詢。
az ml data list --query "[].{Name:name}" --output table --resource-group my-resource-group --workspace-name my-workspace
列出登錄中的所有數據資產
az ml data list --registry-name my-registry-name
列出登錄中指定名稱的所有數據資產版本
az ml data list --name my-data --registry-name my-registry-name
選擇性參數
僅列出封存的數據資產。
列出封存的數據資產和作用中數據資產。
要傳回的結果數目上限。
數據資產的名稱。 如果提供,則會傳回此名稱下的所有數據版本。
如果提供,命令會以登錄為目標,而不是工作區。 因此,不需要資源群組和工作區。 如果未提供 --workspace-name 和 --resource-group,則必須提供 。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data list-materialization-status
此命令處於預覽狀態,且正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus
顯示建立數據資產版本之數據匯入具體化作業清單的狀態。
az ml data list-materialization-status --resource-group
--workspace-name
[--all-results {false, true}]
[--archived-only]
[--include-archived]
[--max-results]
[--name]
範例
從 YAML 規格檔案顯示資料資產的具體化狀態
az ml data list-materialization-status --name asset-name --resource-group my-resource-group --workspace-name my-workspace
必要參數
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
選擇性參數
傳回所有結果。
僅列出封存的作業。
列出封存的作業和作用中作業。
要傳回的結果數目上限。 預設值為 50。
資產的名稱。 會列出建立符合指定名稱之資產版本的所有具體化作業。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data mount
此命令處於預覽狀態,且正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus
將特定數據資產掛接至本機路徑。 目前僅支援Linux。
az ml data mount --path
[--mode]
[--mount-point]
[--persistent]
[--resource-group]
[--workspace-name]
範例
使用具名資產 URI 掛接數據資產版本
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml:my_urifolder:1
使用 AzureML 完整 URI 掛接數據資產版本
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/workspaces/myworkspace/data/some_data/versions/5
使用具名資產 URI 掛接數據資產的所有版本
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml:my_urifolder
使用 AzureML 完整 URI 掛接所有數據資產版本
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/workspaces/myworkspace/data/some_data
依 URL 在公用 HTTP(s) 伺服器上掛接數據
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path https://raw.githubusercontent.com/pandas-dev/pandas/main/doc/data/titanic.csv
Azure Blob 儲存體 URL 在 Azure 上掛接數據
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path https://<account_name>.blob.core.windows.net/<container_name>/<path>
Azure Data Lake 儲存體 Gen 2 URL 在 Azure 上掛接數據
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>
必要參數
要掛接的數據資產路徑,格式為 azureml:<name>
或 azureml:<name>:<version>
。
選擇性參數
掛接模式。 資料 ro_mount
資產掛接僅支援 (唯讀) 。
作為裝入點的本機路徑。
讓掛接在重新啟動時持續存在。 僅支援計算實例。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data restore
還原封存的數據資產。
當已封存的數據資產還原時,它將不再從清單查詢隱藏(az ml data list
)。 如果封存整個數據資產容器,您可以還原該封存的容器。 這會還原該指定名稱下的所有數據資產版本。 如果封存整個數據資產容器,您就不能只還原特定的數據資產版本-您必須還原整個容器。 如果只封存個別的數據資產版本,您可以還原該特定版本。
az ml data restore --name
[--label]
[--resource-group]
[--version]
[--workspace-name]
範例
還原封存的數據資產容器(還原該數據資產的所有版本)
az ml data restore --name my-env --resource-group my-resource-group --workspace-name my-workspace
還原特定封存的數據資產版本
az ml data restore --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace
必要參數
數據資產的名稱。
選擇性參數
數據資產的標籤。 與版本互斥。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
數據資產的版本。 與標籤互斥。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data share
此命令處於預覽狀態,且正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus
從工作區共用特定數據資產到登錄。
將現有的數據資產從工作區複製到登錄,以便重複使用跨工作區。
az ml data share --name
--registry-name
--resource-group
--share-with-name
--share-with-version
--version
--workspace-name
範例
將現有的資料資產從工作區分享至登錄
az ml data share --name my-data --version my-version --resource-group my-resource-group --workspace-name my-workspace --share-with-name new-name-in-registry --share-with-version new-version-in-registry --registry-name my-registry
必要參數
數據資產的名稱。
目的地登錄。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
要用來建立的數據資產名稱。
要用來建立的數據資產版本。
數據資產的版本。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data show
顯示工作區/登錄中數據資產的詳細數據。 如果您使用登錄,請將 取代 --workspace-name my-workspace
為 --registry-name <registry-name>
選項。
az ml data show --name
[--label]
[--registry-name]
[--resource-group]
[--version]
[--workspace-name]
範例
在工作區中顯示具有指定名稱和版本的數據資產詳細數據
az ml data show --name my-data --version 1 --resource-group my-resource-group --workspace-name my-workspace
顯示具有指定名稱和標籤的數據資產詳細數據
az ml data show --name my-data --label latest --resource-group my-resource-group --workspace-name my-workspace
在登錄中顯示具有指定名稱和版本的數據資產詳細數據
az ml data show --name my-data --version 1 --registry-name my-registry-name
必要參數
數據資產的名稱。
選擇性參數
數據資產的標籤。 如果未提供版本,則必須提供 。 與版本互斥。
如果提供,命令會以登錄為目標,而不是工作區。 因此,不需要資源群組和工作區。 如果未提供 --workspace-name 和 --resource-group,則必須提供 。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
數據資產的版本。 如果未提供標籤,則必須提供 。 與標籤互斥。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。
az ml data update
更新數據資產。
只能更新 'description' 和 'tags' 屬性。
az ml data update --name
--resource-group
--workspace-name
[--add]
[--force-string]
[--label]
[--registry-name]
[--remove]
[--set]
[--version]
必要參數
數據資產的名稱。
資源群組的名稱。 您可以使用 az configure --defaults group=<name>
來設定預設群組。
Azure ML 工作區的名稱。 您可以使用 來設定預設工作區 az configure --defaults workspace=<name>
。
選擇性參數
藉由指定路徑和索引鍵值組,將物件加入物件清單。 範例:--add property.listProperty <key=value, string or JSON string>
。
使用 'set' 或 'add' 時,請保留字串常值,而不是嘗試轉換成 JSON。
數據資產的標籤。 如果未提供版本,則必須提供 。 與版本互斥。
如果提供,命令會以登錄為目標,而不是工作區。 因此,不需要資源群組和工作區。 如果未提供 --workspace-name 和 --resource-group,則必須提供 。
從清單中移除屬性或專案。 範例: --remove property.list <indexToRemove>
或 --remove propertyToRemove
。
指定要設定的屬性路徑和值,以更新物件。 範例:--set property1.property2=<value>
。
數據資產的版本。 如果未提供標籤,則必須提供 。 與標籤互斥。
全域參數
增加記錄詳細資訊,以顯示所有偵錯記錄。
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
輸出格式。
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID
帳戶。
增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。