本文說明如何將 OneLake 表格類型(/Tables)資料複製到 Azure Data Lake Storage(ADLS)帳號,並在複製件上建立資料儲存,讓 OneLake 表格類型(Microsoft Fabric 資料)在 Azure Machine Learning 中可用。 你在 Studio 介面中完成整個任務。
Azure Machine Learning 可以透過 OneLake 資料儲存庫直接連接 OneLake 檔案類型(/Files)的資料,無需複製。 該免複製資料存放區不支援 Lakehouse 資料表,如以下螢幕擷取畫面所示,因此本文將介紹一種透過 UI 處理資料表資料的權宜作法。
Note
此程序會將資料複製到 Azure Data Lake Storage。 複製的資料是某個時間點快照,不是即時連結,所以當來源資料表變更時,你要重新執行該複製。 如果你不需要純 UI 工作流程,可以先考慮不複製選項:用 OneLake(Microsoft Fabric)資料儲存,/Files或直接從運算端存取。 欲了解所有 OneLake 整合選項的概述,請參見「整合 OneLake 與 Azure Machine Learning」。
何時使用此方法
當以下兩種條件都成立時,請使用本文中的複製式方法:
- 你的資料是 OneLake 表格類型(
/Tables)資料,OneLake 資料儲存無法直接參考。 - 你要完全在 Azure Machine Learning 工作室 建立連線,不要用 CLI 或 SDK。
如果你需要即時、無複製存取,或資料在 Lakehouse /Files 區塊,建議改用 OneLake 資料儲存 。
先決條件
- 需要 Azure 訂用帳戶;如果您沒有 Azure 訂用帳戶,請在開始之前先建立免費帳戶。
- Azure Machine Learning 工作區。 請造訪建立工作區資源。
- Azure Data Lake Storage (ADLS) 記憶體帳戶。 前往建立 Azure Data Lake Storage (ADLS) 儲存體帳戶。
- 在 Azure 記憶體帳戶中指派角色的知識。
- 存取包含表格類型資料的 Microsoft Fabric 工作區,並設有湖屋。
- 在 Fabric 工作區中建立資料管線的權限,例如 貢獻者 或 成員 工作區角色。
複製工作流程的運作方式
這個解決方法有三個部分:
- 在 Azure 入口網站建立並設定一個 Data Lake Storage 帳號。
- 使用 Fabric 資料管線將資料表資料從 OneLake 複製到 Azure Data Lake Storage。
- 在 Azure Data Lake Storage 容器上建立 Azure Machine Learning 資料存放區。
下圖顯示整體流量:
Important
由於此方法會複製資料,因此 Azure Machine Learning 資料儲存庫會保留某一時間點的快照。 當來源湖倉資料表變更時,重新執行複製作業。 這種複製還會重複儲存,增加成本,且無法保留 OneLake 的治理或血統。
在 Azure 入口網站中設定 資料湖 記憶體帳戶
將 儲存區資料貢獻 者與 儲存檔案資料特權貢獻 者角色指派給使用者身份或服務主體,以授予資料平面存取權及建立容器的權限。 帳號金鑰存取則由 「允許儲存帳號金鑰存取 」設定獨立控制,該設定會在後續步驟啟用。 若要將角色指派給使用者身分:
選取 儲存帳戶 服務。
在 [ 記憶體帳戶] 頁面上,選取您在必要條件步驟中建立的 Data Lake Storage 帳戶。 顯示記憶體帳戶屬性的頁面隨即開啟。
從左側面板選擇 Access 鍵 並錄製鍵。 你會在後續步驟中需要這個值。
選取並啟用 [允許記憶體帳戶金鑰存取 ],如下列螢幕快照所示:
小提示
對於生產工作負載,請使用基於身份的認證(Microsoft Entra ID)取代帳號金鑰。 如需詳細資訊,請參閱建立資料存放區。
從左側面板選擇 存取控制(IAM),並將 Storage Blob Data 貢獻者與儲存檔案資料特權貢獻者角色指派給服務主體。
在儲存體帳戶建立容器。 將它命名 為 onelake-table。
使用網狀架構數據管線將數據複製到 Azure Data Lake Storage 帳戶
小提示
你也可以使用 Fabric Copy 任務,可在資料複製場景中提供更簡易的使用體驗。
在網狀架構入口網站中,選取 [新增項目] 頁面上的 數據管線。
選取 [複製資料小幫手]。
在 [複製資料小幫手],選取 [Azure Blob]:
若要建立 Azure Data Lake 記憶體帳戶的連線,請選取 [驗證種類:帳戶密鑰 ],然後選取 [下一步]:
小提示
為避免帳號金鑰,請選擇基於身份的認證類型,例如組織帳號,並建立帶有身份基礎存取權的 Azure Machine Learning 資料儲存庫。 這種方法使用你先前指派的資料平面角色,且不需要啟用帳號金鑰存取權限。
選擇資料目的地,然後選擇 下一步:
連接到資料目的地,並選擇 下一步:
此步驟會自動啟動資料複製作業:
此步驟可能需要一些時間。 它直接導致下一個步驟。
檢查資料複製作業是否已順利完成:
在Azure Data Lake Storage容器上建立一個Azure Machine Learning資料儲存
既然您的數據位於 Azure Data Lake 記憶體資源中,您可以建立 Azure Machine Learning 資料存放區。
在 Azure 記憶體帳戶中,如左側所示的 容器 具有數據,如右側所示:
在 Azure Machine Learning 工作室 中,建立一個資料資產。 要決定類型,打開 onelake-table 容器,檢查複製品是產生單一檔案還是資料夾檔案。 選擇 檔案(uri_file) 代表單一檔案,或選擇 資料夾(uri_folder) 作為檔案資料夾,這在匯出多個檔案時很常見:
從 Azure 記憶體選取:
使用先前從 建立 Azure Data Lake 儲存帳戶連接 取得的 帳戶金鑰 值,創建新的資料存放區:
你也可以直接在 Azure Machine Learning Studio 建立資料儲存庫:
您可以檢閱您所建立資料存放區的詳細資料:
檢閱數據存放區中的數據
既然您已在 Azure Machine Learning 中成功建立資料存放區,您可以在機器學習練習中使用。
Troubleshooting
- 角色指派尚未生效:Azure 角色指派可能需要數分鐘才能完成。 如果複製工作或資料儲存失敗且出現授權錯誤,請等幾分鐘再重試。
- 帳戶金鑰存取被停用:如果你無法取得或使用該帳戶金鑰,請確認該儲存帳戶是否啟用 了「允許存取儲存帳戶金鑰 」。
- Fabric 連線失敗:請驗證儲存帳號名稱與金鑰,並確認 onelake-table 容器是否存在。
- 快照已過期:複製作業會產生時間點快照。 為使資料維持最新狀態,請將 Fabric 資料管線設定為定期執行。