透過 UI 將 OneLake lakehouse 表格複製到 Azure Machine Learning

本文說明如何將 OneLake 表格類型(/Tables)資料複製到 Azure Data Lake Storage(ADLS)帳號,並在複製件上建立資料儲存,讓 OneLake 表格類型(Microsoft Fabric 資料)在 Azure Machine Learning 中可用。 你在 Studio 介面中完成整個任務。

Azure Machine Learning 可以透過 OneLake 資料儲存庫直接連接 OneLake 檔案類型(/Files)的資料,無需複製。 該免複製資料存放區不支援 Lakehouse 資料表,如以下螢幕擷取畫面所示,因此本文將介紹一種透過 UI 處理資料表資料的權宜作法。

顯示 Microsoft Fabric 中數據表的螢幕快照。

Note

此程序會將資料複製到 Azure Data Lake Storage。 複製的資料是某個時間點快照,不是即時連結,所以當來源資料表變更時,你要重新執行該複製。 如果你不需要純 UI 工作流程,可以先考慮不複製選項:用 OneLake(Microsoft Fabric)資料儲存,/Files或直接從運算端存取。 欲了解所有 OneLake 整合選項的概述,請參見「整合 OneLake 與 Azure Machine Learning」。

何時使用此方法

當以下兩種條件都成立時,請使用本文中的複製式方法:

  • 你的資料是 OneLake 表格類型(/Tables)資料,OneLake 資料儲存無法直接參考。
  • 你要完全在 Azure Machine Learning 工作室 建立連線,不要用 CLI 或 SDK。

如果你需要即時、無複製存取,或資料在 Lakehouse /Files 區塊,建議改用 OneLake 資料儲存 。

先決條件

  • 需要 Azure 訂用帳戶;如果您沒有 Azure 訂用帳戶,請在開始之前先建立免費帳戶。
  • Azure Machine Learning 工作區。 請造訪建立工作區資源。
  • Azure Data Lake Storage (ADLS) 記憶體帳戶。 前往建立 Azure Data Lake Storage (ADLS) 儲存體帳戶。
  • 在 Azure 記憶體帳戶中指派角色的知識。
  • 存取包含表格類型資料的 Microsoft Fabric 工作區,並設有湖屋。
  • 在 Fabric 工作區中建立資料管線的權限,例如 貢獻者 或 成員 工作區角色。

複製工作流程的運作方式

這個解決方法有三個部分:

  1. 在 Azure 入口網站建立並設定一個 Data Lake Storage 帳號。
  2. 使用 Fabric 資料管線將資料表資料從 OneLake 複製到 Azure Data Lake Storage。
  3. 在 Azure Data Lake Storage 容器上建立 Azure Machine Learning 資料存放區。

下圖顯示整體流量:

顯示解決方案整體流程的螢幕快照。

Important

由於此方法會複製資料,因此 Azure Machine Learning 資料儲存庫會保留某一時間點的快照。 當來源湖倉資料表變更時,重新執行複製作業。 這種複製還會重複儲存,增加成本,且無法保留 OneLake 的治理或血統。

在 Azure 入口網站中設定 資料湖 記憶體帳戶

將 儲存區資料貢獻 者與 儲存檔案資料特權貢獻 者角色指派給使用者身份或服務主體,以授予資料平面存取權及建立容器的權限。 帳號金鑰存取則由 「允許儲存帳號金鑰存取 」設定獨立控制,該設定會在後續步驟啟用。 若要將角色指派給使用者身分:

  1. 開啟 Microsoft Azure 入口網站。

  2. 選取 儲存帳戶 服務。

    顯示選取 [記憶體帳戶] 服務的螢幕快照。

  3. 在 [ 記憶體帳戶] 頁面上,選取您在必要條件步驟中建立的 Data Lake Storage 帳戶。 顯示記憶體帳戶屬性的頁面隨即開啟。

    顯示 Data Lake Storage 帳戶屬性頁面的螢幕快照。

  4. 從左側面板選擇 Access 鍵 並錄製鍵。 你會在後續步驟中需要這個值。

  5. 選取並啟用 [允許記憶體帳戶金鑰存取 ],如下列螢幕快照所示:

    小提示

    對於生產工作負載,請使用基於身份的認證(Microsoft Entra ID)取代帳號金鑰。 如需詳細資訊,請參閱建立資料存放區。

    顯示如何在 Azure 入口網站中啟用 Data Lake Storage 帳戶密鑰存取的螢幕快照。

  6. 從左側面板選擇 存取控制(IAM),並將 Storage Blob Data 貢獻者與儲存檔案資料特權貢獻者角色指派給服務主體。

    顯示如何在 Azure 入口網站中指派 Data Lake Storage 帳戶角色的螢幕快照。

  7. 在儲存體帳戶建立容器。 將它命名 為 onelake-table。

    顯示 Azure 入口網站中建立 Data Lake Storage 帳戶容器的螢幕快照。

使用網狀架構數據管線將數據複製到 Azure Data Lake Storage 帳戶

小提示

你也可以使用 Fabric Copy 任務,可在資料複製場景中提供更簡易的使用體驗。

  1. 在網狀架構入口網站中,選取 [新增項目] 頁面上的 數據管線。

    螢幕擷取畫面所示為 Fabric 新增項目頁面的資料管線選項。

  2. 選取 [複製資料小幫手]。

    螢幕擷取畫面所示為 [複製資料小幫手] 的選項。

  3. 在 [複製資料小幫手],選取 [Azure Blob]:

    螢幕快照顯示在 Fabric Copy 資料助理中選取 Azure Blob 的過程。

  4. 若要建立 Azure Data Lake 記憶體帳戶的連線,請選取 [驗證種類:帳戶密鑰 ],然後選取 [下一步]:

    顯示如何在 Fabric 數據管線中建立連線的螢幕快照。

    小提示

    為避免帳號金鑰,請選擇基於身份的認證類型,例如組織帳號,並建立帶有身份基礎存取權的 Azure Machine Learning 資料儲存庫。 這種方法使用你先前指派的資料平面角色,且不需要啟用帳號金鑰存取權限。

  5. 選擇資料目的地,然後選擇 下一步:

    顯示資料目的地選取項目的螢幕快照。

  6. 連接到資料目的地,並選擇 下一步:

    顯示數據目的地連線的螢幕快照。

  7. 此步驟會自動啟動資料複製作業:

    螢幕擷取畫面所示為已排程的複製活動。

    此步驟可能需要一些時間。 它直接導致下一個步驟。

  8. 檢查資料複製作業是否已順利完成:

    顯示複製作業成功的螢幕快照。

在Azure Data Lake Storage容器上建立一個Azure Machine Learning資料儲存

既然您的數據位於 Azure Data Lake 記憶體資源中,您可以建立 Azure Machine Learning 資料存放區。

  1. 在 Azure 記憶體帳戶中,如左側所示的 容器 具有數據,如右側所示:

    顯示如何在 Azure 記憶體帳戶容器中驗證數據的螢幕快照。

  2. 在 Azure Machine Learning 工作室 中,建立一個資料資產。 要決定類型,打開 onelake-table 容器,檢查複製品是產生單一檔案還是資料夾檔案。 選擇 檔案(uri_file) 代表單一檔案,或選擇 資料夾(uri_folder) 作為檔案資料夾,這在匯出多個檔案時很常見:

    顯示資料資產類型選擇的截圖。

  3. 從 Azure 記憶體選取:

    顯示如何選取 Azure 記憶體的螢幕快照。

  4. 使用先前從 建立 Azure Data Lake 儲存帳戶連接 取得的 帳戶金鑰 值,創建新的資料存放區:

    顯示如何在 Azure Machine Learning 中建立新數據存放區的螢幕快照。

  5. 你也可以直接在 Azure Machine Learning Studio 建立資料儲存庫:

    顯示如何在 Azure Machine Learning 中建立數據存放區的螢幕快照。

  6. 您可以檢閱您所建立資料存放區的詳細資料:

    顯示您所建立資料存放區詳細數據的螢幕快照。

  7. 檢閱數據存放區中的數據

    顯示如何在 Azure Machine Learning 中存取數據存放區的螢幕快照。

既然您已在 Azure Machine Learning 中成功建立資料存放區,您可以在機器學習練習中使用。

Troubleshooting

  • 角色指派尚未生效:Azure 角色指派可能需要數分鐘才能完成。 如果複製工作或資料儲存失敗且出現授權錯誤,請等幾分鐘再重試。
  • 帳戶金鑰存取被停用:如果你無法取得或使用該帳戶金鑰,請確認該儲存帳戶是否啟用 了「允許存取儲存帳戶金鑰 」。
  • Fabric 連線失敗:請驗證儲存帳號名稱與金鑰,並確認 onelake-table 容器是否存在。
  • 快照已過期:複製作業會產生時間點快照。 為使資料維持最新狀態,請將 Fabric 資料管線設定為定期執行。

參考資料