使用 Azure Data Factory 將資料複製到 Azure 資料總管

發行項
01/10/2024

重要

此連接器可用於 Microsoft Fabric 中的即時分析。使用本文中的指示，但有下列例外狀況：

如有需要，請使用建立 KQL 資料庫中的指示建立資料庫。
如有需要，請使用建立空白數據表中的指示來建立數據表。
使用複製 URI 中的指示取得查詢或擷取 URI。
在 KQL 查詢集中執行查詢。

Azure Data Explorer 是快速、完全受控、數據分析服務。它提供大量數據的即時分析，這些數據會從許多來源串流，例如應用程式、網站和IoT裝置。透過 Azure Data Explorer，您可以反覆探索數據，並識別模式和異常，以改善產品、增強客戶體驗、監視裝置，以及提升作業。它可協助您探索新的問題，並在幾分鐘內取得解答。

Azure Data Factory 是完全受控的雲端式數據整合服務。您可以使用它，將現有系統的數據填入 Azure Data Explorer 資料庫。這可協助您在建置分析解決方案時節省時間。

當您將數據載入 Azure Data Explorer 時，Data Factory 提供下列優點：

輕鬆設定：取得直覺式的五步驟精靈，不需要任何腳本。
豐富的數據存放區支援：取得一組豐富的內部部署和雲端式數據存放區的內建支援。如需詳細清單，請參閱支援的資料存放區的資料表。
安全且符合規範：數據會透過 HTTPS 或 Azure ExpressRoute 傳輸。具有全域服務，可確保資料絕不會離開地理界限。
高效能：數據載入速度每秒最多 1 GB， (GBps) 至 Azure Data Explorer。如需詳細資訊，請參閱複製活動效能。

在本文中，您會使用 Data Factory 複製數據工具來將數據從 Amazon Simple Storage Service (S3) 載入 Azure Data Explorer。您可以遵循類似的程式，從其他資料存放區複製資料，例如：

必要條件

Azure 訂用帳戶。建立 Azure 免費帳戶。
Azure 資料總管叢集和資料庫。建立叢集和資料庫。
數據源。

建立 Data Factory

登入 Azure 入口網站。
在左窗格中，選取 [建立資源>分析>Data Factory]。

在 [ 新增數據處理站] 窗格中，提供下表中欄位的值：

[新增數據處理站] 窗格

設定	要輸入的值
名稱	在方塊中，輸入數據處理站的全域唯一名稱。如果您收到錯誤， Data Factory 名稱「LoadADXDemo」無法使用，請輸入不同的數據處理站名稱。如需命名 Data Factory 成品的規則，請參閱 Data Factory 命名規則。
訂用帳戶	在下拉式清單中，選取要在其中建立數據處理站的 Azure 訂用帳戶。
資源群組	選取 [新建]，然後輸入新資源群組的名稱。如果您已經有資源群組，請選取 [使用現有的]。
版本	在下拉式清單中，選取 [V2]。
位置	在下拉式清單中，選取數據處理站的位置。清單中只會顯示支援的位置。數據處理站所使用的數據存放區可以存在於其他位置或區域中。

選取 [建立]。
若要監視建立程式，請選取工具列上的 [通知 ]。建立數據處理站之後，請加以選取。

[ Data Factory] 窗格隨即開啟。
若要在不同的窗格中開啟應用程式，請選取 [ 撰寫 & 監視 ] 圖格。

將數據載入 Azure Data Explorer

您可以將許多資料類型的數據存放區載入 Azure Data Explorer。本文討論如何從 Amazon S3 載入數據。

您可以透過下列其中一種方式載入資料：

在 Azure Data Factory 使用者介面的左窗格中，選取 [作者] 圖示。這會顯示在使用 Azure Data Factory UI 建立數據處理站的一節中。
在 [Azure Data Factory 複製資料] 工具中，如使用複製資料工具來複製數據中所示。

從 Amazon S3 (來源複製資料)

在 [ 讓我們開始使用 ] 窗格中，選取 [複製數據] 來開啟 [複製數據] 工具。
在 [ 屬性 ] 窗格的 [ 工作名稱 ] 方塊中，輸入名稱，然後選取 [ 下一步]。
在 [ 源數據存放區] 窗格中，選取 [ 建立新的連線]。
選取 [Amazon S3]，然後選取 [ 繼續]。
在 [ 新增鏈接服務 (Amazon S3) ] 窗格中，執行下列動作：

a. 在 [ 名稱] 方塊中，輸入新連結服務的名稱。

b. 在 [ 透過整合運行時間連線 ] 下拉式清單中，選取值。

c. 在 [ 存取金鑰標識元] 方塊中，輸入值。

注意

在 Amazon S3 中，若要找出您的存取金鑰，請在導覽列上選取您的 Amazon 使用者名稱，然後選取 [我的安全性認證]。

d. 在 [ 秘密存取金鑰 ] 方塊中，輸入值。

e. 若要測試您所建立的連結服務連線，請選取 [ 測試連線]。

f. 選取 [完成]。

[ 源數據存放區] 窗格會顯示新的 AmazonS31 連線。
選取 [下一步] 。
在 [ 選擇輸入檔案或資料夾 ] 窗格中，執行下列步驟：

a. 流覽至您要複製的檔案或資料夾，然後加以選取。

b. 選取您想要的複製行為。請確定已清除 [二進制複製 ] 複選框。

c. 選取 [下一步] 。
在 [ 檔案格式設定 ] 窗格中，選取檔案的相關設定。然後，選取 [下一步]。

將數據複製到 Azure Data Explorer (目的地)

系統會建立新的 Azure Data Explorer 連結服務，將數據複製到 Azure Data Explorer 目的地數據表， (本節中指定的接收) 。

注意

使用 Azure Data Factory 命令活動來執行 Azure Data Explorer 管理命令，並使用查詢命令的任何內嵌，例如 .set-or-replace。

建立 Azure Data Explorer 連結服務

若要建立 Azure Data Explorer 連結服務，請執行下列步驟：

若要使用現有的數據存放區連線或指定新的資料存放區，請在 [ 目的地數據存放區 ] 窗格中，選取 [ 建立新連線]。
在 [新增鏈接服務] 窗格中，選取 [Azure Data Explorer]，然後選取 [繼續]。
在 [新增鏈接服務 (Azure Data Explorer) ] 窗格中，執行下列步驟：
1. 在 [名稱] 方塊中，輸入 Azure Data Explorer 鏈接服務的名稱。
2. 在 [驗證方法] 下，選擇 [ 系統指派的受控識別 或服務主體]。
  - 若要使用受控識別進行驗證，請使用 受控識別名稱 或 受控識別物件標識元，將受控識別存取權授與資料庫。
  - 若要使用服務主體進行驗證：
    1. 在 [ 租使用者 ] 方塊中，輸入租用戶名稱。
    2. 在 [ 服務主體標識符 ] 方塊中，輸入服務主體標識符。
    3. 選取 [服務主體金鑰 ]，然後在 [ 服務主體金鑰 ] 方塊中，輸入密鑰的值。
  注意
  - 服務主體是由 Azure Data Factory 用來存取 Azure Data Explorer 服務。若要建立服務主體，請移至建立 Microsoft Entra 服務主體。
  - 若要將許可權指派給受控識別或服務主體或，請參閱管理許可權。
  - 請勿使用 Azure 金鑰保存庫方法或使用者指派的受控識別。
3. 在 [帳戶選取方法] 下，選擇下列其中一個選項：
  - 選取 [從 Azure 訂用帳戶]，然後在下拉式清單中，選取您的 Azure 訂用帳戶和叢集。
    注意
    - [ 叢集 ] 下拉式清單只會列出與您的訂用帳戶相關聯的叢集。
    - 您的叢集必須具有適當的 SKU ，才能獲得最佳效能。
  - 選取 [手動輸入]，然後輸入您的端點。
4. 在 [ 資料庫 ] 下拉式清單中，選取您的資料庫名稱。或者，選取 [ 編輯 ] 複選框，然後輸入資料庫名稱。
5. 若要測試您所建立的連結服務連線，請選取 [ 測試連線]。如果您可以連線到連結的服務，窗格會顯示綠色複選標記和 連線成功 訊息。
6. 若要測試您所建立的連結服務連線，請選取 [ 測試連線]。如果您可以連線到連結的服務，窗格會顯示綠色複選標記和 連線成功 訊息。
7. 選取 [建立 ] 以完成鏈接的服務建立。

設定 Azure Data Explorer 數據連線

建立連結服務連線之後，[ 目的地數據存放區] 窗格隨即開啟，而且您建立的連線可供使用。若要設定連線，請執行下列步驟：

選取 [下一步] 。
在 [ 數據表對應] 窗格中，設定目的地數據表名稱，然後選取 [ 下一步]。
在 [ 數據行對應 ] 窗格中，會進行下列對應：

a. 第一個對應會根據 Azure Data Factory 架構對應來執行 Azure Data Factory。執行下列動作：
- 設定 Azure Data Factory 目的地數據表的數據行對應。默認對應會顯示從來源到 Azure Data Factory 目的地數據表。
- 取消您不需要定義數據行對應的數據行選取專案。
b. 第二個對應會在此表格式數據擷取至 Azure Data Explorer 時發生。對應會根據 CSV 對應規則來執行。即使源數據不是 CSV 格式，Azure Data Factory 會將資料轉換成表格式格式。因此，CSV 對應是這個階段唯一的相關對應。執行下列動作：
- (選擇性) 在 Azure Data Explorer (Kusto) 接收屬性下，新增相關的擷取對應名稱，以便使用數據行對應。
- 如果未指定擷取對應名稱，則會使用 [數據行對應] 區段中定義的依名稱對應順序。如果依名稱對應失敗，Azure Data Explorer 會嘗試擷取依數據行位置順序中的數據 (，它會依位置對應為預設) 。
- 選取 [下一步] 。
在 [ 設定] 窗格中，執行下列步驟：

a. 在 [容錯設定] 下，輸入相關設定。

b. 在 [效能設定] 底下，[ 啟用預備環境 ] 不適用，[ 進階設定 ] 包含成本考慮。如果您沒有特定需求，請將這些設定保持原樣。

c. 選取 [下一步] 。
在 [ 摘要] 窗格中檢閱設定，然後選取 [ 下一步]。
在 [ 部署完成] 窗格中，執行下列動作：

a. 若要切換至 [ 監視] 索引卷標，並檢視管線 (的狀態，也就是進度、錯誤和數據流) ，請選取 [ 監視]。

b. 若要編輯連結的服務、數據集和管線，請選取 [編輯管線]。

c. 選取 [完成 ] 以完成複製數據工作。