使用 Azure Data Factory 或 Synapse 管線將資料載入 Azure Synapse Analytics

適用于: Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用于企業的單一分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告等所有專案。 瞭解如何 免費啟動新的試用版

Azure Synapse Analytics 是以雲端為基礎的向外延展資料庫,能夠處理大量關聯式和非關聯式資料。 Azure Synapse Analytics 是以針對企業資料倉儲工作負載優化的大規模平行處理 (MPP) 架構為基礎。 其提供雲端彈性,彈性可彈性地獨立調整儲存體和計算。

開始使用 Azure Synapse Analytics 現在比以往更容易。 Azure Data Factory 及其在 Azure Synapse 內的對等管線功能,可為您提供完全受控的雲端式資料整合服務。 您可使用此服務,在建置分析解決方案時於 Azure Synapse Analytics 填入現有系統的資料,並節省時間。

Azure Data Factory 和 Synapse 管線提供下列優點,將資料載入 Azure Synapse Analytics:

  • 容易設定 :直覺式 5 步驟精靈,不需要編寫腳本。
  • 豐富的資料存放區支援 :內建支援一組豐富的內部部署和雲端式資料存放區。 如需詳細清單,請參閱支援的資料存放區 資料表
  • 安全且符合規範 :資料會透過 HTTPS 或 ExpressRoute 傳輸。 全域服務存在可確保您的資料永遠不會離開地理界限。
  • 使用 PolyBase 的無可比擬的效能:Polybase 是將資料移至 Azure Synapse Analytics 的最有效率的方式。 使用預備 Blob 功能,從所有類型的資料存放區達到高負載速度,包括 Azure Blob 儲存體和 Data Lake Store。 (Polybase 預設支援 Azure Blob 儲存體和 Azure Data Lake Store。如需詳細資訊,請參閱 複製活動效能

本文說明如何使用複製資料工具 ,將資料從 Azure SQL 資料庫載入 Azure Synapse Analytics 。 您可以遵循類似的步驟,從其他類型的資料存放區複製資料。

注意

如需詳細資訊,請參閱 將資料複製到 Azure Synapse Analytics 或從 Azure Synapse Analytics 複製資料。

必要條件

  • Azure 訂用帳戶:如果您沒有 Azure 訂用帳戶,請在開始之前建立 免費帳戶
  • Azure Synapse Analytics:資料倉儲會保存從 SQL 資料庫複製的資料。 如果您沒有 Azure Synapse Analytics,請參閱建立 Azure Synapse Analytics 中的 指示。
  • Azure SQL 資料庫:本教學課程會從 Azure SQL 資料庫 中的 Adventure Works LT 範例資料集複製資料。 您可以遵循在 Azure SQL 資料庫 中建立範例資料庫中的 指示,在 SQL 資料庫中建立此範例資料庫。
  • Azure 儲存體帳戶:Azure 儲存體做為 大量複製作業中的預備 Blob。 如果您沒有 Azure 儲存體帳戶,請參閱建立儲存體帳戶 中的 指示。

建立資料處理站

  1. 如果您尚未建立資料處理站,請遵循快速入門:使用 Azure 入口網站 和 Azure Data Factory Studio 建立資料處理站中的步驟 來建立資料處理站。 建立之後,請流覽至Azure 入口網站中的資料處理站。

    Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  2. 在 [ 開啟 Azure Data Factory Studio ] 圖格上選取 [開啟 ],以在另一個索引標籤中啟動資料整合應用程式。

將資料載入 Azure Synapse Analytics

  1. 在 Azure Data Factory 或 Azure Synapse 工作區的首頁中,選取 [內嵌 ] 圖格以啟動複製資料工具。 然後選擇 [ 內建複製] 工作

  2. 在 [ 屬性] 頁面中,選擇 [工作類型 ] 下的 [內建複製工作 ],然後選取 [ 下一步 ]。

    Properties page

  3. 在 [ 來源資料存放區 ] 頁面中,完成下列步驟:

    提示

    在本教學課程中,您會使用 SQL 驗證 作為來源資料存放區的驗證類型,但您可以視需要選擇其他支援的驗證方法: 服務主體 受控識別 。 如需詳細資訊,請參閱本文 中的 對應章節。 若要安全地儲存資料存放區的秘密,也建議您使用 Azure 金鑰保存庫。 如需詳細圖例,請參閱這篇文章

    1. 選取 + 新增連線

    2. 從資源庫選取 [Azure SQL 資料庫 ],然後選取 [ 繼續 ]。 您可以在搜尋方塊中輸入 「SQL」,以篩選連接器。

      Select Azure SQL DB

    3. 在 [ 新增連線 ](Azure SQL 資料庫) 頁面中,從下拉式清單中選取您的伺服器名稱和資料庫名稱,然後指定使用者名稱和密碼。 選取 [ 測試連線 ] 以驗證設定,然後選取 [ 建立 ]。

      Configure Azure SQL DB

    4. 在 [ 來源資料存放區 ] 頁面中,選取新建立的連線作為 [連線ion ] 區段中的來源

    5. 在 [ 來源資料表] 區段中,輸入 SalesLT 以篩選資料表。 選擇 [ 全選] 方塊以使用所有資料表進行複本,然後選取 [ 下一步 ]。

    Screenshot showing the configuration of 'Source data store' page.

  4. 在 [ 套用篩選] 頁面中,指定您的設定,或選取 [ 下一步 ]。 您可以選取此頁面上的 [預覽資料] 按鈕,預覽資料並檢視輸入資料的 架構。

     Screenshot showing the 'Apply filter' page.

  5. 在 [ 目的地資料存放區 ] 頁面中,完成下列步驟:

    提示

    在本教學課程中,您會使用 SQL 驗證 作為目的地資料存放區的驗證類型,但您可以視需要選擇其他支援的驗證方法: 服務主體 受控識別 。 如需詳細資訊,請參閱本文 中的 對應章節。 若要安全地儲存資料存放區的秘密,也建議您使用 Azure 金鑰保存庫。 如需詳細圖例,請參閱這篇文章

    1. 選取 [+ 新增連線 ] 以新增連線。

    2. 從資源庫選取 [Azure Synapse Analytics ],然後選取 [ 繼續 ]。

      Select Azure Synapse Analytics

    3. 在 [ 新增連線 ][Azure Synapse Analytics] 頁面中,從下拉式清單中選取您的伺服器名稱和資料庫名稱,然後指定使用者名稱和密碼。 選取 [ 測試連線 ] 以驗證設定,然後選取 [ 建立 ]。

      Configure Azure Synapse Analytics

    4. 在 [ 目的地資料存放區 ] 頁面中,選取新建立的連線作為接收在 [連線ion ] 區段中。

  6. 在 [ 資料表對應] 區段中,檢閱內容,然後選取 [ 下一步 ]。 智慧型資料表對應隨即顯示。 來源資料表會根據資料表名稱對應至目的地資料表。 如果目的地中沒有來源資料表,服務預設會建立具有相同名稱的目的地資料表。 您也可以將來源資料表對應至現有的目的地資料表。

    Screenshot showing the configuration of 'Destination data store' page.

  7. 在 [ 資料行對應 ] 頁面中,檢閱內容,然後選取 [ 下一步 ]。 智慧型資料表對應是以資料行名稱為基礎。 如果您讓服務自動建立資料表,當來源和目的地存放區之間不相容時,可能會發生資料類型轉換。 如果來源和目的地資料行之間有不支援的資料類型轉換,您會看到對應資料表旁的錯誤訊息。

    Column mapping page

  8. [設定] 頁面中,完成下列步驟:

    1. 針對 [ 工作名稱 ] 欄位指定 CopyFromSQLToSQLDW

    2. 在 [ 預備設定] 區段中,選取 [+ 新增 至新的預備儲存體]。 儲存體會用來暫存資料,再使用 PolyBase 載入 Azure Synapse Analytics。 複製完成之後,會自動清除Azure Blob 儲存體中的過渡資料。

    3. 在 [ 新增連結服務 ] 頁面中,選取您的儲存體帳戶,然後選取 [ 建立 ] 以部署連結的服務。

    4. 取消選取 [ 使用類型預設 選項],然後選取 [ 下一步 ]。

    Configure PolyBase

  9. 在 [ 摘要] 頁面中,檢閱設定,然後選取 [ 下一步 ]。

  10. 在 [ 部署] 頁面上 ,選取 [監視 ] 以監視管線 (工作)。

     Screenshot showing the deployment page.

  11. 請注意, 左側的 [監視] 索引標籤會自動選取。 當管線執行順利完成時,請選取 [管線名稱 ] 資料行底下的 CopyFromSQLToSQLDW 連結,以檢視活動執行詳細資料或重新執行管線。


  1. 若要切換回管線執行檢視,請選取頂端的 [所有管線執行] 連結。 選取 [ 重新整理 ] 以重新整理清單。

    Monitor activity runs

  2. 若要監視每個複製活動的執行詳細資料,請在活動執行檢視中的 [活動名稱 ] 底下 選取 [詳細 資料] 連結(眼鏡圖示)。 您可以監視詳細資料,例如從來源複製到接收的資料量、資料輸送量、具有對應持續時間的執行步驟,以及已使用的組態。

    Monitor activity run details first

    Monitor activity run details second

請前往下列文章,以瞭解 Azure Synapse Analytics 支援: