Azure Data Factory 中的對應資料流

適用於: Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的單一分析解決方案。 Microsoft Fabric 涵蓋從數據移動到數據科學、即時分析、商業智慧和報告等所有專案。 瞭解如何 免費啟動新的試用版

什麼是對應數據流?

對應數據流是在 Azure Data Factory 中以可視化方式設計的數據轉換。 數據流可讓數據工程師在不撰寫程式代碼的情況下開發數據轉換邏輯。 資料流程結果會在使用擴增 Apache Spark 叢集的 Azure Data Factory 管線內以活動的形式執行。 資料流程活動可以透過現有的 Azure Data Factory 排程、控制、流程和監視功能來運作。

對應數據流提供完全可視化的體驗,不需要撰寫程序代碼。 您的資料流程會在 ADF 管理的執行叢集中執行,以進行擴增的資料處理。 Azure Data Factory 會處理所有的程式碼轉譯、路徑最佳化,以及您資料流程作業的執行。

開始使用

數據流是從 Factory 資源窗格建立,例如管線和數據集。 若要建立數據流,請選取 Factory 資源旁的加號,然後選取 [數據流]。

Screenshot showing a new data flow. 此動作會帶您前往數據流畫布,您可以在其中建立轉換邏輯。 選取 [新增來源 ] 以開始設定來源轉換。 如需詳細資訊,請參閱 來源轉換

撰寫數據流

對應數據流具有獨特的撰寫畫布,其設計目的是讓建置轉換邏輯變得容易。 數據流畫布分成三個部分:頂端列、圖形和組態面板。

Screenshot shows the data flow canvas with top bar, graph, and configuration panel labeled.

圖表

圖形會顯示轉換數據流。 它會在源數據流入一或多個接收時,顯示其歷程。 若要新增來源,請選取 [新增來源]。 若要新增轉換,請選取現有轉換右下方的加號。 深入瞭解如何 管理數據流圖表

Screenshot shows the graph part of the canvas with a Search text box.

組態面板

組態面板會顯示目前選取之轉換的特定設定。 如果未選取任何轉換,則會顯示數據流。 在整體數據流組態中,您可以透過 [ 參數 ] 索引卷標新增參數。如需詳細資訊,請參閱 對應數據流參數

每個轉換至少包含四個組態索引標籤。

轉換設定

每個轉換組態窗格中的第一個索引標籤包含該轉換特有的設定。 如需詳細資訊,請參閱該轉換的文件頁面。

Screenshot showing the source settings tab.

最佳化

[優化] 索引標籤包含設定資料分割配置的設定。 若要深入瞭解如何優化數據流,請參閱 對應數據流效能指南

Screenshot shows the Optimize tab, which includes Partition option, Partition type, and Number of partitions.

檢查

[檢查] 索引標籤提供您所轉換之資料流元數據的檢視。 您可以看到數據行計數、數據行已變更、新增的數據行、數據類型、數據行順序和數據行參考。 檢查 是元數據的唯讀檢視。 您不需要啟用偵錯模式,即可在 [檢查 ] 窗格中查看元數據。

Inspect

當您透過轉換變更資料的形狀時,您會看到 [檢查] 窗格中的元數據變更流程。 如果您的來源轉換中沒有定義的架構,則 [檢查] 窗格中不會顯示元數據。 架構漂移案例中缺少元數據很常見。

資料預覽

如果偵錯模式開啟,[ 數據預覽 ] 索引標籤會提供每個轉換數據的互動式快照集。 如需詳細資訊,請參閱 偵錯模式中的數據預覽。

頂端列

頂端列包含會影響整個數據流的動作,例如儲存和驗證。 您也可以檢視轉換邏輯的基礎 JSON 程式代碼和資料流腳本。 如需詳細資訊,請了解 數據流腳本

可用的轉換

檢視 對應數據流轉換概觀 ,以取得可用轉換的清單。

數據流數據類型

  • 陣列
  • binary
  • boolean
  • complex
  • 十進位 (包括有效位數)
  • date
  • float
  • integer
  • long
  • map
  • short
  • string
  • timestamp

數據流活動

對應數據流會使用 數據流活動在ADF管線內運作。 所有用戶必須執行的作業都是指定要使用哪個整合運行時間,並傳入參數值。 如需詳細資訊,請參閱 Azure 整合運行時間

偵錯模式

偵錯模式可讓您在建置和偵錯數據流時,以互動方式查看每個轉換步驟的結果。 在建置數據流邏輯和執行管線偵錯時,可以使用 偵錯會話搭配數據流活動來執行。 若要深入瞭解,請參閱偵 錯模式檔

監視資料流

對應資料流可以與現有的 Azure Data Factory 監視功能整合。 若要瞭解如何了解數據流監視輸出,請參閱 監視對應數據流

Azure Data Factory 小組已建立 效能微調指南 ,協助您在建置商業規則之後優化數據流的運行時間。

可用區域

對應資料串流適用於 ADF 中的下列區域:

Azure 區域 ADF 中的數據流
澳大利亞中部
澳大利亞中部 2
澳大利亞東部
澳洲東南部
巴西南部
加拿大中部
印度中部
美國中部
中國東部
中國東部 2
中國 (非區域)
中國北部
中國北部 2
中國北部 3
東亞
美國東部
美國東部 2
法國中部
法國南部
德國中部 (主權)
德國 (非區域) (主權)
德國北部 (公用)
德國東北部 (主權)
德國中西部 (公用)
日本東部
日本西部
南韓中部
南韓南部
美國中北部
歐洲北部
挪威東部
挪威西部
南非北部
南非西部
美國中南部
印度南部
東南亞
瑞士北部
瑞士西部
阿拉伯聯合大公國中部
阿拉伯聯合大公國北部
英國南部
英國西部
US DoD 中部
US DoD 東部
US Gov 亞利桑那州
US Gov (非區域)
US Gov 德克薩斯州
US Gov 維吉尼亞州
美國中西部
西歐
印度西部
美國西部
美國西部 2
美國西部 3