Azure Data Factory 中的對應資料流程

適用於:Azure Data Factory Azure Synapse Analytics

什麼是對應資料流程?

對應資料流程是 Azure Data Factory 中以視覺化方式設計的資料轉換。 資料流程可讓工程師在無須撰寫程式碼的情況下開發資料轉換邏輯。 資料流程結果會在使用擴增 Apache Spark 叢集的 Azure Data Factory 管線內以活動的形式執行。 資料流程活動可以使用現有的 Azure Data Factory 排程、控制、流程和監視功能來運作。

對應資料流程提供不需要撰寫程式碼的完全視覺效果體驗。 您的資料流程會在 ADF 管理的執行叢集中執行,以進行擴增的資料處理。 Azure Data Factory 會處理所有的程式碼轉譯、路徑最佳化,以及您資料流程作業的執行。

開始使用

資料流程會從處理站資源窗格中建立,例如管線和資料集。 若要建立資料流程,請選取 [處理站資源]旁的加號,然後選取 [資料流程]。

新增資料流程

此動作會帶您前往資料流程畫布,您可以在其中建立轉換邏輯。 選取 [新增來源] 開始設定來源轉換。 如需詳細資訊,請參閱來源轉換

撰寫資料流程

對應資料流程有獨特的撰寫畫布,設計目的是讓建置轉換邏輯變得更容易。 資料流程畫布分為三個部分:頂端列、圖形和設定面板。

此螢幕擷取畫面顯示已標記頂端列、圖表和設定面板的資料流程畫布。

圖形

圖形會顯示轉換串流。 會在來源資料流入一或多個接收器時顯示其譜系。 若要新增新的來源,請選取 [新增來源]。 若要新增新的轉換,請選取現有轉換右下角的加號。 深入了解如何管理資料流程圖形

此螢幕擷取畫面顯示畫布的圖表部分與 [搜尋文字] 方塊。

設定面板

設定面板會顯示目前所選取轉換的特定設定。 如果未選取任何轉換,則會顯示資料流程。 在整體資料流程設定中,您可以透過 [參數] 索引標籤新增參數。如需詳細資訊,請參閱對應資料流程參數

每個轉換都包含至少四個設定索引標籤。

轉換設定

每個轉換設定窗格中的第一個索引標籤包含該轉換的特定設定。 如需詳細資訊,請參閱該轉換的文件頁面。

[來源設定] 索引標籤

最佳化

[最佳化] 索引標籤包含設定,可用來設定資料分割配置。 若要深入了解如何最佳化您的資料流程,請參閱對應資料流程效能指南

此螢幕擷取畫面顯示 [最佳化] 索引標籤,其中包括分割區選項、分割區類型和分割區數目。

檢查

[檢查] 索引標籤能讓您檢視正在轉換的資料流中繼資料。 您可以看見資料行計數、變更的資料行、新增的資料行、資料類型、資料行排序,以及資料行參考。 [檢查] 是您中繼資料的唯讀檢視。 您不需要啟用偵錯模式便可以在 [檢查] 窗格中查看中繼資料。

檢查

在您透過轉換變更資料的形狀時,您將會在 [檢查] 窗格中看到中繼資料變更流程。 如果您的來源轉換中沒有已定義的結構描述,中繼資料將不會在 [檢查] 窗格中顯示。 結構描述漂移案例經常會發生缺乏中繼資料的情況。

資料預覽

如果偵錯模式為開啟,則 [資料預覽] 索引標籤會提供每個轉換資料的互動式快照集。 如需詳細資訊,請參閱偵錯模式中的資料預覽

頂端列

頂端列包含會影響整個資料流程的動作,例如儲存和驗證。 您也可以檢視轉換邏輯的基礎 JSON 程式碼和資料流程指令碼。 如需詳細資訊,請了解資料流程指令碼

可用的轉換

請參閱對應資料流程轉換概觀,以取得可用轉換的清單。

資料流程資料類型

  • array
  • BINARY
  • boolean
  • 複雜
  • 十進位 (包含精確度)
  • date
  • FLOAT
  • 整數
  • long
  • map
  • short
  • 字串
  • timestamp

資料流程活動

對應資料流會使用資料流程活動在 ADF 管線內實際運作。 使用者只需要指定要使用的整合執行階段,並傳入參數值即可。 如需詳細資訊,請深入了解 Azure 整合執行階段

偵錯模式

當您建置及偵錯資料流程時,偵錯模式可讓您以互動方式查看每個轉換步驟的結果。 您可以在建置資料流程邏輯時,以及使用資料流程活動執行管線偵錯回合時,使用偵錯工作階段。 若要深入了解,請參閱偵錯模式文件

監視資料流

對應資料流可以與現有的 Azure Data Factory 監視功能整合。 若要了解如何理解資料流程監視輸出,請參閱監視對應資料流程

Azure Data Factory 團隊建立了效能微調指南,可協助您在建立商務邏輯之後,將資料流程的執行時間最佳化。

可用區域

對應資料流程可在 ADF 的下列區域中使用:

Azure 區域 ADF 中的資料流程
澳大利亞中部
澳大利亞中部 2
澳大利亞東部
澳大利亞東南部
巴西南部
加拿大中部
印度中部
美國中部
中國東部
中國東部 2
中國 (非區域)
中國北部
中國北部 2
東亞
美國東部
美國東部 2
法國中部
法國南部
德國中部 (主權)
德國 (非區域) (主權)
德國北部 (公共)
德國東北部 (主權)
德國中西部 (公共)
日本東部
日本西部
南韓中部
南韓南部
美國中北部
北歐
挪威東部
挪威西部
南非北部
南非西部
美國中南部
印度南部
東南亞
瑞士北部
瑞士西部
阿拉伯聯合大公國中部
阿拉伯聯合大公國北部
英國南部
英國西部
US DoD 中部
US DoD 東部
US Gov 亞利桑那州
US Gov (非區域)
US Gov 德克薩斯州
US Gov 維吉尼亞州
美國中西部
西歐
印度西部
美國西部
美國西部 2
美國西部 3

下一步