Azure Data Factory 中的對應資料流

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用！

什麼是對應資料流程？

對應資料流程是 Azure Data Factory 中以視覺化方式設計的資料轉換。 資料流程可讓工程師在無須撰寫程式碼的情況下開發資料轉換邏輯。 資料流程結果會在使用擴增 Apache Spark 叢集的 Azure Data Factory 管線內以活動的形式執行。 資料流程活動可以透過現有的 Azure Data Factory 排程、控制、流程和監視功能來運作。

對應資料流程提供不需要撰寫程式碼的完全視覺效果體驗。 您的資料流程會在 ADF 管理的執行叢集中執行，以進行擴增的資料處理。 Azure Data Factory 會處理所有的程式碼轉譯、路徑最佳化，以及您資料流程作業的執行。

開始使用

資料流程會從處理站資源窗格中建立，例如管線和資料集。 若要建立資料流程，請選取 [處理站資源]旁的加號，然後選取 [資料流程]。

此動作會帶您前往資料流程畫布，您可以在其中建立轉換邏輯。 選取 [新增來源] 開始設定來源轉換。 如需詳細資訊，請參閱來源轉換。

撰寫資料流程

對應資料流程有獨特的撰寫畫布，設計目的是讓建置轉換邏輯變得更容易。 資料流程畫布分為三個部分：頂端列、圖形和設定面板。

圖表

圖形會顯示轉換串流。 會在來源資料流入一或多個接收器時顯示其譜系。 接收可以是您想要移動已轉換資料結果的任何資料源目的地。 若要新增新的來源，請選取 [新增來源]。 若要新增新的轉換，請選取現有轉換右下角的加號。 深入了解如何管理資料流程圖形。

設定面板

設定面板會顯示目前所選取轉換的特定設定。 如果未選取任何轉換，則會顯示資料流程。 在整體資料流組態中，您可以透過 [參數] 索引標籤新增參數。如需詳細資訊，請參閱對應資料流參數。

每個轉換都包含至少四個設定索引標籤。

轉換設定

每個轉換設定窗格中的第一個索引標籤包含該轉換的特定設定。 如需詳細資訊，請參閱該轉換的文件頁面。

最佳化

[最佳化] 索引標籤包含設定，可用來設定資料分割配置。 若要深入了解如何最佳化您的資料流程，請參閱對應資料流程效能指南。

檢查

[檢查] 索引標籤能讓您檢視正在轉換的資料流中繼資料。 您可以看見資料行計數、變更的資料行、新增的資料行、資料類型、資料行排序，以及資料行參考。 [檢查] 是您中繼資料的唯讀檢視。 您不需要啟用偵錯模式便可以在 [檢查] 窗格中查看中繼資料。

在您透過轉換變更資料的形狀時，您可以在 [檢查] 窗格中看到中繼資料變更流程。 如果您的來源轉換中沒有已定義的結構描述，中繼資料將不會在 [檢查] 窗格中顯示。 結構描述漂移案例經常會發生缺乏中繼資料的情況。

資料預覽

如果偵錯模式為開啟，則 [資料預覽] 索引標籤會提供每個轉換資料的互動式快照集。 如需詳細資訊，請參閱偵錯模式中的資料預覽。

頂端列

頂端列包含會影響整個資料流程的動作，例如儲存和驗證。 您也可以檢視轉換邏輯的基礎 JSON 程式碼和資料流程指令碼。 如需詳細資訊，請了解資料流程指令碼。

可用的轉換

請參閱對應資料流程轉換概觀，以取得可用轉換的清單。

資料流程資料類型

• 陣列
• binary
• boolean
• complex
• 十進位 (包含精確度)
• date
• float
• integer
• long
• map
• short
• string
• timestamp

資料流程活動

對應資料流會使用資料流程活動在 ADF 管線內實際運作。 使用者只需要指定要使用的整合執行階段，並傳入參數值即可。 如需詳細資訊，請深入了解 Azure 整合執行階段。

偵錯模式

當您建置及偵錯資料流程時，偵錯模式可讓您以互動方式查看每個轉換步驟的結果。 您可以在建立資料流程邏輯時，以及在使用資料流程活動執行管線偵錯回合時，使用偵錯工作階段。 若要深入了解，請參閱偵錯模式文件。

監視資料流

對應資料流可以與現有的 Azure Data Factory 監視功能整合。 若要了解如何理解資料流程監視輸出，請參閱監視對應資料流程。

Azure Data Factory 團隊建立了效能微調指南，可協助您在建立商務邏輯之後，將資料流程的執行時間最佳化。

相關內容

• 了解如何建立來源轉換。
• 了解如何在偵錯模式中建置資料流程。