說明 Azure Data Factory 轉換方法

已完成

如同 Azure Data Factory 提供各種不同的方法來內嵌資料,其也提供一系列的方法來執行轉換。 您可以挑選符合小組技能的方法,或利用您資料資產中現有的技術。 此外,也可以趁此機會使用對應資料流,在完全不需要撰寫程式碼的情況下執行轉換。

使用對應資料流來轉換資料

對應資料流提供的環境可讓您以視覺化方式建立各種資料轉換,而且不需要使用程式碼。 所建立的資料流程接著會在擴增的 Apache Spark 叢集上執行,而這些叢集會在您執行對應資料流時自動佈建。 對應資料流也提供監視轉換執行的功能,讓您可以檢視轉換的進度,或了解任何可能發生的錯誤

使用計算資源來轉換資料

Azure Data Factory 也可以呼叫計算資源,透過可能更適合該工作的資料平台服務來轉換資料。 其中一個絕佳的範例,就是 Azure Data Factory 可以建立通往分析資料平台 (例如 Azure Synapse Analytics 執行個體中的 Spark 集區) 的管線,以使用 Python 執行複雜的計算。 另一個範例可能是將資料傳送至 Azure SQL Database 執行個體,以使用 Transact-SQL 執行預存程序。 有廣泛的計算資源,以及其可以執行的相關聯活動,如下表所示:

計算環境 activities
隨選 HDInsight 叢集或您自己的 HDInsight 叢集 Hive、Pig、Spark、MapReduce、Hadoop Streaming
Azure Batch 自訂活動
Azure Machine Learning Studio 機器 學習活動︰批次執行和更新資源
Azure Machine Learning Azure Machine Learning 執行管線
Azure Data Lake Analytics Data Lake Analytics U-SQL
Azure SQL、Azure SQL 資料倉儲、SQL Server 預存程序
Azure Databricks Notebook、Jar、Python
Azure Function Azure 函式活動

使用 SQL Server Integration Services (SSIS) 套件來轉換資料

許多組織在 SSIS 套件中都有數十個開發投資,而這些套件同時包含來自內部部署和雲端資料存放區的內嵌和轉換邏輯。 Azure Data Factory 藉由建立 Azure-SSIS Integration Runtime 以原生方式執行 SSIS 套件,讓您可以隨即轉移現有的 SSIS 工作負載。 有了 Azure-SSIS Integration Runtime,您可以使用熟悉的工具 (例如 SQL Server Data Tools (SSDT) 和 SQL Server Management Studio (SSMS)),就像在內部部署環境中使用 SSIS 一樣,不太需要變更就能部署和管理現有的 SSIS 套件。