列出 Data Factory 內嵌方法
Azure Data Factory 可以容納從不同起點開始資料整合專案的組織。 資料移轉專案很少會成為綠色欄位專案。 通常,許多資料整合工作流程都必須考慮已在先前專案上建立的現有管線,其具有不同的相依性和使用不同的技術。 最終,有各種內嵌方法,可以用來從各種來源擷取資料。
使用複製活動來內嵌資料
使用這個方法來建置無程式碼的資料內嵌管線,這些管線在擷取資料期間不需要任何轉換。 複製活動支援超過 100 個的原生連接器。 此方法可適合綠色欄位專案,這些專案具有簡單方法,可將資料擷取至中繼資料存放區。 使用複製活動來內嵌資料的範例包括從多個來源資料庫系統擷取資料,以及將資料輸出至資料湖存放區中的檔案。 這個內嵌方法的優點是它們很容易建立,但無法處理複雜的轉換或商務邏輯。
使用計算資源來內嵌資料
Azure Data Factory 可以在計算資源上進行呼叫,透過可能更適合工作的資料平台服務來處理資料。 其中一個絕佳的範例,就是 Azure Data Factory 可以建立分析資料平台的管線 (例如 Azure Synapse Analytics 執行個體中的 Spark 集區),來執行會產生新資料的複雜計算。 然後,此資料會內嵌回管線,以執行進一步的下游處理。 有廣泛的計算資源,以及它們可以執行的相關聯活動,如下表所示:
計算環境 | activities |
---|---|
隨選 HDInsight 叢集或您自己的 HDInsight 叢集 | Hive、Pig、Spark、MapReduce、Hadoop Streaming |
Azure Batch | 自訂活動 |
Azure Machine Learning Studio 機器 | 學習活動︰批次執行和更新資源 |
Azure Machine Learning | Azure Machine Learning 執行管線 |
Azure Data Lake Analytics | Data Lake Analytics U-SQL |
Azure SQL、Azure SQL 資料倉儲、SQL Server | 預存程序 |
Azure Databricks | Notebook、Jar、Python |
Azure Function | Azure 函式活動 |
使用 SSIS 套件內嵌資料
許多組織在 SQL Server Integration Services (SSIS) 套件中都有數十個開發投資,而這些套件同時包含來自內部部署和雲端資料存放區的內嵌和轉換邏輯。 Azure Data Factory 藉由建立 Azure-SSIS Integration Runtime 以原生方式執行 SSIS 套件,讓您能夠隨即轉移現有的 SSIS 工作負載,並可讓您使用熟悉的工具 (例如 SQL Server Data Tools (SSDT) 和 SQL Server Management Studio (SSMS)) 來部署和管理現有的 SSIS 套件,就像使用 SSIS 內部部署一樣。