Microsoft Fabric 中的 Data Factory 常見問題

本文提供 Microsoft Fabric 中 Data Factory 常見問題的解答。

Azure Data Factory (ADF) 和 Synapse Pipelines 的未來為何?

Azure Data Factory (ADF) 和 Azure Synapse 管線會維護個別的平臺即服務 (PaaS) 藍圖。 這兩個解決方案會繼續與網狀架構 Data Factory 共存,後者是軟體即服務 (SaaS) 供應專案。 ADF 和 Synapse 管線仍然完全受到支援,而且沒有淘汰的計劃。 請務必強調,對於任何即將推出的專案,我們的建議是使用網狀架構 Data Factory 來起始這些專案。 此外,我們有策略來協助將ADF和Synapse管線轉換至 Fabric Data Factory,讓他們能夠利用新的網狀架構功能。 您也可以在這裡了解更多資訊。

假設 Data Factory for Fabric 中的功能差距,選擇它的原因為何?在 ADF / Synapse 管線上?

當我們努力橋接功能差距,並將 ADF/Azure Synapse 管線中找到的健全數據管線協調流程和工作流程功能納入 Fabric Data Factory 中時,我們承認 ADF /Synapse 管線中存在的某些功能對於您的需求而言可能很重要。 如果有必要的話,建議您繼續使用ADF/Synapse管線,但建議您先在 Fabric 中探索新的資料整合可能性。 您對哪些功能的意見反應對於您的成功至關重要,是無價的。 為了方便進行這項作業,我們正積極努力引進新功能,以便將現有的數據處理站從 Azure 移轉至網狀架構工作區。

Fabric Data Factory 中的新功能是否也適用於 ADF/Synapse?

我們不會將新功能從網狀架構管線回送至 ADF / Synapse 管線。 我們會針對 Fabric Data Factory 和 ADF/ Synapse 維護兩個不同的藍圖。 我們會評估回送要求,以回應傳入的意見反應。

網狀架構管線是否與 Azure Synapse Pipeline 相同?

Fabric 管線的主要功能類似於 Azure Synapse 管線,但透過使用 Fabric 管線,用戶可以在 Fabric 平臺中套用所有數據分析功能。 您可以在這裡找到 Fabric 管線與 Azure Synapse 管線之間的顯著差異和功能對應: Fabric 與 Azure 中的 Data Factory 之間的差異。

Data Factory 與 Fabric 中的數據工程索引標籤有何差異?

Data Factory 可協助您使用雲端規模數據移動和數據轉換服務來解決複雜的數據整合和 ETL 案例,而數據工程可協助您建立 Lake House、使用 Apache Spark 來轉換和準備數據。 Microsoft Fabric 術語提供每個 Fabric 術語/體驗之間的差異。

哪裡可以找到 Fabric 中可用的每月更新?

Microsoft Fabric 部落格提供網狀架構每月更新。

如何? 將現有的管線從 Azure Data Factory (或) Azure Synapse 工作區移轉至 Fabric Data Factory?

為了協助客戶從 Azure Data Factory 轉換至 Microsoft Fabric(ADF),我們提供一系列基本功能和支持機制。 首先,我們為 Fabric 內 ADF 中使用的大部分活動提供全面支援,以及新增專為 Teams 和 Outlook 功能等通知量身打造的新活動。 客戶可以在 Fabric 記憶體取 Data Factory 中可用活動的詳細清單。 此外,我們已在 Azure Data Factory 中引進 Fabric Lakehouse /Warehouse 連接器,讓 ADF 客戶的 OneLake 環境能夠順暢地整合數據。 我們也提供 ADF客戶的 指南,協助將現有的對應數據流轉換對應至新的數據流 Gen2 轉換。 展望未來,作為藍圖的一部分,我們包括將ADF資源掛接至 Fabric 的功能,讓客戶能夠保留其在 Azure 上現有ADF管線的功能,同時探索網狀架構並規劃完整的升級策略。 我們正在與客戶和社區密切合作,以判斷支援將數據管線從ADF移轉至 Fabric 的最有效方式。 作為這項工作的一部分,我們將提供升級體驗,讓您能夠透過掛接和升級這些管線,在 Fabric 中測試目前的數據管線。

如何? 追蹤和監視與管線搭配使用的網狀架構容量?

Microsoft Fabric 容量管理員可以使用 Microsoft Fabric 容量計量 應用程式,也稱為計量應用程式,以深入瞭解容量資源。 此應用程式可讓系統管理員查看資料管線、數據流,以及其網狀架構容量工作區中其他專案的CPU使用率、處理時間和記憶體使用量。 深入瞭解多載原因、尖峰需求時間、資源耗用量,以及更容易識別最需求或最熱門的專案。

Fabric 數據流 Gen2 是否類似於內嵌在 Azure Data Factory 中的 Power Query?

ADF 內的 Power Query 活動與數據流 Gen2 共用相似之處,但它具有額外的功能,可讓寫入特定數據目的地等動作。此比較更符合數據流 Gen1(Power BI 數據流或 Power Apps 數據流)。 如需詳細資訊,請參閱這裡: 數據流 Gen1 和 Dataflow Gen2 之間的差異。

如何連線到 Fabric Data Factory 中的內部部署數據源?

使用內部部署數據閘道,客戶現在 可以使用資料流和數據管線連線到內部部署數據源(預覽版)與 Microsoft Fabric 中的 Data Factory。 若要深入瞭解,請參閱 如何在Data Factory中存取內部部署數據源。

是否可以連線到 Fabric Data Factory 中已啟用現有私人端點 (PE) 的資源?

目前,VNet 閘道提供插入方法,可順暢地整合到您的虛擬網路中,提供使用私人端點建立數據存放區安全連線的健全途徑。 請務必注意,VNet 閘道目前只容納網狀架構數據流。 不過,我們即將推出的計劃包括擴大其功能,以包含網狀架構管線。

在網狀架構數據管線中內嵌數據的速度有多快?

網狀架構Data Factory 可讓您開發管線,以將環境的數據移動輸送量最大化。 這些管線充分利用下列資源:

  • 來源與目的地資料存放區之間的網路頻寬
  • 來源或目的地資料存放區每秒輸入/輸出作業 (IOPS) 和頻寬 此完整使用率表示您可以測量下列資源可用的最小輸送量來估計整體輸送量:
  • 來源資料存放區
  • 目的地資料存放區
  • 同時,在來源和目的地數據存放區之間的網路頻寬,我們持續致力於創新,以提升您可以達到的最佳輸送量。 目前,服務可以在 5 分鐘內將 1 TB TPC-DI 數據集 (parquet 檔案) 移至 Fabric Lakehouse 數據表和數據倉儲 - 移動 1B 個數據列低於 1 分鐘:請注意,此效能只是執行上述測試數據集的參考。 實際輸送量仍取決於先前列出的因素。 此外,您一律可以平行執行多個複製活動來乘以輸送量。 例如,使用 ForEach 迴圈。

建議在 Fabric 的 Data Factory 中指派角色的方法為何?

您可以在工作區之間分隔不同的工作負載,並使用成員和查看器等角色,讓數據工程工作區預先準備用於報表或 AI 定型之工作區的數據。 使用查看器角色,您便可以從數據工程工作區取用數據。

CDC 功能是否會在 Fabric 的 Data Factory 中使用?

我們目前的焦點牽涉到 Data Factory In Fabric 內 CDC 功能的主動開發。 這項即將推出的功能可讓您跨多個數據源移動數據,結合不同的複製模式,包括大量/批次複製模式、累加/連續複製模式(CDC)和實時複製模式,以一個 5x5 體驗。

在 Fabric DataFlow Gen2 中,我偶爾會遇到 DataflowsStaginglakehouse / DataflowsStagingwarehouse 等功能。 您可以提供更多有關此情況的詳細數據嗎?

在某些用戶體驗中,您可能會遇到不適合互動的系統成品。 最好忽略這些成品,因為它們最終會從未來取得數據體驗中移除。

什麼是 Fabric Data Factory 定價/計費模型?

Microsoft Fabric 中的 Data Factory 定價提供如何計算數據管線和數據流 Gen2 成本的完整指南。 其中包含數個定價範例案例,可協助您進一步了解定價模式。

哪裡可以找到有關 Microsoft Fabric 中 Data Factory 所規劃即將推出的功能詳細資訊?

Microsoft Fabric 中 Data Factory 的新功能和計劃提供未來功能及其未來幾個月預估發行時程表的深入解析。