分享方式：

異動資料擷取資源概觀

  • 文章

適用於：Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory，這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用！

對於負責建置複雜資料整合和 ETL 管線的資料工程師而言，適應雲端優先的巨量資料世界可能會非常具有挑戰性。

Azure Data Factory 引進了新的機制，讓資料工程師的生活得駕輕就熟。

ADF 會自動偵測來源的資料變更，而不需要複雜的設計或編碼，使調整這些程序變得輕而易舉。 異動資料擷取現在會以 Azure Data Factory Studio 中新的原生最上層資源形式存在，資料工程師可在其中快速設定持續執行的作業，以利用極端效率大規模處理巨量資料。

ADF 中新的異動資料擷取資源允許完整逼真度變更資料擷取，這些異動資料擷取可透過引導式設定體驗，以近乎即時的方式持續執行。

[處理站資源] 面板中新的最上層資源的螢幕擷取畫面。

注意

Azure Data Factory 中的異動資料擷取資源目前為公開預覽狀態

支援的資料來源

  • Avro
  • Azure Cosmos DB (SQL API)
  • Azure SQL Database
  • Azure SQL 受控執行個體
  • 分隔的文字
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

支援的目標

  • Avro
  • Azure SQL Database
  • SQL 受控執行個體
  • 分隔的文字
  • 差異
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

已知的限制

  • 目前，在建立來源/目標對應時，每個來源和目標只能使用一次。
  • 目前不支援複雜類型類型。
  • 目前不支援自我裝載整合執行階段 (SHIR)。

如需已知限制和疑難排解協助的詳細資訊，請參閱此疑難排解指南。

Azure Synapse Analytics 做為目標

使用 Azure Synapse Analytics 做為目標時，主要資料表畫布上會提供暫存設定。 選取 Azure Synapse Analytics 做為目標時，必須啟用暫存。 這會利用 COPY INTO 命令等高效能大量載入功能，可大幅提升寫入效能。 暫存設定可以透過兩種方式進行設定：使用 Factory 設定或選擇自訂設定。 Factory 設定會套用在處理站層級。 第一次，如果未設定這些設定，系統會將您導向至設定的全域暫存設定區段。 設定之後，所有 CDC 最上層資源都會採用此設定。 自訂設定的範圍僅限於其設定的 CDC 資源，並會覆寫 Factory 設定。

注意

當我們使用 COPY INTO 命令將資料從暫存位置傳輸到 Azure Synapse Analytics 時，建議確保 Azure Synapse Analytics 內預先設定所有必要的權限。

注意

我們在啟動 CDC 時，一律會使用上次發佈的設定。 若要執行 CDC，當您的資料正在進行處理時，將會向您收取一般用途資料流程的 4 個虛擬核心費用。

相關內容