以累加方式將資料從來源資料存放區載入到目的地資料存放區

適用於:Azure Data Factory Azure Synapse Analytics

提示

試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用

在資料整合解決方案中,我們經常會見到在初次載入完整資料之後,再以累加方式 (或差異) 載入資料的情形。 本節的教學課程會說明各種使用 Azure Data Factory 來累加載入資料的方式。

使用水位線從資料庫載入差異資料

在此案例中,您會在來源資料庫中定義水位線。 水位線這個資料行上會有上次更新時間戳記或遞增索引鍵。 差異載入解決方案會載入舊水位線和新水位線之間有所變更的資料。 下圖會說明這種方法的工作流程:

Workflow for using a watermark

如需逐步指示,請參閱下列教學課程:

如需範本,請參閱下列資訊:

使用變更追蹤技術從 SQL DB 載入差異資料

變更追蹤技術是 SQL Server 和 Azure SQL Database 中的輕量型解決方案,可為應用程式提供有效率的變更追蹤機制。 它可讓應用程式輕鬆地識別已插入、更新或刪除的資料。

下圖會說明這種方法的工作流程:

Workflow for using Change Tracking

如需逐步指示,請參閱下列教學課程:

只能藉由使用 LastModifiedDate 載入新的和變更的檔案

藉由使用 LastModifiedDate,您可以只將新的和變更的檔案複製到目的地存放區。 ADF 會掃描來源存放區的所有檔案,並以這些檔案的 LastModifiedDate 套用檔案篩選器,然後將自最後一次修改時間以來的新增檔案和更新檔案複製到目的地存放區。 請注意,如果您讓 ADF 掃描大量檔案,但您只將幾個檔案複製到目的地,則會因為檔案掃描程式的緣故需要等待很長的時間。

如需逐步指示,請參閱下列教學課程:

如需範本,請參閱下列資訊:

只能藉由使用時間分割的資料夾或檔案的名稱,載入新檔案。

您只能複製新檔案,其中的檔案或資料夾已經過時間分割,並以時間片段資訊作為檔案或資料夾名稱的一部分 (例如 /yyyy/mm/dd/file.csv)。 以累加方式載入新檔案是效能最高的方法。

如需逐步指示,請參閱下列教學課程:

前進到下列教學課程: