Postupné načítání dat ze zdrojového úložiště dat do cílového úložiště dat

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Hledáte snadný způsob, jak přesunout data? Úloha kopírování v Microsoft Fabric nabízí jednoduchý a škálovatelný způsob načítání dat, aniž by bylo nutné vytvářet datový kanál. Zjistěte, jak ho vytvořit.

V řešení integrace dat je přírůstkové (nebo rozdílové) načítání dat po počátečním úplném načtení dat často používaný scénář. Kurzy v této části vám ukážou různé způsoby načítání dat přírůstkově pomocí Azure Data Factory.

Rozdílové načítání dat z databáze pomocí vodoznaku

V tomto případě definujete vodoznak ve zdrojové databázi. Mez je sloupec, který obsahuje časové razítko poslední aktualizace nebo narůstající klíč. Řešení rozdílového načítání načte změněná data mezi původní značkou a novou značkou. Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:

Podrobné pokyny najdete v následujících kurzech:

• Přírůstkové kopírování dat z jedné tabulky ve službě Azure SQL Database do úložiště Azure Blob Storage
• Přírůstkové kopírování dat z více tabulek v instanci SQL Serveru do Azure SQL Database

Pro šablony viz následující:

• Rozdílová kopie s řídicí tabulkou

Rozdílové načítání dat z databáze SQL pomocí technologie sledování změn

Technologie Change Tracking je jednoduché řešení na SQL Serveru a ve službě Azure SQL Database, které poskytuje mechanismus efektivního sledování změn pro aplikace. Umožňuje aplikaci snadno identifikovat data, která byla vložena, aktualizována nebo odstraněna.

Pracovní postup pro tento přístup je znázorněn v následujícím diagramu:

Podrobné pokyny najdete v následujícím kurzu:

• Přírůstkové kopírování dat ze služby Azure SQL Database do úložiště Azure Blob Storage pomocí technologie Change Tracking

Načítání nových a změněných souborů pouze pomocí funkce LastModifiedDate

Nové a změněné soubory můžete zkopírovat pouze pomocí funkce LastModifiedDate do cílového úložiště. ADF prohledá všechny soubory ze zdrojového úložiště, použije filtr souborů podle lastModifiedDate a zkopíruje nový a aktualizovaný soubor pouze od posledního data do cílového úložiště. Pokud necháte ADF prohledávat velké objemy souborů, ale zkopírujete do cíle jenom několik souborů, bude to kvůli procesu prohledávání souborů trvat dlouhou dobu.

Podrobné pokyny najdete v následujícím kurzu:

• Přírůstkové kopírování nových a změněných souborů na základě LastModifiedDate ze služby Azure Blob Storage do služby Azure Blob Storage

Šablony najdete v následujícím:

• Kopírování nových souborů podle LastModifiedDate

Načítání nových souborů pouze pomocí časového oddílu složky nebo názvu souboru

Nové soubory můžete kopírovat pouze v případě, že soubory nebo složky už byly rozdělené na oddíly s informacemi o timeslice jako součást názvu souboru nebo složky (například /yyyy/mm/dd/file.csv). Jedná se o nejvýkonnější přístup pro přírůstkové načítání nových souborů.

Podrobné pokyny najdete v následujícím kurzu:

• Přírůstkové kopírování nových souborů na základě časově odděleného adresáře nebo názvu souboru z úložiště Azure Blob do úložiště Azure Blob

Související obsah

Přejděte k následujícímu kurzu:

Přírůstkové kopírování dat z jedné tabulky ve službě Azure SQL Database do úložiště Azure Blob Storage