Change Data Capture (CDC) nel processo di copia dei dati (anteprima)

2025-05-20

Questo articolo descrive la funzionalità Change Data Capture (CDC) nel processo di copia e come usarla.

Informazioni su Change Data Capture (CDC) nel processo di copia

Change Data Capture (CDC) nel processo di copia è una potente funzionalità di Fabric Data Factory che consente una replica efficiente e automatizzata dei dati modificati, inclusi i record inseriti, aggiornati ed eliminati da un'origine a una destinazione. Ciò garantisce che i dati di destinazione rimangano aggiornati senza sforzo manuale, migliorando l'efficienza nell'integrazione dei dati riducendo al contempo il carico nel sistema di origine.

Vantaggi principali di CDC nell'attività di copia

Nessun intervento manuale: acquisisce automaticamente le modifiche incrementali (inserimenti, aggiornamenti, eliminazioni) direttamente dall'origine.
Replica automatica: mantiene i dati di destinazione sincronizzati continuamente con le modifiche all'origine.
Prestazioni ottimizzate: elabora solo i dati modificati, riducendo il tempo di elaborazione e riducendo al minimo il carico sull'origine.
Copia incrementale più intelligente: rileva automaticamente le tabelle di origine abilitate per CDC e consente di selezionare la copia incrementale basata su CDC o basata su filigrana per ogni tabella.

Funzionamento: copia incrementale basata su CDC (Change Data Capture) e basata su filigrana (watermark)

Copia incrementale basata su CDC: se il database di origine ha abilitato CDC, il processo di copia acquisisce e replica automaticamente inserimenti, aggiornamenti ed eliminazioni nella destinazione, applicando le modifiche esatte.
Copia incrementale basata su marcatore: se CDC non è abilitato nel database di origine, il processo di copia rileva le modifiche confrontando una colonna incrementale (ad esempio, timestamp o ID) con l'ultima esecuzione, appende o unisce i dati modificati alla destinazione in base alla configurazione.

Connettori supportati

Attualmente, CDC in Copy job supporta gli archivi dati di origine e di destinazione seguenti. Stiamo aggiungendo altro e ti preghiamo di rimanere sintonizzati.

Archivio di origine supportato:

DB di Azure SQL
SQL Server in loco
Istanza SQL gestita di Azure

Negozio di destinazione supportato

DB di Azure SQL
SQL Server in loco
Istanza SQL gestita di Azure

Come iniziare:

Completare i passaggi seguenti per creare un nuovo processo di copia per inserire dati dal database SQL di Azure tramite CDC a un altro database SQL di Azure:

Assicurarsi che Change Data Capture (CDC) sia abilitato nel database e nelle tabelle nell'archivio di origine supportato. In questo caso, si tratta del database SQL di Azure.
Annotazioni
- È consigliabile abilitare CDC per tutte le tabelle indicate in precedenza.
- Assicurarsi che supports_net_changes sia abilitato.
- Tutte le colonne della tabella di origine devono essere identificate come colonne acquisite come predefinite.
Per altre informazioni, vedere Abilitare e disabilitare Change Data Capture - SQL Server | Microsoft Learn.
Selezionare + Nuovo elemento, scegliere l'icona Copia processo , assegnare un nome al processo di copia e fare clic su Crea.

Screenshot che mostra come navigare alla pagina iniziale di Data Factory e creare una nuova attività di copia.
Scegliere gli archivi dati da cui copiare i dati. In questo esempio scegliere database SQL di Azure.
Immettere il percorso del server e le credenziali per connettersi al database SQL di Azure. È possibile copiare i dati in modo sicuro all'interno di un ambiente VNET utilizzando un gateway in locale o un gateway VNET.
È necessario avere una chiara visibilità delle tabelle di origine abilitate da CDC. Selezionare le tabelle con CDC attivato per la copia.

Tabelle con CDC abilitato:

Tabelle senza CDC abilitato:
Seleziona il tuo negozio di destinazione. In questo esempio scegliere un altro database SQL di Azure.
Il metodo Update predefinito deve essere impostato su Merge e le colonne chiave necessarie corrispondono alla chiave primaria definita nell'archivio di origine per impostazione predefinita.
Seleziona Copia incrementale e vedrai che non è richiesta alcuna colonna Incrementale per ciascuna tabella per tenere traccia delle modifiche.

Annotazioni

Il Copy Job esegue inizialmente un caricamento completo e successivamente esegue copie incrementali nei run successivi tramite CDC.
Esaminare il riepilogo del processo, impostare l'opzione di esecuzione su secondo la pianificazione e fare clic su Salva + Esegui.

Annotazioni

Assicurarsi che il periodo di conservazione dei log CDC sia più lungo dell'intervallo tra le esecuzioni pianificate; in caso contrario, i dati modificati acquisiti da CDC potrebbero essere persi se non elaborati entro il periodo di conservazione.
Il processo di copia verrà avviato immediatamente. La prima esecuzione copierà uno snapshot completo iniziale.
Aggiornare le tabelle di origine inserendo, aggiornando o eliminando righe.
Eseguire di nuovo il processo di copia per acquisire e replicare tutte le modifiche, incluse le righe inserite, aggiornate ed eliminate, nella destinazione.

Limitazioni note

Quando le tabelle di origine abilitate per CDC e non abilitate per CDC vengono selezionate in un processo di copia, tutte le tabelle vengono considerate come copia incrementale basata su filigrana.
Quando sono selezionate tabelle di origine abilitate per CDC, non è possibile configurare il mapping delle colonne e il database temporaneo.
Le istanze di acquisizione personalizzate non sono supportate; è supportata solo l'istanza di acquisizione predefinita.
SCD2 non è attualmente supportato per il data store di origine abilitato per CDC.
DDL non è ancora supportato nel processo di copia.

Condividi tramite