Flux de modification Azure Synapse Link pour SQL

  • Article

S’applique à : SQL Server 2022 (16.x) Azure SQL DatabaseAzure Synapse Analytics

Cet article fournit des détails sur le fonctionnement du flux de modification Azure Synapse Link pour SQL, une nouvelle fonctionnalité de SQL Server 2022 (16.x) et Azure SQL Database.

SQL Server 2022 (16.x) introduit une nouvelle fonctionnalité qui permet d’établir une connectivité entre les tables SQL Server et la plateforme Microsoft Azure Synapse, appelée Azure Synapse Link pour SQL. Azure Synapse Link pour SQL fournit des flux de modification automatiques qui capturent les modifications dans SQL Server et qui les chargent dans Azure Synapse Analytics.

Cette fonctionnalité n’est pas encore disponible pour Azure SQL Managed Instance.

Remarque

L’activation d’Azure Synapse Link pour SQL crée un utilisateur de base de données changefeed, un schéma changefeed et plusieurs tables dans le schéma changefeed dans la base de données source. Ne modifiez aucun de ces objets, qui sont gérés par le système.

Zone d'atterrissage

Pour plus d’informations sur la zone d’atterrissage pour Azure Synapse Link pour SQL Server, consultez Zone d’atterrissage Azure Synapse Link pour SQL Server.

Alors qu'Azure Synapse Link pour SQL Server implique des ressources Azure provisionnées par l'utilisateur, notamment un compte de stockage Azure Data Lake Storage (ADLS) Gen2, l'Azure Synapse Link pour Azure SQL Database est entièrement géré, y compris le provisionnement de la zone d'atterrissage, et utilise des processus de détection des modifications similaires à ceux décrits dans cet article. Pour plus d’informations, consultez Azure Synapse Link pour Azure SQL Database.

Pour SQL Server, l'emplacement de la zone d'atterrissage d'Azure Storage est géré par le client et visible, mais il n'est pas recommandé ni pris en charge de consommer ou de modifier les fichiers de la zone d'atterrissage.

Fonctionnalité de flux de modification

Un administrateur de SQL Server peut activer Azure Synapse Link sur une table vide ou une table contenant déjà des données. La table source doit avoir une clé primaire.

Sur une table qui contient déjà des données, Azure Synapse Link amorce la zone d’atterrissage avec un instantané complet initial de la table source. Quand une table SQL Server existante contenant des données est ajoutée à Azure Synapse Link, un instantané complet du jeu initial de données est généré. Le fichier d’instantané initial est un fichier au format .parquet qui est transmis à la zone d’atterrissage dans ADLS Gen2.

Azure Synapse Link prend en charge l’envoi à faible latence des modifications apportées aux tables sources à la zone d’atterrissage dans Stockage Azure. Le flux de modification utilise un fichier CSV pour publier ces modifications sur Azure Synapse. Ce format tabulaire est naturellement compatible avec l’écriture à cadence élevée (de l’ordre de quelques secondes) des modifications de données au niveau des lignes. La plupart des fichiers CSV doivent être relativement petits.

Capture des modifications

La capture des modifications pour Azure Synapse Link est similaire à la technologie de capture des changements de données (CDC) existante. La source des changements de données est le journal des transactions SQL Server. Le flux de modification lit le journal et ajoute des informations sur les modifications à la zone d’atterrissage.

CDC fonctionne en récoltant le journal des transactions pour capturer toutes les modifications effectuées sur une ou plusieurs tables sources.

  • Dans CDC, les données modifiées sont remplies en interne dans une table sœur dans la base de données.
  • Dans Azure Synapse Link, les données sont lues directement à partir du journal des transactions de la base de données, mises en cache en mémoire et ultérieurement écrites dans la zone d’atterrissage dans Stockage Azure.

Une panne de stockage peut entraîner l’indisponibilité de la zone d’atterrissage et le blocage des publications sur cette zone. Semblable au comportement constaté si l’agent de lecture du journal CDC SQL Server échoue ou ne s’exécute pas, le journal des transactions de la base de données source ne peut pas être tronqué. En cas de panne de stockage prolongée ou de modification de la configuration du stockage le rendant inaccessible, arrêtez Azure Synapse Link via Synapse Studio.

Prise en charge de la haute disponibilité

Azure Synapse Link pour SQL Server est compatible avec les groupes de disponibilité Always On et les instances de cluster de basculement (FCI).

Si une capture instantanée initiale était en cours et qu'il est interrompu pour une raison quelconque, le processus d'exportation de l'instantané initial redémarre. C’est le cas si SQL Server bascule sur une instance de cluster de basculement ou un groupe de disponibilité synchrone.

Bases de données mises en miroir Fabric

La fonctionnalité base de données mise en miroir Fabric utilise une technologie de flux de modification similaire à celle d’Azure Synapse Link et partage certains objets système. Pour plus d’informations, consultez l’article suivant :

Contenu connexe