Azure Synapse Link para fuente de cambios de SQL

  • Artículo

Se aplica a los siguientes servicios: SQL Server 2022 (16.x) Azure SQL DatabaseAzure Synapse Analytics

En este artículo se incluyen detalles sobre cómo funciona Azure Synapse Link para la fuente de cambios de SQL, una característica nueva para SQL Server 2022 (16.x) y Azure SQL Database.

SQL Server 2022 (16.x) introduce una nueva característica que permite la conectividad entre las tablas de SQL Server y la plataforma Microsoft Azure Synapse, denominada Azure Synapse Link para SQL. Azure Synapse Link para SQL proporciona fuentes de cambios automáticas que capturan los cambios dentro de SQL Server y los cargan en Azure Synapse Analytics.

Actualmente esta característica no está disponible para Azure SQL Managed Instance.

Nota:

Al habilitar Azure Synapse Link para SQL, se creará un usuario de base de datos changefeed, un esquema changefeed y varias tablas dentro del esquema changefeed de la base de datos de origen. No modifique ninguno de estos objetos: los administra el sistema.

Zona de aterrizaje

Para obtener más información sobre la zona de aterrizaje de Azure Synapse Link para SQL Server, consulte Azure Synapse Link para zona de aterrizaje de SQL Server.

Aunque Azure Synapse Link para SQL Server implica que el usuario aprovisione recursos de Azure, incluida una cuenta de almacenamiento de Azure Data Lake Storage (ADLS) Gen2, Azure Synapse Link para Azure SQL Database está totalmente administrado, incluido el aprovisionamiento de la zona de aterrizaje, y usa procesos de detección de cambios similares, como se describe en este artículo. Para obtener más información, consulta Azure Synapse Link para Azure SQL Database.

En SQL Server, la ubicación de la zona de aterrizaje de Azure Storage es administrada por el cliente y está visible, pero no se recomienda ni se admite consumir o modificar los archivos de la zona de aterrizaje.

Característica de fuente de cambios

Un administrador de SQL Server puede habilitar Azure Synapse Link en una tabla que está vacía o una que ya contiene datos. La tabla de origen debe tener una clave principal.

Si se encuentra en una tabla que ya contiene datos, Azure Synapse Link inicializará la zona de aterrizaje con una instantánea completa inicial de la tabla de origen. Cuando se agrega una tabla de SQL Server existente que contiene datos a Azure Synapse Link, se genera una instantánea completa del conjunto inicial de datos. El archivo de instantánea inicial es un archivo de formato .parquet que se transmite a la zona de aterrizaje en ADLS Gen2.

Azure Synapse Link admite la inserción de baja latencia de las tablas de origen en la zona de aterrizaje de Azure Storage. La fuente de cambios usa un archivo CSV para publicar estos cambios en Azure Synapse. Este formato tabular se alinea de manera natural con la escritura de cambios granulares por fila a una cadencia alta (en el orden de los segundos). La mayoría de los archivos CSV deben ser relativamente pequeños.

Captura de cambios

La captura de cambios para Azure Synapse Link es similar a la tecnología existente de captura de datos modificados (CDC). El origen de los datos modificados es el registro de transacciones de SQL Server. La fuente de cambios lee el registro y agrega información sobre los cambios en la zona de aterrizaje.

CDC funciona recopilando el registro de transacciones para capturar todas las modificaciones realizadas en una o varias tablas de origen.

  • En CDC, los datos modificados se rellenan internamente en una tabla del mismo nivel de la base de datos.
  • En Azure Synapse Link, los datos se leerán directamente del registro de transacciones de la base de datos, se almacenarán en caché en la memoria y, finalmente, se escribirán en la zona de aterrizaje de Azure Storage.

Si se produce una interrupción del almacenamiento, puede que la zona de aterrizaje deje de estar disponible, lo que bloqueará las publicaciones en esa zona de aterrizaje. De forma similar al comportamiento que tiene lugar si se produce un error de lectura en el agente de registro CDC de SQL Server o no se está ejecutando, no se puede truncar el registro de transacciones de la base de datos de origen. En el caso de una interrupción prolongada del almacenamiento o un cambio de configuración del almacenamiento que hace que sea inaccesible, detén Azure Synapse Link mediante Synapse Studio.

Alta disponibilidad

Azure Synapse Link para SQL Server es compatible con grupos de disponibilidad Always On e instancias de clúster de conmutación por error (FCI).

Si una instantánea inicial estaba en curso y se interrumpe por cualquier motivo, se reiniciará el proceso de exportación de instantáneas inicial. Este es el caso si una instancia de SQL Server conmuta por error en FCI o en un grupo de disponibilidad sincrónico.

Bases de datos reflejadas de Fabric

La característica de bases de datos reflejadas de Fabric usa una tecnología similar de fuente de cambios como Azure Synapse Link y comparte algunos objetos del sistema. Para más información, vea:

Contenido relacionado