Control de cambios con patrones controlados por eventos

Completados

Las aplicaciones modernas a menudo necesitan responder a los cambios en la base de datos en tiempo real. Cuando un cliente realiza un pedido, actualiza su perfil o cuando cambian los niveles de inventario, los sistemas de bajada necesitan notificaciones. SQL Server y Azure SQL proporcionan varios mecanismos para capturar y transmitir estos cambios, cada uno con características diferentes para la latencia, el rendimiento y la complejidad de la implementación.

El Generador de API de datos se integra con estos mecanismos de cambio mediante enlaces de desencadenadores SQL de Azure Functions. Comprender cuándo usar cada enfoque le ayuda a crear arquitecturas dinámicas controladas por eventos que reaccionan a los cambios de datos de forma eficaz.

Descripción de los mecanismos de captura de cambios

Las plataformas SQL ofrecen varios enfoques para realizar el seguimiento de los cambios de datos, cada uno adecuado para diferentes escenarios:

  • Captura de datos modificados (CDC) registra operaciones de inserción, actualización y eliminación en tablas de cambios especiales. Captura el estado completo antes y después de las filas modificadas, lo que lo convierte en ideal para los requisitos de auditoría y la sincronización de datos.

  • Change Tracking proporciona una alternativa de peso más ligero que registra qué filas han cambiado sin capturar los valores reales. Las aplicaciones consultan información de cambios para determinar qué datos necesitan sincronización.

  • Change Event Streaming (CES) es una característica más reciente que inserta cambios en secuencias de eventos sin sondear. Se integra directamente con Azure Event Hubs para escenarios de alto rendimiento.

Característica CDC Change Tracking CES
Captura los valores modificados Sí No Sí
Sondeo necesario Sí Sí No
Datos históricos Sí Limitado Solo transmisión
Complejidad de la instalación Moderado Bajo Moderado

Habilitación de la captura de datos modificados para escenarios de auditoría

CDC es adecuado cuando necesitas un historial completo de cambios para garantizar el cumplimiento o la depuración. Habilite en tablas específicas:

-- Enable CDC at the database level
EXEC sys.sp_cdc_enable_db;

-- Enable CDC on a specific table
EXEC sys.sp_cdc_enable_table
    @source_schema = 'dbo',
    @source_name = 'Orders',
    @role_name = NULL,
    @capture_instance = 'dbo_Orders',
    @supports_net_changes = 1;

Una vez habilitado, SQL Server crea tablas de cambios que almacenan registros históricos. Consulte estas tablas para recuperar los cambios dentro de un intervalo de tiempo:

DECLARE @from_lsn binary(10), @to_lsn binary(10);
SET @from_lsn = sys.fn_cdc_get_min_lsn('dbo_Orders');
SET @to_lsn = sys.fn_cdc_get_max_lsn();

SELECT *
FROM cdc.fn_cdc_get_all_changes_dbo_Orders(@from_lsn, @to_lsn, 'all');

Esta consulta devuelve todos los cambios entre los números de secuencia de registro mínimo y máximo, incluido el tipo de operación (__$operation) que indica la inserción, actualización o eliminación.

Nota:

CDC requiere que SQL Server Agent esté en ejecución. Los trabajos de captura y limpieza se ejecutan según las programaciones que puede configurar. Supervise el rendimiento del trabajo en entornos de transacciones elevadas.

Configurar la vinculación de desencadenador SQL de Azure Functions

Vinculación de desencadenador SQL de Azure Functions proporciona la integración más directa para responder a los cambios en la base de datos. El desencadenador supervisa las tablas mediante Change Tracking e invoca la función cuando cambian las filas.

En primer lugar, habilite Change Tracking en la base de datos y la tabla:

-- Enable Change Tracking at database level
ALTER DATABASE [YourDatabase]
SET CHANGE_TRACKING = ON
(CHANGE_RETENTION = 2 DAYS, AUTO_CLEANUP = ON);

-- Enable Change Tracking on the table
ALTER TABLE dbo.Orders
ENABLE CHANGE_TRACKING;

Cree una función Azure con el desencadenador SQL:

[FunctionName("OrderChangedTrigger")]
public static void Run(
    [SqlTrigger("[dbo].[Orders]", "SqlConnectionString")]
    IReadOnlyList<SqlChange<Order>> changes,
    ILogger log)
{
    foreach (var change in changes)
    {
        log.LogInformation($"Change operation: {change.Operation}");
        log.LogInformation($"Order ID: {change.Item.OrderId}");
        
        if (change.Operation == SqlChangeOperation.Update)
        {
            // Process order update
            ProcessOrderUpdate(change.Item);
        }
    }
}

public class Order
{
    public int OrderId { get; set; }
    public int CustomerId { get; set; }
    public DateTime OrderDate { get; set; }
    public string Status { get; set; }
}

El SqlChange<T> tipo envuelve cada fila modificada según su tipo de operación. La función recibe lotes de cambios, lo que ayuda a la eficacia cuando varias filas cambian simultáneamente.

Configura la cadena de conexión en la configuración de tu aplicación de funciones.

{
  "Values": {
    "SqlConnectionString": "@Microsoft.KeyVault(SecretUri=https://myvault.vault.azure.net/secrets/sql-connection)"
  }
}

Importante

El enlace de desencadenador de SQL requiere Change Tracking, no CDC. Si necesita funcionalidades históricas de CDC junto con desencadenadores en tiempo real, habilite ambas características en las tablas.

Transmisión de cambios con Change Event Streaming

Para escenarios de alto rendimiento en los que la latencia de sondeo es inaceptable, Change Event Streaming inserta los cambios directamente en Azure Event Hubs. Este enfoque elimina los retrasos de sondeo y es escalable a millones de eventos por segundo.

Configura CES en tu base de datos:

-- Create an event streaming group
CREATE EVENT STREAMING GROUP MyOrderStream
WITH (
    TARGET_TYPE = 'eventhub',
    TARGET_NAME = 'orders-eventhub',
    TARGET_CONNECTION = '<event-hub-connection-string>'
);

-- Add tables to the streaming group
ALTER EVENT STREAMING GROUP MyOrderStream
ADD TABLE dbo.Orders;

Los cambios fluyen a Event Hubs de inmediato cuando las transacciones se confirman. Los consumidores descendentes procesan eventos mediante Azure Functions con desencadenadores de Event Hubs, Stream Analytics o aplicaciones personalizadas.

El mensaje de Event Hubs contiene:

  • Tipo de operación (insertar, actualizar, eliminar)
  • Marca de tiempo
  • Datos de fila completos para inserciones y actualizaciones
  • Valores clave para operaciones de eliminación

Elección del patrón de cambio adecuado

La selección del mecanismo de cambio adecuado depende de sus requisitos:

Utilice CDC cuando:

  • Necesita tener los valores de antes y después completos.
  • El cumplimiento requiere registros de cambios históricos
  • La sincronización por lotes es aceptable

Use el seguimiento de cambios con Functions cuando:

  • Necesita respuesta en tiempo real a los cambios.
  • Solo necesita valores actuales, no historial
  • Está creando microservicios controlados por eventos

Use el streaming de eventos de cambios cuando:

  • Necesita una latencia de sub-segundo.
  • Los grandes volúmenes de transacciones requieren streaming
  • Estás creando canalizaciones de análisis en tiempo real.

Considere la posibilidad de combinar enfoques. Use CDC para la auditoría y el cumplimiento, utilizando los disparadores de Functions para las notificaciones en tiempo real. Este patrón proporciona registros históricos y respuestas inmediatas.