Ingesta de streaming y cambios en el esquema
Se aplica a: ✅Microsoft Fabric✅Azure Data Explorer
Los nodos de clúster almacenan en caché el esquema de las bases de datos que obtienen datos a través de la ingesta de streaming, lo que aumenta el rendimiento y el uso de recursos. Sin embargo, cuando hay cambios de esquema, puede provocar retrasos en las actualizaciones.
Los nodos del centro de eventos almacenan en caché el esquema de las bases de datos que obtienen datos a través de la ingesta de streaming, lo que aumenta el rendimiento y el uso de recursos. Sin embargo, cuando hay cambios de esquema, puede provocar retrasos en las actualizaciones.
Si los cambios de esquema y la ingesta de streaming no se sincronizan, puede encontrar errores como errores relacionados con el esquema o datos incompletos y distorsionados en la tabla.
En este artículo se describen los cambios de esquema típicos y se proporcionan instrucciones sobre cómo evitar problemas con la ingesta de streaming durante estos cambios.
Cambios en los esquemas
En la lista siguiente se tratan ejemplos clave de cambios de esquema:
- Creación de tablas
- Eliminación de tablas
- Agregar una columna a una tabla
- Quitar una columna de una tabla
- Volver a ajustar las columnas de una tabla
- Cambiar el nombre de las columnas de una tabla
- Adición de asignaciones de ingesta precreadas
- Eliminación de asignaciones de ingesta precreadas
- Adición, eliminación o modificación de directivas
Coordinar los cambios de esquema con la ingesta de streaming
La caché de esquemas se mantiene mientras la base de datos está en línea. Si hay cambios de esquema, el sistema actualiza automáticamente la memoria caché, pero esta actualización puede tardar varios minutos. Si se basa en la actualización automática, puede experimentar errores de ingesta no coordinados.
Puede reducir los efectos del retraso de propagación borrando explícitamente la caché de esquemas en los nodos. Si se coordinan el flujo de ingesta de streaming y los cambios de esquema, puede eliminar completamente los errores y su distorsión de datos asociada.
Para coordinar el flujo de ingesta de streaming con cambios de esquema:
- Suspender la ingesta de streaming.
- Espere hasta que se completen todas las solicitudes de ingesta de streaming pendientes.
- Realice cambios de esquema.
- Emita uno o varios comandos de esquema de ingesta de streaming de streaming .clear.
- Repetir hasta que se realice correctamente y todas las filas de la salida del comando indican que se ha realizado correctamente.
- Reanude la ingesta de streaming.
::: moniker range= "azure-data-explorer"
Nota:
Si ha creado una aplicación para la ingesta personalizada, se recomienda administrar los errores relacionados con el esquema mediante el reintento durante una duración establecida o la redirección de datos de solicitudes con errores mediante métodos de ingesta en cola. ::: moniker-end