Editar

Eliminación de la agrupación por lotes y filtrado en el procesamiento de eventos sin servidor con Event Hubs

Azure Event Hubs
Azure Functions
Azure Cosmos DB

Ideas de solución

Este artículo es una idea de solución. Si te gustaría que ampliemos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comunícalo a través de los Comentarios de GitHub.

En este artículo se describe una arquitectura sin servidor controlada por eventos que usa Azure Event Hubs y Azure Functions para ingerir y filtrar un flujo de datos para el almacenamiento de bases de datos.

Architecture

Diagrama que muestra el flujo de datos y los puntos de procesamiento de claves en la arquitectura descrita en este artículo

Flujo de datos

  1. Los eventos llegan al centro de eventos de entrada.
  2. La función de eliminación de la agrupación por lotes y filtrado de Azure se desencadena para controlar el evento. Con este paso se filtran los eventos no deseados y se elimina la agrupación por lotes de los eventos recibidos antes de su envío al centro de eventos de salida.
  3. Si la función de eliminación de la agrupación por lotes y filtrado de Azure no puede almacenar el evento correctamente, el evento se envía al centro de eventos Deadletter 1.
  4. Los eventos que llegan al centro de eventos de salida desencadenan la función de Azure de transformación. Esta función de Azure transforma el evento en un mensaje para la instancia de Azure Cosmos DB.
  5. El evento se almacena en una base de datos de Azure Cosmos DB.
  6. Si la función de transformación de Azure no puede almacenar el evento correctamente, el evento se guarda en el centro de eventos Deadletter 2.

Componentes

  • Event Hubs ingiere el flujo de datos. Event Hubs está diseñado para escenarios de transmisión de datos de alto rendimiento.
  • Azure Functions es una opción de proceso sin servidor. Utiliza un modelo orientado a eventos, en el que un desencadenador invoca un fragmento de código (una función).
  • Cosmos DB es un servicio de base de datos de varios modelos que está disponible en un modo sin servidor basado en el consumo. En este escenario, la función de procesamiento de eventos almacena registros JSON mediante Azure Cosmos DB for NoSQL.

Detalles del escenario

Esta idea de solución describe una variante de una arquitectura sin servidor controlada por eventos que usa Azure Event Hubs y Azure Functions para ingerir y procesar un flujo de datos. Los resultados se escriben en una base de datos para su almacenamiento y revisión futura, una vez que se ha eliminado la agrupación por lotes de los resultados y que estos se han filtrado.

Para más información sobre los conceptos básicos, las consideraciones y los enfoques para el procesamiento de eventos sin servidor, consulte la arquitectura de referencia Procesamiento de eventos sin servidor.

Posibles casos de uso

Un caso de uso popular para implementar un patrón de procesamiento de flujo de eventos de un extremo a otro incluye el servicio de ingesta de streaming de Event Hubs para recibir y procesar eventos por segundo mediante una lógica de anulación del procesamiento por lotes y de transformación implementada con funciones desencadenadas por un centro de eventos de alta escalabilidad.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes