Flujos de eventos de Microsoft Fabric: información general
La característica flujos de eventos de la experiencia de inteligencia en tiempo real de Microsoft Fabric le permite incorporar eventos en tiempo real a Fabric, transformarlos y enrutarlos a varios destinos sin escribir ningún código (sin código). Puede crear una secuencia de eventos, que es una instancia del elemento Eventstream en Fabric, agregar orígenes de datos de eventos a la secuencia, opcionalmente agregar transformaciones para transformar los datos del evento y, a continuación, enrutar los datos a destinos admitidos. Además, con los puntos de conexión de Apache Kafka disponibles en el elemento Eventstream, puede enviar o consumir eventos en tiempo real mediante el protocolo Kafka.
Incorporación de eventos a Fabric
La función de secuencias de eventos le proporciona varios conectores de origen para capturar datos de eventos de varias fuentes. Hay más orígenes disponibles al habilitar funcionalidades mejoradas en el momento de crear una secuencia de eventos.
Importante
Las funcionalidades mejoradas de flujos de eventos de Fabric se encuentran actualmente en versión preliminar.
| Orígenes | Descripción |
|---|---|
| Azure Event Hubs | Si tiene un centro de eventos de Azure, puede ingerir datos del centro de eventos en Microsoft Fabric mediante Eventstream. |
| Azure IoT Hub | Si tiene un centro de IoT de Azure, puede ingerir datos de IoT en Microsoft Fabric mediante Eventstream. |
| Captura de datos modificados de la base de datos Azure SQL | El conector de origen de CDC de Azure SQL Database permite capturar una instantánea de los datos actuales en una base de datos de Azure SQL. A continuación, el conector supervisa y registra los cambios futuros a nivel de fila en estos datos. |
| CDC de base de datos de PostgreSQL | El conector de origen de captura de datos modificados (CDC) de la base de datos de PostgreSQL permite capturar una instantánea de los datos actuales en una base de datos de PostgreSQL. A continuación, el conector supervisa y registra los cambios futuros a nivel de fila en estos datos. |
| CDC de base de datos de MySQL | El conector de origen de captura de datos modificados (CDC) de Azure MySQL Database permite capturar una instantánea de los datos actuales en una base de datos de Azure Database for MySQL. Puede especificar las tablas que se van a supervisar y Eventstream registra los cambios futuros de nivel de fila en las tablas. |
| CDC de Azure Cosmos DB | El conector de origen de captura de datos modificados (CDC) de Azure Cosmos DB para flujos de eventos de Microsoft Fabric permite capturar una instantánea de los datos actuales en una base de datos de Azure Cosmos DB. A continuación, el conector supervisa y registra los cambios futuros a nivel de fila en estos datos. |
| SQL Server en la base de datos de máquina virtual (CDC) | El conector de origen de BASE de datos de MÁQUINA virtual (CDC) de SQL Server para flujos de eventos de Fabric permite capturar una instantánea de los datos actuales de una base de datos de SQL Server en la máquina virtual. A continuación, el conector supervisa y registra los cambios futuros de nivel de fila en los datos. |
| CDC de Azure SQL Instancia administrada | El conector de origen CDC de Azure SQL Instancia administrada para flujos de eventos de Microsoft Fabric permite capturar una instantánea de los datos actuales en una base de datos de SQL Instancia administrada. A continuación, el conector supervisa y registra los cambios futuros a nivel de fila en estos datos. |
| Google Cloud Pub/Sub | Google Pub/Sub es un servicio de mensajería que permite publicar y suscribirse a secuencias de eventos. Puede agregar Google Pub/Sub como origen a su secuencia de eventos para capturar, transformar y enrutar eventos en tiempo real a varios destinos de Fabric. |
| Flujos de datos de Amazon Kinesis | Amazon Kinesis Data Streams es un servicio de procesamiento y ingesta de datos muy duradero y escalable de forma masiva optimizado para datos de streaming. Al integrar Amazon Kinesis Data Streams como origen dentro de la secuencia de eventos, puede procesar sin problemas flujos de datos en tiempo real antes de enrutarlos a varios destinos dentro de Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka es una plataforma de streaming que ofrece eficaces funcionalidades de procesamiento y streaming de datos mediante Apache Kafka. Al integrar Confluent Cloud Kafka como origen dentro de la secuencia de eventos, puede procesar sin problemas flujos de datos en tiempo real antes de enrutarlos a varios destinos dentro de Fabric. |
| Apache Kafka | Apache Kafka es una plataforma distribuida de código abierto para crear sistemas de datos escalables y en tiempo real. Al integrar Apache Kafka como origen dentro de la secuencia de eventos, puede traer sin problemas eventos en tiempo real de Apache Kafka y procesarlos antes de enrutarlos a varios destinos dentro de Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka es un servicio kafka totalmente administrado que simplifica la configuración, el escalado y la administración. Al integrar Amazon MSK Kafka como origen dentro de la secuencia de eventos, puede traer sin problemas los eventos en tiempo real de su MSK Kafka y procesarlos antes de enrutarlos a varios destinos dentro de Fabric. |
| Eventos de Azure Blob Storage | Los eventos de Azure Blob Storage se desencadenan cuando un cliente crea, reemplaza o elimina un blob. El conector permite vincular eventos de Blob Storage a eventos de Fabric en el centro en tiempo real. Puede convertir estos eventos en flujos de datos continuos y transformarlos antes de enrutarlos a varios destinos de Fabric. |
| Eventos de elemento del área de trabajo de Fabric | Los eventos de elementos del área de trabajo de Fabric son eventos discretos de Fabric que se producen cuando se realizan cambios en el área de trabajo de Fabric. Estos cambios incluyen la creación, actualización o eliminación de un elemento de Fabric. Con flujos de eventos de Fabric, puede capturar estos eventos del área de trabajo de Fabric, transformarlos y enrutarlos a varios destinos de Fabric para su posterior análisis. |
| Datos de ejemplo | Puede elegir Bicicletas, Taxi amarillo, o Eventos de mercado de valores como un origen de datos de ejemplo para probar la ingesta de datos al configurar un eventstream. |
| Punto de conexión personalizado (es decir, aplicación personalizada en la funcionalidad estándar) | La característica de punto de conexión personalizado permite que las aplicaciones o los clientes de Kafka se conecten a Eventstream mediante una cadena de conexión, lo que permite la ingesta fluida de datos de streaming en Eventstream. |
Procesamiento de eventos mediante la experiencia sin código
La experiencia de arrastrar y colocar proporciona una manera intuitiva y sencilla de crear la lógica de enrutamiento, transformación y procesamiento de datos de eventos sin necesidad de escribir código. Un diagrama de flujo de datos de un extremo a otro en una secuencia de eventos puede proporcionarle una comprensión completa del flujo de datos y de la organización. El editor del procesador de eventos es una experiencia sin código que le permite arrastrar y colocar para diseñar la lógica de procesamiento de datos de eventos.
| Transformación | Descripción |
|---|---|
| Filtro | Use la transformación Filtro para filtrar eventos en función del valor de un campo de la entrada. En función del tipo de datos (número o texto), la transformación mantiene los valores que coincidan con la condición seleccionada, como is null o is not null. |
| Administrar campos | La transformación Administrar campos permite agregar, quitar o cambiar el tipo de datos, o el nombre de los campos procedentes de una entrada u otra transformación. |
| Agregado | Use la transformación Agregado para calcular una agregación (Suma, Mínimo, Máximo o Promedio) cada vez que se produzca un nuevo evento durante un período de tiempo. Esta operación también permite cambiar el nombre de estas columnas calculadas, y filtrar o segmentar la agregación en función de otras dimensiones de los datos. Puede tener una o varias agregaciones en la misma transformación. |
| Agrupar por | Use la transformación Agrupar por para calcular agregaciones en todos los eventos dentro de un período de tiempo determinado. Puede agrupar por los valores en uno o varios campos. Es como la transformación Agregado que permite cambiar el nombre de las columnas, pero proporciona más opciones para la agregación e incluye opciones más complejas para las ventanas de tiempo. Al igual que Agregado, puede incluir más de una agregación por transformación. |
| Unión | Use la transformación Unión para conectar dos o más nodos y agregar eventos con campos compartidos (con el mismo nombre y tipo de datos) en una tabla. Los campos que no coincidan se descartan y no se incluyen en la salida. |
| Expandir | Utilice la transformación Expandir matriz para crear una nueva fila por cada valor dentro de una matriz. |
| Join | Use la transformación Combinación para combinar datos de dos flujos en función de una condición coincidente entre ellas. |
Si ha habilitado funcionalidades mejoradas al crear una secuencia de eventos, las operaciones de transformación se admiten para todos los destinos (con una secuencia derivada que actúa como puente intermedio para algunos destinos, como punto de conexión personalizado, Reflex). Si no lo ha hecho, las operaciones de transformación solo están disponibles para los destinos lakehouse y Eventhouse (procesamiento de eventos antes de la ingesta).
Redirigir eventos a destinos
La característica Flujos de eventos de Fabric admite el envío de datos a los siguientes destinos admitidos.
| Destino | Descripción |
|---|---|
| Punto de conexión personalizado (es decir, aplicación personalizada en la funcionalidad estándar) | Con este destino, puede enrutar fácilmente los eventos en tiempo real a un punto de conexión personalizado. Puede conectar sus propias aplicaciones a eventstream y consumir los datos del evento en tiempo real. Este destino es útil cuando quiere enviar datos en tiempo real a un sistema externo fuera de Microsoft Fabric. |
| Eventhouse | Este destino le permite ingerir los datos de eventos en tiempo real en un centro de eventos, donde puede usar la eficaz Lenguaje de consulta Kusto (KQL) para consultar y analizar los datos. Con los datos de Eventhouse, puede obtener información más detallada sobre los datos del evento y crear informes y paneles enriquecidos. Puede elegir entre dos modos de ingesta: Ingesta directa y Procesamiento de eventos antes de la ingesta. |
| Lakehouse | Este destino le proporciona la capacidad de transformar los eventos en tiempo real antes de la ingesta en el almacén de lago. Los eventos en tiempo real se convierten en formato Delta Lake y, a continuación, se almacenan en las tablas del almacén de lago designadas. Este destino admite escenarios de almacenamiento de datos. |
| Reflex | Este destino le permite conectar directamente sus datos de eventos en tiempo real a un Reflex. Reflex es un tipo de agente inteligente que contiene toda la información necesaria para conectarse a los datos, vigilar las condiciones y actuar. Cuando los datos alcanzan determinados umbrales o coinciden con otros patrones, Reflex adopta automáticamente las medidas oportunas, como alertar a los usuarios o poner en marcha los flujos de trabajo de Power Automate. |
| Secuencia derivada | La secuencia derivada es un tipo especializado de destino que puede crear después de agregar operaciones de flujo, como Filtrar o Administrar campos, a una secuencia de eventos. La secuencia derivada representa la secuencia predeterminada transformada después del procesamiento del flujo. Puede enrutar la secuencia derivada a varios destinos en Fabric y ver la secuencia derivada en el centro en tiempo real. |
Puede adjuntar varios destinos en una secuencia de eventos para recibir simultáneamente datos de las secuencias de eventos sin interferir entre sí.
Nota:
Se recomienda usar la característica de flujos de eventos Microsoft Fabric con al menos 4 unidades de capacidad (SKU: F4)
Apache Kafka en flujos de eventos de Fabric
La característica Flujos de eventos de Fabric ofrece un punto de conexión de Apache Kafka en el elemento Eventstream, lo que permite a los usuarios conectarse y consumir eventos de streaming a través del protocolo Kafka. Si ya tiene una aplicación que usa el protocolo Apache Kafka para enviar o consumir eventos de streaming con temas específicos de Kafka, puede adaptar sin esfuerzo la misma aplicación para enviar o consumir los eventos de streaming dentro de la secuencia de eventos simplemente actualizando la configuración de conexión para que apunte al punto de conexión de Kafka proporcionado en la secuencia de eventos.
La característica Flujos de eventos de Fabric cuenta con la tecnología de Azure Event Hubs, un servicio nativo en la nube totalmente administrado. Cuando se crea una secuencia de eventos, se aprovisiona automáticamente un espacio de nombres del centro de eventos y se asigna un centro de eventos al flujo predeterminado sin necesidad de configuraciones de aprovisionamiento. Para más información sobre las características compatibles con Kafka en el servicio Azure Event Hubs, consulte Azure Event Hubs para Apache Kafka.
Para obtener más información sobre cómo obtener los detalles del punto de conexión de Kafka para enviar eventos a eventstream, consulte Incorporación de un origen de punto de conexión personalizado a una secuencia de eventos; y para consumir eventos desde eventstream, consulte Incorporación de un destino de punto de conexión personalizado a una secuencia de eventos.
Funcionalidades mejoradas (versión preliminar)
Hay más características, orígenes y destinos disponibles al habilitar la opción Funcionalidades mejoradas (versión preliminar) al crear una secuencia de eventos. Use las pestañas Funcionalidades mejoradas (versión preliminar) y Funcionalidades estándar para obtener información sobre otros orígenes y destinos compatibles con las funcionalidades mejoradas.
Estas son algunas otras características destacadas de las funcionalidades mejoradas (versión preliminar):
- Modo de edición y Vista en vivo. Explore dos modos distintos para visualizar y diseñar el procesamiento de flujos.
- Secuencias predeterminadas y derivadas. Cree un flujo continuo de secuencias con el formato que diseñe, con un procesador de eventos que se puede consumir más adelante en el centro en tiempo real.
- Enrutamiento del flujo de datos en función del contenido. Transforme y enrute los flujos de datos en cualquier parte de Fabric en función del contenido del flujo de datos que diseñó con el procesador de eventos.