Conectar a orígenes de streaming en Virtual Network o localmente con Eventstream

El conector de streaming de Eventstream permite una conexión sin problemas de flujos de datos externos en tiempo real a Fabric, lo que permite una experiencia integrada óptima y más opciones para obtener información en tiempo real de varios orígenes. Admite servicios en la nube conocidos como Google Cloud y Amazon Kinesis, y flujos de captura de datos modificados de base de datos (CDC) a través de nuestros nuevos conectores de mensajería.

El desafío

Debido a los requisitos de protección de datos, el origen de streaming puede estar en una red privada, como redes virtuales en la nube o redes locales. En este momento, muchos de los conectores de streaming de Eventstream no pueden acceder directamente a orígenes dentro de estos entornos de red, excepto los orígenes de Azure Event Hubs e IoT Hub (consulte Conexión a recursos de Azure de forma segura mediante puntos de conexión privados administrados). Antes de que Eventstream admita conectividad privada para más orígenes, las siguientes soluciones alternativas pueden ayudar a llevar datos en tiempo real de la red privada a Fabric para desbloquear las necesidades en tiempo real y de streaming por ahora.

Soluciones alternativas

A continuación se muestran los enfoques que pueden ayudar con este propósito antes de que la solución de conectividad privada nativa esté disponible.

Lista de direcciones IP permitidas

El conector de streaming de Eventstream en cada región tiene una única dirección IP de salida. Si la política de red de su empresa permite incluir esta dirección IP en la lista blanca y su origen tiene una dirección pública resolvible, el conector de Eventstream puede traer datos en tiempo real a Fabric, aunque la transmisión se realiza a través de una red pública.

Esta solución es aplicable a todas las fuentes de conectores de transmisión. Si está interesado en implementar esta solución, póngase en contacto con el equipo de producto completando el siguiente formulario: Lista de direcciones IP permitidas del Conector de Streaming de Eventstream RTI

Reflejar Temas de Kafka en Eventstream o Azure Event Hubs

La característica Flujos de eventos de Fabric es compatible con Apache Kafka y ofrece un tema de Apache Kafka en el elemento Eventstream. Si los datos en tiempo real residen en un clúster de Kafka dentro de redes locales o redes virtuales en la nube de terceros, puede usar Kafka MirrorMaker para replicar los datos al punto de conexión de Kafka en el Punto de conexión personalizado de origen de Eventstream.

Actualmente, un Eventstream ofrece un tema de Kafka dentro. Si tiene varios temas en el clúster, puede replicarlos en Azure Event Hubs, que también es compatible con Apache Kafka. Una vez que los datos llegan a Azure Event Hubs, se pueden transferir de forma segura a Eventstream a través del punto de conexión privado administrado (MPE) a través de la red privada integrada con el origen de Azure Event Hubs de Eventstream.

Para más información sobre MPE, consulte Conexión a recursos de Azure de forma segura mediante puntos de conexión privados administrados.

Aprovechamiento de Azure Stream Analytics

Azure Stream Analytics es un motor totalmente administrado para procesar grandes volúmenes de datos de streaming. Admite la lectura de datos de un tópico de Kafka mediante la entrada de Kafka y puede generar datos en un centro de eventos de Azure con la salida de Azure Event Hubs. El trabajo se puede ejecutar en una red virtual de Azure para acceder a los recursos de forma privada dentro de la red virtual. Si los clústeres de Kafka residen en redes locales o redes virtuales en la nube de terceros, puede crear una red virtual de Azure para conectar la red privada y, a continuación, ejecutar un trabajo de Azure Stream Analytics en la red virtual de Azure para leer los datos de Kafka y generar los datos en el punto de conexión del centro de eventos ofrecido por el punto de conexión personalizado de origen de Eventstream.

Para más información sobre cómo ejecutar un trabajo de ASA en la red virtual, consulte Ejecución de un trabajo de Azure Stream Analytics en la red virtual.

Aprovechar el Conector Sink de Kafka

El conector sink de Kafka es un conector de Kafka Connect que lee datos de Apache Kafka y los envía a otro tópico de Kafka. Fabric Eventstream proporciona un punto de conexión de Apache Kafka para recibir datos a través del protocolo Kafka. Al implementar un conector receptor de Kafka en un clúster de Kafka y apuntándolo al Punto de conexión personalizado de origen de Eventstream, se pueden leer datos desde el clúster de Kafka y escribir en el punto de conexión de Eventstream. Es necesario asegurarse de que la comunicación saliente está permitida en la red privada para que los datos se escriban en Eventstream.

Aprovechamiento de Azure Functions

Azure Functions es un servicio sin servidor que permite ejecutar pequeños fragmentos de código (funciones) sin administrar la infraestructura. Proporciona desencadenadores y vinculaciones de eventos que pueden replicar eventos desde Apache Kafka, Azure Service Bus, RabbitMQ a Azure Event Hubs (es decir, Eventstream) mediante desencadenador de Apache Kafka, desencadenador de Azure Service Buso desencadenador de RabbitMQ, junto con vinculaciones de salida de Azure Event Hubs. Azure Functions admite redes virtuales para la red saliente, lo que permite que la aplicación de funciones acceda a los recursos de la red virtual o local a través de una red virtual (a través de Azure ExpressRoute o VPN Gateway). Si los orígenes de eventos son Apache Kafka, Azure Service Bus o RabbitMQ en una red restringida, Azure Functions se puede usar para replicar eventos en Eventstream.

Recursos adicionales

Eventstream en Real-Time Intelligence admitirá la conectividad con fuentes de streaming detrás de redes privadas en un futuro cercano. Tenga en cuenta el Plan de versión de Microsoft Fabric y Power BI para obtener actualizaciones sobre esto. En algunos casos, si se planea publicar una característica a corto plazo, esperar a que la característica tenga más sentido que implementar una solución alternativa y deshacer el trabajo más adelante después de publicar la característica. También puede ser aceptable usar una solución alternativa para hacer avanzar un POC, pero quiere implementar en producción una vez publicada la funcionalidad. Esto nos permite avanzar probando el poder de Fabric sin ralentizarse por una característica que falta.