Översikt över eventstream-streamingkonnector, virtuella nätverk och lokalt stöd

Real-Time Intelligence Eventstream är utformat för att hämta realtidsdata från olika källor, transformera dem och enkelt dirigera dem till olika destinationer. För källor som körs i privata nätverksmiljöer, till exempel virtuella molnnätverk eller lokala infrastrukturer, krävs en säker metod för att göra det möjligt för Eventstream att komma åt källan.

Strömningsanslutningsappens stöd för virtuella nätverk och lokala miljöer erbjuder en säker, hanterad väg som gör det möjligt för Eventstream att på ett tillförlitligt sätt ansluta till dessa privata nätverksströmningskällor.

Arkitektur

Om du vill aktivera dataöverföring från en källa i ett privat nätverk till Eventstream är det nödvändigt att upprätta ett azure-hanterat virtuellt nätverk som en mellanliggande brygga, vilket visas i diagrammet. Det virtuella Azure-nätverket ska vara anslutet till det privata nätverk som är värd för datakällan med lämpliga metoder, till exempel VPN eller ExpressRoute för lokala scenarier och privata slutpunkter eller nätverkspeering för Azure-källor. Sedan matas eventstream-anslutningsappen in i det här virtuella nätverket via virtuell nätverksinmatning, vilket möjliggör säker anslutning mellan anslutningsappen och datakällan som finns i det privata nätverket.

Skärmbild av att visa översikten över arkitekturen.

Vad är en strömmande virtuell nätverksdatagateway

För att underlätta införandet av ett virtuellt nätverk för strömningskopplingar i ett Azure-nätverk som du har skapat, tillhandahåller Fabric en central plats för nätverkstekniker eller dataingenjörer att hantera referenser till resurser i virtuella Azure-nätverk. Den strömmande virtuella nätverksdatagatewayen i Fabric tjänar det här syftet för Eventstream. Mer specifikt den strömmande virtuella nätverksdatagatewayen:

  • Refererar till den virtuella Azure-nätverksresursen i Fabric och lagrar kundens virtuella Azure-nätverksresurs.
  • Används uteslutande i Eventstream för att vidarebefordra information om Azure virtuellt nätverksresurser för injektion av streamingkopplare i virtuellt nätverk.
  • Kan skapas och hanteras via sidan Hantera anslutningar och gatewayer i Infrastrukturresurser.
  • Kan väljas när du konfigurerar strömmande anslutningar för Eventstream-källor med hjälp av guiden Hämta händelser.
  • Till skillnad från "Virtuella nätverksdatagatewayer" och "lokala datagatewayer" kräver det inte klusteretablering eller extra kapacitet. Användarupplevelsen för alla tre gatewaytyperna är dock i stort sett densamma.

Mer information om hur du skapar och hanterar den strömmande virtuella nätverksdatagatewayen finns i Skapa och hantera strömmande virtuella nätverksdatagatewayer.

Skärmbild som visar strömmande data-gateway för virtuella nätverk.

Källor som stöds

Detta gäller för Eventstream-källor som använder strömningsanslutningar för att hämta data från externa källor. Dessa anslutningsprogram skickar utgående begäranden till dessa externa system. Den stöder följande källor:

  • Azure SQL Database Change Data Capture (CDC, förändringsdatainsamling)
  • Azure SQL Managed Instance CDC
  • Oracle Database CDC
  • Azure Service Bus (Azure-tjänstbuss)
  • Azure Cosmos DB CDC
  • Azure Data Explorer (ADX)
  • Azure Event Hubs (utökat funktionsläge)
  • Azure IoT Hub (utökat funktionsläge)
  • Amazon Managed Streaming för Apache Kafka
  • Apache Kafka
  • Amazon Kinesis Data Streams (dataströmmar från Amazon Kinesis)
  • Confluent Cloud för Apache Kafka
  • PostgreSQL CDC
  • MongoDB CDC
  • Google Cloud Pub/Sub (meddelandetjänst)
  • Meddelandekö telemetritransport (MQTT)
  • HTTP
  • Solace PubSub+
  • SQL Server på den virtuella datorn (VM) CDC
  • MySQL-Databasen CDC

Nästa steg

Om du vill hämta den detaljerade steg-till-steg-konfigurationsguiden kan du läsa supportguiden för direktuppspelningsanslutningsappen för privata nätverk.

Begränsningar

  • Dataförhandsgranskning på källor i det privata nätverket stöds inte.
    Vissa anslutningskällor stöder förhandsversion av data, till exempel databasens CDC-källor (Change Data Capture), Confluent, Amazon Web Services (AWS) Kinesis osv. om de finns i ett offentligt nätverk. När de är i ett privat nätverk kan dataförhandsgranskningen på dessa källor inte fungera. Den visar fel när du förhandsgranskar den i antingen redigeringsläge eller liveläge.

  • Källan med det virtuella nätverket/undernätet konfigurerat kan inte uppdateras efter att den här händelseströmmen har publicerats.
    När det virtuella nätverket eller undernätet har konfigurerats för din Eventstream-källa uppdateras det inte om du inte gör ändringar och publicerar om Eventstream. Vi rekommenderar att du inte ändrar inställningarna för det virtuella nätverket eller undernätet när anslutningsappen körs.

  • Anpassad DNS-server stöds inte än
    Om källan finns i ett privat nätverk med en anpassad DNS-server konfigurerad kanske den inmatade direktuppspelningsanslutningen i ditt virtuella Azure-nätverk inte kan matcha källserverns adress. Det finns tre alternativ för att lösa det här problemet:

    • Skapa och länka en privat DNS-zon till det inmatade virtuella nätverket och lägg till en A-post som matchar ditt DNS-namn för datakällan till den privata IP-adressen.
    • Skapa en DNS Private Resolver som vidarebefordrar DNS-trafik till din anpassade DNS-server.
    • Konfigurera den privata IP-adressen direkt när du skapar anslutningsappen. Det här alternativet fungerar inte för anslutningar som kräver ett fullständigt kvalificerat domännamn.
  • Problem med kapplöpningstillstånd kan uppstå när du skapar och tar bort vNet-anslutning med samma virtuella nätverks undernät konfigurerat vid samma tid.
    Om du tar bort en anslutningskälla med ett undernät för virtuellt nätverk konfigurerat och lägger till en ny anslutningskälla med samma undernät i Eventstreams redigeringsläge kan publicering av båda ändringarna orsaka konflikter med konkurrensvillkor. För att förhindra det här problemet följer du dessa steg: ta bort anslutningskällan med det virtuella nätverket i redigeringsläge –> publicera händelseströmmen –> ange redigeringsläget igen –> lägg till den nya anslutningskällan med det virtuella nätverket –> och publicera igen.