Delen via

Azure Event Hubs: een realtime platform voor gegevensstreaming met systeemeigen Ondersteuning voor Apache Kafka

  • Artikel

Azure Event Hubs is een systeemeigen gegevensstreamingservice in de cloud die miljoenen gebeurtenissen per seconde kan streamen, met lage latentie, van elke bron naar elke bestemming. Event Hubs is compatibel met Apache Kafka. Hiermee kunt u bestaande Kafka-workloads uitvoeren zonder codewijzigingen.

Bedrijven kunnen Event Hubs gebruiken om streaminggegevens op te nemen en op te slaan. Door streaminggegevens te gebruiken, kunnen bedrijven waardevolle inzichten verkrijgen, realtime analyses stimuleren en reageren op gebeurtenissen wanneer ze plaatsvinden. Ze kunnen deze gegevens gebruiken om hun algehele efficiëntie en klantervaring te verbeteren.

Diagram dat laat zien hoe Azure Event Hubs past in een gebeurtenisstreamingplatform.

Event Hubs is de voorkeurslaag voor gebeurtenisopname van een gebeurtenisstreamingoplossing die u op Azure bouwt. Het integreert met gegevens- en analyseservices binnen en buiten Azure om een volledige pijplijn voor gegevensstreaming te bouwen om de volgende gebruiksscenario's te leveren:

Belangrijke mogelijkheden

Meer informatie over de belangrijkste mogelijkheden van Azure Event Hubs vindt u in de volgende secties.

Apache Kafka in Azure Event Hubs

Event Hubs is een gebeurtenisstreaming-engine met meerdere protocollen die systeemeigen ondersteuning biedt voor Advanced Message Queuing Protocol (AMQP), Apache Kafka en HTTPS-protocollen. Omdat het Apache Kafka ondersteunt, kunt u Kafka-workloads naar Event Hubs brengen zonder codewijzigingen aan te brengen. U hoeft uw eigen Kafka-clusters niet in te stellen, te configureren of te beheren of een Kafka-as-a-service-aanbieding te gebruiken die niet systeemeigen is voor Azure.

Event Hubs is gebouwd als een cloudeigen broker-engine. Daarom kunt u Kafka-workloads uitvoeren met betere prestaties, betere kostenefficiëntie en geen operationele overhead.

Zie Azure Event Hubs voor Apache Kafka voor meer informatie.

Schemaregister in Event Hubs

Azure Schema Registry in Event Hubs biedt een gecentraliseerde opslagplaats voor het beheren van schema's van toepassingen voor gebeurtenisstreaming. Schema Registry wordt gratis geleverd bij elke Event Hubs-naamruimte. Het integreert met uw Kafka-toepassingen of Event Hubs SDK-toepassingen.

Diagram met schemaregister en Event Hubs-integratie.

Schema Registry zorgt voor gegevenscompatibiliteit en consistentie voor gebeurtenisproducenten en consumenten. Het maakt de ontwikkeling, validatie en governance van schema's mogelijk en bevordert efficiënte gegevensuitwisseling en interoperabiliteit.

Schema Registry kan worden geïntegreerd met uw bestaande Kafka-toepassingen en ondersteunt meerdere schema-indelingen, waaronder Avro- en JSON-schema's.

Zie Azure Schema Registry in Event Hubs voor meer informatie.

Realtime verwerking van streaminggebeurtenissen met Stream Analytics

Event Hubs kan worden geïntegreerd met Azure Stream Analytics om realtime stroomverwerking mogelijk te maken. Met de ingebouwde no-code-editor kunt u een Stream Analytics-taak ontwikkelen met behulp van slepen en neerzetten, zonder code te schrijven.

Schermopname van de pagina Procesgegevens met de tegel Realtime inzichten van gebeurtenissen inschakelen.

Ontwikkelaars kunnen ook de op SQL gebaseerde Stream Analytics-querytaal gebruiken om realtime streamverwerking uit te voeren en te profiteren van een breed scala aan functies voor het analyseren van streaminggegevens.

Zie de artikelen in de sectie Azure Stream Analytics-integratie van de inhoudsopgave voor meer informatie.

Streaminggegevens verkennen met Azure Data Explorer

Azure Data Explorer is een volledig beheerd platform voor big data-analyses die hoge prestaties leveren en waarmee grote hoeveelheden gegevens in bijna realtime kunnen worden geanalyseerd. Door Event Hubs te integreren met Azure Data Explorer, kunt u bijna realtime analyses uitvoeren en streaminggegevens verkennen.

Diagram met Azure Data Explorer-query en -uitvoer.

Zie Gegevens van een Event Hub opnemen in Azure Data Explorer voor meer informatie.

Azure-functies, SDK's en het Kafka-ecosysteem

Met Event Hubs kunt u uw stream in realtime opnemen, bufferen, opslaan en verwerken om bruikbare inzichten te krijgen. Event Hubs maakt gebruik van een gepartitioneerd consumentenmodel. Hiermee kunnen meerdere toepassingen de stroom gelijktijdig verwerken en kunt u de snelheid van de verwerking beheren. Event Hubs kan ook worden geïntegreerd met Azure Functions voor serverloze architecturen.

Er is een breed ecosysteem beschikbaar voor het standaard AMQP 1.0-protocol. SDK's zijn beschikbaar in talen zoals .NET, Java, Python en JavaScript, zodat u uw streams vanuit Event Hubs kunt gaan verwerken. Alle ondersteunde clienttalen bieden integratie op laag niveau.

Met het ecosysteem kunt u ook integreren met Azure Functions, Azure Spring Apps, Kafka-connectors en andere platformen en technologieën voor gegevensanalyse, zoals Apache Spark en Apache Flink.

Flexibele en kostenefficiënte gebeurtenisstreaming

U kunt flexibele en kostenefficiënte gebeurtenisstreaming ervaren via de Standard-, Premium- of Dedicated-lagen voor Event Hubs. Deze opties zijn geschikt voor het streamen van gegevens die variëren van een paar MB per seconde tot een aantal GB per seconde. U kunt de overeenkomst kiezen die geschikt is voor uw vereisten.

Schaalbaar

Met Event Hubs kunt u beginnen met gegevensstromen in megabytes en groeien tot gigabytes of terabytes. De functie voor automatisch vergroten is een van de beschikbare opties voor het schalen van het aantal doorvoereenheden of verwerkingseenheden om te voldoen aan uw gebruiksbehoeften.

Ondersteunt het streamen van grote berichten

In de meeste streamingscenario's worden gegevens gekenmerkt door lichtgewicht, meestal minder dan 1 MB en een hoge doorvoer. Er zijn ook exemplaren waarin berichten niet kunnen worden onderverdeeld in kleinere segmenten. Event Hubs kan gebeurtenissen van maximaal 20 MB opvangen met schaalbare, schaalbare toegewezen clusters zonder extra kosten. Met deze mogelijkheid kan Event Hubs een breed scala aan berichtgrootten verwerken om ononderbroken zakelijke activiteiten te garanderen. Zie Grote berichten verzenden en ontvangen met Azure Event Hubs voor meer informatie.

Streaminggegevens vastleggen voor langetermijnretentie en batchanalyse

Leg uw gegevens bijna in realtime vast in Azure Blob Storage of Azure Data Lake Storage voor langetermijnretentie of microbatchverwerking. U kunt dit gedrag bereiken op dezelfde stroom die u gebruikt voor het afleiden van realtime analyses. Het instellen van het vastleggen van gebeurtenisgegevens gaat snel.

Diagram met het vastleggen van Event Hubs-gegevens in Azure Storage of Azure Data Lake Storage met behulp van beheerde identiteit.

Hoe het werkt

Event Hubs biedt een geïntegreerd platform voor gebeurtenisstreaming met een buffer voor tijdretentie, het loskoppelen van gebeurtenisproducenten van gebeurtenisgebruikers. De producent- en consumententoepassingen kunnen grootschalige gegevensopname uitvoeren via meerdere protocollen.

In het volgende diagram ziet u de belangrijkste onderdelen van de Event Hubs-architectuur.

Diagram met de belangrijkste onderdelen van Event Hubs.

De belangrijkste functionele onderdelen van Event Hubs zijn:

  • Producenttoepassingen: Deze toepassingen kunnen gegevens opnemen in een Event Hub met behulp van Event Hubs SDK's of een Kafka-producerclient.
  • Naamruimte: de beheercontainer voor een of meer Event Hubs of Kafka-onderwerpen. De beheertaken, zoals het toewijzen van streamingcapaciteit, het configureren van netwerkbeveiliging en het inschakelen van herstel na geo-noodgeval, worden afgehandeld op naamruimteniveau.
  • Event Hubs/Kafka-onderwerp: In Event Hubs kunt u gebeurtenissen organiseren in een Event Hub of een Kafka-onderwerp. Het is een gedistribueerd logboek met alleen toevoeggegevens, dat kan bestaan uit een of meer partities.
  • Partities: ze worden gebruikt om een Event Hub te schalen. Ze zijn als banen in een snelweg. Als u meer streamingdoorvoer nodig hebt, kunt u meer partities toevoegen.
  • Consumententoepassingen: deze toepassingen kunnen gegevens verbruiken door het gebeurtenislogboek te doorzoeken en de verschuiving van de consument te behouden. Consumenten kunnen Kafka-consumentenclients of Event Hubs SDK-clients zijn.
  • Consumentengroep: Deze logische groep consumentenexemplaren leest gegevens uit een Event Hub of Kafka-onderwerp. Hiermee kunnen meerdere consumenten dezelfde streaminggegevens in een Event Hub onafhankelijk in hun eigen tempo en met hun eigen offsets lezen.

Gerelateerde inhoud

Zie de volgende quickstarts om aan de slag te gaan met Event Hubs.

Gegevens streamen met behulp van de Event Hubs SDK (AMQP)

U kunt een van de volgende voorbeelden gebruiken om gegevens naar Event Hubs te streamen met behulp van SDK's.

Gegevens streamen met Apache Kafka

U kunt de volgende voorbeelden gebruiken om gegevens van uw Kafka-toepassingen naar Event Hubs te streamen.

Schemavalidatie met schemaregister

U kunt Event Hubs Schema Registry gebruiken om schemavalidatie uit te voeren voor uw gebeurtenisstreamingtoepassingen.