Azure Event Hubs – platforma pro streamování dat v reálném čase s nativní podporou Apache Kafka

  • Článek

Azure Event Hubs je cloudová nativní služba streamování dat, která může streamovat miliony událostí za sekundu s nízkou latencí z libovolného zdroje do libovolného cíle. Služba Event Hubs je kompatibilní s Apache Kafka a umožňuje spouštět existující úlohy Kafka bez jakýchkoli změn kódu.

Díky službě Event Hubs k ingestování a ukládání streamovaných dat můžou firmy využívat výkon streamovaných dat k získání cenných přehledů, řízení analýz v reálném čase a reakci na události, které se stávají, což zvyšuje celkovou efektivitu a uživatelské prostředí.

Diagram that shows how Azure Event Hubs fits in an event streaming platform.

Azure Event Hubs je upřednostňovaná vrstva příjmu událostí libovolného řešení streamování událostí, které vytváříte nad Azure. Bezproblémově se integruje s datovými a analytickými službami uvnitř a mimo Azure, aby se vytvořil kompletní kanál streamování dat, který bude sloužit v následujících případech použití.

Klíčové funkce

Apache Kafka ve službě Azure Event Hubs

Azure Event Hubs je modul pro streamování událostí s více protokoly, který nativně podporuje protokoly AMQP, Apache Kafka a HTTPs. Vzhledem k tomu, že podporuje Apache Kafka, můžete úlohy Kafka přenést do služby Azure Event Hubs beze změny kódu. Nemusíte nastavovat, konfigurovat a spravovat vlastní clustery Kafka ani používat nabídku Kafka jako služba, která není nativní pro Azure.

Služba Event Hubs je postavená od základů jako nativní zprostředkovatelský modul cloudu. Proto můžete spouštět úlohy Kafka s lepším výkonem, lepší nákladovou efektivitou a bez provozní režie.

Další informace najdete v tématu Azure Event Hubs pro Apache Kafka.

Registr schématu ve službě Azure Event Hubs

Azure Schema Registry ve službě Event Hubs poskytuje centralizované úložiště pro správu schémat streamovaných aplikací událostí. Služba Azure Schema Registry se dodává zdarma s každým oborem názvů služby Event Hubs a bezproblémově se integruje s vašimi aplikacemi založenými na sadě Event Hubs SDK nebo se sadou Event Hubs SDK.

Diagram that shows Schema Registry and Azure Event Hubs integration.

Zajišťuje kompatibilitu a konzistenci dat mezi producenty událostí a spotřebiteli. Registr schémat umožňuje bezproblémovou vývoj schématu, ověřování a zásady správného řízení a podporu efektivní výměny dat a interoperability.

Registr schémat se bezproblémově integruje s vašimi existujícími aplikacemi Kafka a podporuje více formátů schémat, včetně schémat Avro a JSON.

Další informace najdete v tématu Azure Schema Registry ve službě Event Hubs.

Zpracování událostí streamování v reálném čase pomocí Azure Stream Analytics

Služba Event Hubs se bezproblémově integruje se službou Azure Stream Analytics a umožňuje zpracování datových proudů v reálném čase. Pomocí integrovaného editoru bez kódu můžete snadno vyvíjet úlohu Stream Analytics pomocí funkce přetažení, aniž byste museli psát žádný kód.

Screenshot showing the Process data page with Enable real time insights from events tile selected.

Vývojáři můžou také použít dotazovací jazyk Stream Analytics založený na SQL k provádění zpracování datových proudů v reálném čase a využívat širokou škálu funkcí pro analýzu streamovaných dat.

Další informace najdete v článcích v části integrace Azure Stream Analytics v obsahu.

Zkoumání streamovaných dat pomocí Azure Data Exploreru

Azure Data Explorer je plně spravovaná platforma pro analýzy velkých objemů dat, která poskytuje vysoký výkon a umožňuje analýzu velkých objemů dat téměř v reálném čase. Integrací služby Event Hubs s Azure Data Explorerem můžete snadno provádět analýzy a zkoumání streamovaných dat téměř v reálném čase.

Diagram that shows Azure Data explorer query and output.

Další informace najdete v tématu Ingestování dat z centra událostí do Azure Data Exploreru a článků ve stejné části.

Bohatý ekosystém – funkce Azure, sady SDK a ekosystém Kafka

Ingestování, ukládání do vyrovnávací paměti, dlouhodobé ukládání a zpracování streamu je možné v reálném čase, takže můžete využívat užitečné přehledy hned. Služba Event Hubs používá model dělených příjemců, který umožňuje více aplikacím zpracovávat stream souběžně a umožňuje řídit rychlost zpracování. Azure Event Hubs se také integruje se službou Azure Functions pro bezserverové architektury.

S širokým ekosystémem dostupným pro standardní protokol AMQP 1.0 a sady SDK dostupné v různých jazycích: .NET, Java, Python, JavaScript, můžete snadno začít zpracovávat streamy ze služby Event Hubs. Všechny podporované jazyky klientů poskytují integraci na nízké úrovni.

Ekosystém také poskytuje bezproblémovou integraci Azure Functions, Azure Spring Apps, Připojení orů Kafka a dalších platforem a technologií pro analýzu dat, jako jsou Apache Spark a Apache Flink.

Flexibilní a nákladově efektivní streamování událostí

Můžete si projít flexibilní a nákladově efektivní streamování událostí prostřednictvím různorodého výběru úrovní služby Event Hubs, včetně úrovně Standard, Premium a Dedicated. Tyto možnosti vyhovují potřebám streamování dat v rozsahu od několika MB/s po několik GB/s, takže si můžete vybrat ideální shodu pro vaše požadavky.

Škálovatelné

Pomocí Event Hubs můžete začít se streamy v megabajtech a přejít na gigabajty nebo terabajty. Funkce automatického nafukování je jednou z mnoha dostupných možností škálování počtu jednotek propustnosti nebo jednotek zpracování podle vašich potřeb využití.

Zachytávání streamovaných dat pro dlouhodobé uchovávání a dávkové analýzy

Zachytávání dat téměř v reálném čase v úložišti objektů blob Azure nebo Azure Data Lake Storage pro dlouhodobé uchovávání nebo mikrodávkové zpracování. Toto chování můžete dosáhnout u stejného datového proudu, který používáte k odvození analýz v reálném čase. Nastavení zachytávání dat událostí je rychlé.

Image showing capturing of Event Hubs data into Azure Storage or Azure Data Lake Storage using Managed Identity

Jak to funguje

Event Hubs poskytuje jednotnou platformu streamování událostí s vyrovnávací pamětí času a odděluje producenty událostí od příjemců událostí. Producenti a spotřebitelské aplikace můžou provádět velké škálování příjmu dat prostřednictvím více protokolů.

Následující obrázek znázorňuje klíčové komponenty architektury služby Event Hubs:

Diagram that shows the main components of Event Hubs.

Mezi klíčové funkční komponenty služby Event Hubs patří:

  • Aplikace producenta můžou ingestovat data do centra událostí pomocí sad SDK služby Event Hubs nebo jakéhokoli klienta producenta Kafka.
  • Obor názvů je kontejner pro správu jednoho nebo více center událostí nebo témat Kafka. Úlohy správy, jako je přidělování kapacity streamování, konfigurace zabezpečení sítě, povolení geografického zotavení po havárii atd., se zpracovávají na úrovni oboru názvů.
  • Téma Event Hub/Kafka: Ve službě Event Hubs můžete události uspořádat do centra událostí nebo do tématu Kafka. Je to pouze distribuovaný protokol, který může obsahovat jeden nebo více oddílů.
  • Oddíly se používají ke škálování centra událostí. Jsou jako pruhy na volné cestě. Pokud potřebujete větší propustnost streamování, musíte přidat další oddíly.
  • Spotřebitelské aplikace využívají data hledáním v protokolu událostí a udržováním posunu příjemce. Příjemci můžou být klienti Kafka consumer nebo klienti sady Event Hubs SDK.
  • Skupina příjemců je logická skupina instancí příjemců, která čte data z centra událostí nebo tématu Kafka. Umožňuje více příjemcům číst stejná streamovaná data v centru událostí nezávisle na sobě vlastním tempem a s vlastními posuny.

Další kroky

Pokud chcete začít používat službu Event Hubs, podívejte se na následující úvodní příručky.

Streamování dat pomocí sady Event Hubs SDK (AMQP)

Pomocí libovolné z následujících ukázek můžete streamovat data do služby Event Hubs pomocí sad SDK.

Streamování dat pomocí Apache Kafka

Pomocí následujících ukázek můžete streamovat data z aplikací Kafka do služby Event Hubs.

Ověřování schématu pomocí registru schématu

Registr schématu služby Event Hubs můžete použít k ověření schématu pro aplikace streamování událostí.