Azure Event Hubs: Valós idejű adatstreamelési platform natív Apache Kafka-támogatással

Az Azure Event Hubs egy natív adatstreamelési szolgáltatás a felhőben, amely másodpercenként több millió eseményt képes streamelni, alacsony késéssel, bármilyen forrásból bármilyen célhelyre. Az Event Hubs kompatibilis az Apache Kafkával. Lehetővé teszi a meglévő Kafka-számítási feladatok kódmódosítások nélküli futtatását.

A vállalatok az Event Hubs használatával betölthetik és tárolhatják a streamelési adatokat. A streamelési adatok használatával a vállalatok értékes elemzéseket nyerhetnek, valós idejű elemzéseket végezhetnek, és reagálhatnak az eseményekre. Ezek az adatok az általános hatékonyság és az ügyfélélmény javítása érdekében használhatók.

Az Event Hubs az Azure-ra épülő eseménystreamelési megoldások előnyben részesített eseménybetöltési rétege. Az Azure-on belüli és kívüli adat- és elemzési szolgáltatásokkal integrálva teljes adatstreamelési folyamatot hoz létre a következő használati esetek kiszolgálásához:

• Adatok feldolgozása az eseményközpontból az Azure Stream Analytics használatával valós idejű elemzések létrehozásához.
• Streamelési adatok elemzése és feltárása az Azure Data Explorerrel.
• Hozzon létre saját natív felhőalkalmazásokat, függvényeket vagy mikroszolgáltatásokat, amelyek streamelési adatokon futnak az Event Hubsból.
• Események streamelése sémaérvényesítéssel a beépített Azure Schema Registry használatával a streamelési adatok minőségének és kompatibilitásának biztosítása érdekében.

Főbb funkciók

A következő szakaszokban megismerheti az Azure Event Hubs főbb funkcióit.

Apache Kafka az Azure Event Hubsban

Az Event Hubs egy többprotokollos eseménystreamelési motor, amely natív módon támogatja az Advanced Message Queuing Protocol (AMQP), az Apache Kafka és a HTTPS protokollokat. Mivel támogatja az Apache Kafkát, a Kafka-számítási feladatokat kódmódosítások nélkül is átviheti az Event Hubsba. Nem kell saját Kafka-fürtöket beállítania, konfigurálnia vagy kezelnie, és nem kell olyan Kafka-szolgáltatásajánlatot használnia, amely nem natív az Azure-ban.

Az Event Hubs natív felhőbeli közvetítőmotorként készült. Emiatt a Kafka számítási feladatait jobb teljesítménnyel, jobb költséghatékonysággal és működési többletterhelés nélkül futtathatja.

További információ: Azure Event Hubs for Apache Kafka.

Sémaregisztrációs adatbázis az Event Hubsban

Az Azure Schema Registry az Event Hubsban egy központosított adattárat biztosít az eseménystreamelési alkalmazások sémáinak kezeléséhez. A Sémaregisztrációs adatbázis ingyenesen használható minden Event Hubs-névtérhez. Integrálható a Kafka-alkalmazásokkal vagy az Event Hubs SDK-alapú alkalmazásokkal.

A sémaregisztrációs adatbázis biztosítja az adatkompatibilitást és konzisztenciát az eseménykészítők és -felhasználók között. Lehetővé teszi a séma fejlődését, érvényesítését és szabályozását, és elősegíti a hatékony adatcserét és az interoperabilitást.

A sémaregisztrációs adatbázis integrálható a meglévő Kafka-alkalmazásokkal, és számos sémaformátumot támogat, köztük az Avro- és JSON-sémákat.

További információ: Azure Schema Registry az Event Hubsban.

Streamelési események valós idejű feldolgozása a Stream Analytics használatával

Az Event Hubs integrálható az Azure Stream Analyticsszel a valós idejű streamfeldolgozás engedélyezéséhez. A beépített kód nélküli szerkesztővel a Stream Analytics-feladatokat húzással, kódírás nélkül fejlesztheti.

Másik lehetőségként a fejlesztők az SQL-alapú Stream Analytics lekérdezési nyelv használatával valós idejű streamfeldolgozást végezhetnek, és számos függvényt használhatnak a streamelési adatok elemzéséhez.

További információkért tekintse meg a tartalomjegyzék Azure Stream Analytics-integrációs szakaszában található cikkeket.

Streamelési adatok felfedezése az Azure Data Explorerrel

Az Azure Data Explorer egy teljes mértékben felügyelt platform a big data-elemzéshez, amely nagy teljesítményt nyújt, és lehetővé teszi nagy mennyiségű adat közel valós idejű elemzését. Az Event Hubs és az Azure Data Explorer integrálásával közel valós idejű elemzéseket és streamelési adatok feltárását végezheti el.

További információ: Adatok betöltése eseményközpontból az Azure Data Explorerbe.

Azure-függvények, SDK-k és a Kafka-ökoszisztéma

Az Event Hubs segítségével valós időben betöltheti, pufferelheti, tárolhatja és feldolgozhatja a streamet, hogy végrehajtható elemzéseket kapjon. Az Event Hubs particionált fogyasztói modellt használ. Lehetővé teszi, hogy több alkalmazás egyszerre dolgozza fel a streamet, és lehetővé teszi a feldolgozás sebességének szabályozását. Az Event Hubs az Azure Functions szolgáltatással is integrálható kiszolgáló nélküli architektúrákhoz.

Széles körű ökoszisztéma áll rendelkezésre az iparági szabványnak megfelelő AMQP 1.0 protokollhoz. Az SDK-k olyan nyelveken érhetők el, mint a .NET, a Java, a Python és a JavaScript, így megkezdheti a streamek feldolgozását az Event Hubsból. Az összes támogatott ügyfélnyelv alacsony szintű integrációt biztosít.

Az ökoszisztéma lehetővé teszi az Azure Functions, az Azure Spring Apps, a Kafka Connectors és más adatelemzési platformok és technológiák, például az Apache Spark és az Apache Flink integrálását is.

Rugalmas és költséghatékony eseménystreamelés

Rugalmas és költséghatékony eseménystreamelést tapasztalhat az Event Hubs standard, prémium vagy dedikált szintjei között. Ezek a beállítások néhány MB/s és több GB/s közötti tartományt igényelnek az adatstreameléshez. Kiválaszthatja a követelményeknek megfelelő egyezést.

Méretezhető

Az Event Hubs segítségével megabájtban lévő adatfolyamokkal kezdhet, és gigabájtra vagy terabájtra nőhet. Az automatikus felfújás funkció az egyik lehetőség az átviteli egységek vagy feldolgozási egységek számának skálázására a használati igényeknek megfelelően.

Támogatja a nagy méretű üzenetek streamelt szolgáltatását

A legtöbb streamelési forgatókönyvben az adatok egyszerűek, általában 1 MB-nál kisebbek, és nagy átviteli sebességgel rendelkeznek. Vannak olyan példányok is, ahol az üzenetek nem oszthatók kisebb szegmensekre. Az Event Hubs akár 20 MB-os eseményeket is képes ellátni önkiszolgáló, dedikált fürtökkel , felár nélkül. Ezzel a funkcióval az Event Hubs számos üzenetméretet kezelhet a zavartalan üzleti műveletek biztosítása érdekében. További információ: Nagyméretű üzenetek küldése és fogadása az Azure Event Hubs használatával.

Streamelési adatok rögzítése hosszú távú megőrzéshez és kötegelt elemzéshez

Közel valós időben rögzítheti adatait az Azure Blob Storage-ban vagy az Azure Data Lake Storage-ban hosszú távú megőrzés vagy mikroköteg-feldolgozás céljából. Ezt a viselkedést ugyanazon a streamen érheti el, amelyet valós idejű elemzések származtatásához használ. Az eseményadatok rögzítésének beállítása gyors.

Hogyan működik?

Az Event Hubs egy egységes eseménystreamelési platformot biztosít egy időmegőrzési pufferrel, amely leválasztja az eseménygyártókat az eseményfelhasználóktól. A gyártói és fogyasztói alkalmazások több protokollon keresztül végezhetnek nagy léptékű adatbetöltést.

Az alábbi ábra az Event Hubs-architektúra fő összetevőit mutatja be.

Az Event Hubs fő funkcionális összetevői a következők:

• Gyártói alkalmazások: Ezek az alkalmazások az Event Hubs SDK-k vagy bármely Kafka-gyártói ügyfél használatával betölthetnek adatokat egy eseményközpontba.
• Névtér: Egy vagy több eseményközpont vagy Kafka-témakör felügyeleti tárolója. Az olyan felügyeleti feladatokat, mint a streamelési kapacitás kiosztása, a hálózati biztonság konfigurálása és a geokatasztrófa-helyreállítás engedélyezése, a névtér szintjén kezelik.
• Event Hubs/Kafka témakör: Az Event Hubsban eseményközpontba vagy Kafka-témakörbe rendezheti az eseményeket. Ez egy csak hozzáfűző elosztott napló, amely egy vagy több partícióból állhat.
• Partíciók: Egy eseményközpont skálázásához használatosak. Olyanok, mint a sávok az autópályán. Ha több streamelési átviteli sebességre van szüksége, további partíciókat is hozzáadhat.
• Fogyasztói alkalmazások: Ezek az alkalmazások az eseménynaplón keresztüli kereséssel és a fogyasztói eltolás fenntartásával használhatják fel az adatokat. A fogyasztók lehetnek Kafka fogyasztói ügyfelek vagy Event Hubs SDK-ügyfelek.
• Fogyasztói csoport: A fogyasztói példányok logikai csoportja adatokat olvas be egy eseményközpontból vagy Kafka-témakörből. Lehetővé teszi, hogy több felhasználó egymástól függetlenül, a saját tempójukban és saját eltolásukkal olvassa be ugyanazt a streamelési adatot egy eseményközpontban.

Kapcsolódó tartalom

Az Event Hubs használatának megkezdéséhez tekintse meg az alábbi rövid útmutatókat.

Adatok streamelése az Event Hubs SDK (AMQP) használatával

Az alábbi minták bármelyikével SDK-kkal streamelheti az adatokat az Event Hubsba.

• .NET Core
• Java
• Spring
• Python
• JavaScript
• Ugrás
• C (csak küldés)
• Apache Storm (csak fogadás)

Adatok streamelése az Apache Kafka használatával

Az alábbi minták segítségével adatokat streamelhet a Kafka-alkalmazásokból az Event Hubsba.

• Az Event Hubs használata Kafka-alkalmazásokkal

Sémaérvényesítés a sémaregisztrációs adatbázissal

Az Event Hubs sémaregisztrációs adatbázisa segítségével sémaellenőrzést végezhet az eseménystreamelési alkalmazásokhoz.

• Sémaérvényesítés Kafka-alkalmazásokhoz