Azure Event Hubs – Big Data-streamplatform és eseménybetöltési szolgáltatás

Azure Event Hubs egy big data-alapú streamelési platform és eseménybetöltési szolgáltatás. Másodpercenként több millió eseményt képes fogadni és feldolgozni. Az eseményközpontokba elküldött adatok bármilyen valós idejű elemzési szolgáltató vagy kötegelési/tárolóadapter segítségével átalakíthatók és tárolhatók.

A következő forgatókönyvek az Event Hubs használatát lehetővé tő forgatókönyvek:

  • Rendellenességek észlelése (csalások/kiugró értékek)
  • Alkalmazásnaplózás
  • Elemzési folyamatok, például kattintássorozatoké
  • Élő irányítópultok
  • Adatok archiválása
  • Tranzakciófeldolgozás
  • Felhasználói telemetria feldolgozása
  • Eszköztelemetria-stream

Miért érdemes az Event Hubs platformot használni?

Az adatok csak akkor értékesek, ha egyszerűen feldolgozható és időzíteni lehet az adatforrásokból származó megállapításokat. Az Event Hubs egy elosztott streamfeldolgozó platformot biztosít alacsony késéssel és zökkenőmentes integrációval az Azure-on belüli és kívüli adat- és elemzési szolgáltatásokkal a teljes big data-folyamat létrehozásához.

Az Event Hubs az eseményfolyamatok „bejárati ajtaja”, amelyet gyakran neveznek eseménybetöltőnek a megoldásarchitektúrákban. Az eseménybetöltő egy olyan összetevő vagy szolgáltatás, amely az esemény-közzétevők és az eseményfelhasználók közé ékelődve elkülöníti az eseménystream létrehozását az események felhasználásától. Az Event Hubs egységes streamelési platformot biztosít az időmegőrzési pufferrel, amely leválasztja az eseménykészítőket az eseményfelhasználókról.

A következő szakaszok az Azure Event Hubs szolgáltatás legfontosabb jellemzőit ismertetik:

Teljes mértékben felügyelt PaaS

Az Event Hubs egy teljes körűen felügyelt szolgáltatásként nyújtott platform (PaaS), amely kevés konfigurációs vagy felügyeleti többletterheléssel rendelkezik, így az üzleti megoldásokra összpontosíthat. Az Apache Kafkához készült Event Hubs-ökoszisztéma anélkül biztosítja a PaaS Kafka előnyeit, hogy saját fürtöket kellene kezelnie, konfigurálnia vagy futtatnia.

Valós idejű kötegelt feldolgozás támogatása

Valós időben töltheti be, pufferelheti, tárolhatja és dolgozhatja fel a streameket, hogy a gyakorlatban is használható elemzésekhez jusson. Az Event Hubs particionált fogyasztói modellt használ, amely lehetővé teszi több alkalmazás számára a stream egyidejű feldolgozását, és lehetővé teszi a feldolgozási sebesség szabályozását. Az Azure Event Hubs az Azure Functions szolgáltatással is integrálható egy kiszolgáló nélküli architektúra keretein belül.

Eseményadatok rögzítése

Közel valós időben rögzítheti adatait egy Azure Blob Storage-ban vagy Azure Data Lake Storage hosszú távú megőrzés vagy mikrokötegfeldolgozás céljából. Ezt a viselkedést ugyanazon a streamen érheti el, amelyet a valós idejű elemzések származtatásához használ. Az eseményadatok rögzítésének beállítása gyors. A futtatása nem jár adminisztratív költségekkel, és automatikusan skálázható az Event Hubs átviteli egységeivel vagy feldolgozóegységeivel. Az Event Hubs lehetővé teszi, hogy az adatfeldolgozásra összpontosítson az adatrögzítés helyett.

Méretezhető

Az Event Hubs szolgáltatással megabájtokban kezdheti az adatstreameket, és onnan továbbléphet a giga- és terabájtokra. Az automatikus feltöltés funkció az egyik a számos rendelkezésre álló lehetőség közül, ahány átviteli egység vagy feldolgozóegység méretezhető a használati igényeknek megfelelően.

Gazdag ökoszisztéma

Az iparági szabványnak megfelelő AMQP 1.0 protokollon alapuló, széles körű ökoszisztémával, amely a .NET, a Java, a Python és a JavaScript különböző nyelveken érhető el, könnyedén megkezdheti a streamek feldolgozását az Event Hubsból. Az összes támogatott ügyfélnyelv alacsony szintű integrációt biztosít. Az ökoszisztéma zökkenőmentes integrációt biztosít az Olyan Azure-szolgáltatásokkal, mint az Azure Stream Analytics és a Azure Functions, így kiszolgáló nélküli architektúrákat hozhat létre.

Az Apache Kafkához készült Event Hubs

Az Apache Kafka-hoz készült Event Hubs-ökoszisztémák továbbá lehetővé teszik az Apache Kafka (1.0-s és újabb) ügyfelek és alkalmazások számára, hogy kommunikáljanak az Event Hubs szolgáltatással. Nem kell beállítania, konfigurálnia és kezelnie saját Kafka- és Zookeeper-fürtöit, és nem kell használnia az Azure-ban nem natív, szolgáltatásként nyújtott Kafka-ajánlatokat.

Prémium szintű és dedikált Event Hubs

Az Event Hubs prémium szintű streamelési igényei kiváló teljesítményt, jobb elkülönítést és kiszámítható késést és minimális interferenciát igényelnek egy felügyelt, több-bérlős PaaS-környezetben. A standard ajánlat minden funkcióján felül a prémium szint számos további funkciót kínál, például a dinamikus partíció felskálázását, a kiterjesztett megőrzést és az ügyfél által felügyelt kulcsokat. További információ: Event Hubs Premium.

Az Event Hubs dedikált szintje egybérlős üzembe helyezéseket kínál a legnagyobb igényű streamelési igényekkel rendelkező ügyfelek számára. Ez az egybérlős ajánlat garantáltan 99,99%-os SLA-val rendelkezik, és csak dedikált tarifacsomagunkon érhető el. Az Event Hubs-fürtök másodpercenként több millió eseményt képesek bejövő forgalommal, garantált kapacitással és másodpercek alatti késéssel. A dedikált fürtön belül létrehozott névterek és eseményközpontok a prémium ajánlat minden funkcióját tartalmazzák. További információ: Event Hubs Dedicated.

További részletekért tekintse meg az Event Hubs-szintek összehasonlítását .

Event Hubs az Azure Stack Hubon

Az Azure Stack Hubon futó Event Hubs lehetővé teszi hibrid felhőbeli forgatókönyvek megvalósítását. A streamelési és eseményalapú megoldások a helyszíni és az Azure-beli felhőfeldolgozáshoz is támogatottak. Akár hibrid (csatlakoztatott), akár leválasztott forgatókönyvről van szó, a megoldás nagy méretekben támogatja az események/streamek feldolgozását. A forgatókönyvet csak az Event Hubs-fürt mérete köti, amelyet igény szerint építhet ki.

Az Event Hubs-kiadások (az Azure Stack Hubon és az Azure-ban) magas szintű funkcióparitást kínálnak. Ez a paritás azt jelenti, hogy az SDK-k, a minták, a PowerShell, a parancssori felület és a portálok hasonló élményt nyújtanak, néhány különbséggel.

További információ: Event Hubs az Azure Stack Hubon – áttekintés.

Az architektúra legfontosabb összetevői

Az Event Hubs az alábbi fő összetevőket foglalja magába:

  • Esemény-előállítók: Minden entitás, amely adatokat küld egy eseményközpontnak. Az esemény-közzétevők a HTTPS, az AMQP 1.0 vagy az Apache Kafka (1.0 és újabb) használatával tehetik közzé az eseményeket.
  • Partíciók: Mindegyik felhasználó az üzenetstreamnek csak egy adott részét vagy partícióját olvassa.
  • Felhasználói csoportok: A teljes eseményközpont egyik nézete (állapot, pozíció vagy eltolás). A fogyasztói csoportok lehetővé teszik, hogy az alkalmazások mindegyikének külön nézete legyen az eseménystreamnek. A streamet önállóan, a saját tempójukban és saját eltolással olvassák.
  • Átviteli egységek (standard szint) vagy feldolgozóegységek (prémium szint) vagy kapacitásegységek (dedikált): Előre megvásárolt kapacitásegységek, amelyek az Event Hubs átviteli kapacitását szabályozzák.
  • Eseményérzékelő: Minden entitás, amely eseményadatokat olvas egy eseményközpontból. Minden Event Hubs-felhasználó az AMQP 1.0-munkameneten keresztül csatlakozik. Az Event Hubs szolgáltatás egy munkameneten keresztül továbbítja az eseményeket, amint azok elérhetővé válnak. Minden Kafka-fogyasztó a Kafka-protokoll 1.0-s vagy újabb verziójával csatlakozik.

A következő ábrán az Event Hubs streamfeldolgozási architektúrája látható:

Event Hubs

Következő lépések

Az Event Hubs használatának megkezdéséhez tekintse meg az események küldésére és fogadására vonatkozó oktatóanyagokat:

Az Event Hubsszal kapcsolatos további információkért olvassa el a következő cikkeket: