Azure Event Hubs – Big Data streamelési platform és eseménybetöltési szolgáltatás

Azure Event Hubs egy big data streamelési platform és eseménybetöltési szolgáltatás. Másodpercenként több millió eseményt képes fogadni és feldolgozni. Az eseményközpontokba elküldött adatok bármilyen valós idejű elemzési szolgáltató vagy kötegelési/tárolóadapter segítségével átalakíthatók és tárolhatók.

A következő forgatókönyvek az Event Hubs használatát lehetővé tevő forgatókönyvek:

  • Rendellenességek észlelése (csalások/kiugró értékek)
  • Alkalmazásnaplózás
  • Elemzési folyamatok, például kattintássorozatoké
  • Élő irányítópultok
  • Adatok archiválása
  • Tranzakciófeldolgozás
  • Felhasználói telemetria feldolgozása
  • Eszköztelemetria-stream

Miért érdemes az Event Hubs platformot használni?

Az adatok csak akkor értékesek, ha egyszerűen lehet feldolgozni és időben betekinteni az adatforrásokból. Az Event Hubs alacsony késéssel és zökkenőmentes integrációval rendelkező elosztott streamfeldolgozási platformot biztosít az Azure-on belüli és kívüli adat- és elemzési szolgáltatásokkal a teljes big data-folyamat létrehozásához.

Az Event Hubs az eseményfolyamatok „bejárati ajtaja”, amelyet gyakran neveznek eseménybetöltőnek a megoldásarchitektúrákban. Az eseménybetöltő egy olyan összetevő vagy szolgáltatás, amely az esemény-közzétevők és az eseményfelhasználók közé ékelődve elkülöníti az eseménystream létrehozását az események felhasználásától. Az Event Hubs egy egységes streamelési platformot biztosít az időmegőrzési pufferrel, és leválasztja az eseménygyártókat az eseményfelhasználóktól.

A következő szakaszok az Azure Event Hubs szolgáltatás legfontosabb jellemzőit ismertetik:

Teljes mértékben felügyelt PaaS

Az Event Hubs egy teljes körűen felügyelt, szolgáltatásként nyújtott platform (PaaS), kevés konfigurációval vagy felügyeleti többletterheléssel, így az üzleti megoldásokra összpontosíthat. Az Apache Kafkához készült Event Hubs-ökoszisztéma anélkül biztosítja a PaaS Kafka előnyeit, hogy saját fürtöket kellene kezelnie, konfigurálnia vagy futtatnia.

Valós idejű kötegelt feldolgozás támogatása

Valós időben töltheti be, pufferelheti, tárolhatja és dolgozhatja fel a streameket, hogy a gyakorlatban is használható elemzésekhez jusson. Az Event Hubs particionált fogyasztói modellt használ, amely lehetővé teszi több alkalmazás számára a stream egyidejű feldolgozását, és lehetővé teszi a feldolgozás sebességének szabályozását. Az Azure Event Hubs az Azure Functions szolgáltatással is integrálható egy kiszolgáló nélküli architektúra keretein belül.

Eseményadatok rögzítése

Közel valós időben rögzítheti adatait egy Azure Blob Storage-ban vagy Azure Data Lake Storage hosszú távú megőrzés vagy mikroköteg-feldolgozás céljából. Ezt a viselkedést ugyanazon a streamen érheti el, amelyet a valós idejű elemzések származtatásához használ. Az eseményadatok rögzítésének beállítása gyors. A futtatás nem jár adminisztratív költségekkel, és automatikusan skálázható az Event Hubs átviteli egységeivel vagy feldolgozási egységeivel. Az Event Hubs lehetővé teszi, hogy az adatrögzítés helyett az adatfeldolgozásra összpontosítson.

Méretezhető

Az Event Hubs szolgáltatással megabájtokban kezdheti az adatstreameket, és onnan továbbléphet a giga- és terabájtokra. Az Automatikus felfújás funkció egyike annak a számos lehetőségnek, amely lehetővé teszi az átviteli egységek vagy feldolgozási egységek számának skálázását a használati igényeknek megfelelően.

Gazdag ökoszisztéma

Az iparági szabványnak megfelelő AMQP 1.0 protokollon alapuló széles körű ökoszisztémával, amely a .NET, a Java, a Python és a JavaScript különböző nyelveken érhető el, egyszerűen megkezdheti a streamek feldolgozását az Event Hubsból. Az összes támogatott ügyfélnyelv alacsony szintű integrációt biztosít. Az ökoszisztéma zökkenőmentes integrációt biztosít az Olyan Azure-szolgáltatásokkal, mint az Azure Stream Analytics és a Azure Functions, így kiszolgáló nélküli architektúrákat hozhat létre.

Az Apache Kafkához készült Event Hubs

Az Apache Kafka-ökoszisztémákhoz készült Event Hubs emellett lehetővé teszi , hogy az Apache Kafka (1.0-s és újabb) ügyfelek és alkalmazások kommunikáljanak az Event Hubs-jal. Nem kell beállítania, konfigurálnia és kezelnie saját Kafka- és Zookeeper-fürtöit, és nem kell olyan Kafka-as-a-Service-ajánlatot használnia, amely nem natív az Azure-ban.

Az Event Hubs prémium szintű és dedikált

Az Event Hubs prémium szintű szolgáltatása kiváló teljesítményt, jobb elkülönítést és kiszámítható késést és minimális interferenciát igénylő magas szintű streamelési igényeket biztosít egy felügyelt több-bérlős PaaS-környezetben. A standard ajánlat összes funkcióján felül a prémium szint számos további funkciót kínál, például a dinamikus partíció felskálázását, a kiterjesztett megőrzést és az ügyfél által felügyelt kulcsokat. További információ: Event Hubs Premium.

Az Event Hubs dedikált szintje egybérlős üzembe helyezéseket kínál a legigényesebb streamelési igényekkel rendelkező ügyfelek számára. Ez az egybérlős ajánlat garantáltan 99,99%-os SLA-val rendelkezik, és csak a dedikált tarifacsomagon érhető el. Az Event Hubs-fürtök másodpercenként több millió eseményt tudnak beszűkítve, garantált kapacitással és alszektoros késéssel. A dedikált fürtben létrehozott névterek és eseményközpontok a prémium ajánlat minden funkcióját tartalmazzák. További információ: Dedikált Event Hubs.

További részletekért lásd: Event Hubs-szintek összehasonlítása .

Event Hubs az Azure Stack Hubon

Az Azure Stack Hubon futó Event Hubs lehetővé teszi a hibrid felhőforgatókönyvek megvalósítását. A streamelési és eseményalapú megoldások a helyszíni és az Azure-beli felhőfeldolgozáshoz is támogatottak. Függetlenül attól, hogy a forgatókönyv hibrid (csatlakoztatva) vagy leválasztva van-e, a megoldás nagy léptékben támogatja az események/streamek feldolgozását. A forgatókönyvet csak az Event Hubs-fürt mérete köti össze, amelyet igény szerint építhet ki.

Az Event Hubs-kiadások (az Azure Stack Hubon és az Azure-on) magas szintű funkciók paritását kínálják. Ez a paritás azt jelenti, hogy az SDK-k, a minták, a PowerShell, a parancssori felület és a portálok hasonló élményt nyújtanak, kevés különbséggel.

További információ: Event Hubs az Azure Stack Hubon – áttekintés.

Az architektúra legfontosabb összetevői

Az Event Hubs az alábbi fő összetevőket foglalja magába:

  • Esemény-előállítók: Minden entitás, amely adatokat küld egy eseményközpontnak. Az esemény-közzétevők a HTTPS, az AMQP 1.0 vagy az Apache Kafka (1.0 és újabb) használatával tehetik közzé az eseményeket.
  • Partíciók: Mindegyik felhasználó az üzenetstreamnek csak egy adott részét vagy partícióját olvassa.
  • Felhasználói csoportok: A teljes eseményközpont egyik nézete (állapot, pozíció vagy eltolás). A fogyasztói csoportok lehetővé teszik az alkalmazások használatát, hogy mindegyiknek külön nézete legyen az eseménystreamről. A streamet a saját tempójukban és saját eltolásukkal olvassák el egymástól függetlenül.
  • Átviteli egységek (standard szint) vagy feldolgozási egységek (prémium szintű) vagy kapacitásegységek (dedikált) : Előre megvásárolt kapacitásegységek, amelyek az Event Hubs átviteli kapacitását szabályozzák.
  • Eseményérzékelő: Minden entitás, amely eseményadatokat olvas egy eseményközpontból. Minden Event Hubs-fogyasztó az AMQP 1.0 munkameneten keresztül csatlakozik. Az Event Hubs szolgáltatás egy munkameneten keresztül továbbítja az eseményeket, amint elérhetővé válnak. Minden Kafka-fogyasztó a Kafka-protokoll 1.0-s vagy újabb verziójával csatlakozik.

A következő ábrán az Event Hubs streamfeldolgozási architektúrája látható:

Event Hubs

Következő lépések

Az Event Hubs használatának megkezdéséhez tekintse meg az Események küldése és fogadása oktatóanyagot:

Az Event Hubsszal kapcsolatos további információkért olvassa el a következő cikkeket: