Események rögzítése Azure Event Hubs Azure Blob Storage vagy Azure Data Lake Storage

Azure Event Hubs lehetővé teszi a streamelési adatok automatikus rögzítését az Event Hubsban egy Ön által választott Azure Blob Storage- vagy Azure Data Lake Storage 1. generációs vagy 2. generációs fiókban, és rugalmasabbá teszi az idő- vagy méretintervallum megadását. A Rögzítés beállítása gyors, a futtatásához nincs rendszergazdai költség, és automatikusan skálázható az Event Hubs átviteli sebességegységeivel a standard szinten vagy a prémium szintű feldolgozási egységekben . Az Event Hubs Capture a legegyszerűbb módja a streamelési adatok Azure-ba való betöltésének, és lehetővé teszi, hogy az adatrögzítés helyett az adatfeldolgozásra összpontosítson.

Az Event Hubs-adatok Azure Storage-ba vagy Azure Data Lake Storage

Megjegyzés

Az Event Hubs Capture konfigurálása Azure Data Lake Storage Gen 2 használatára ugyanaz, mint egy Azure Blob Storage használatára konfigurálva. Részletekért lásd: Event Hubs Capture konfigurálása.

Az Event Hubs Capture lehetővé teszi valós idejű és kötegelt folyamatok feldolgozását ugyanazon a streamen. Ez azt jelenti, hogy olyan megoldásokat hozhat létre, amelyek idővel az igényeinek megfelelően növekednek. Akár kötegelt rendszereket hoz létre ma a jövőbeli valós idejű feldolgozás szemével, akár egy hatékony hideg utat szeretne hozzáadni egy meglévő valós idejű megoldáshoz, az Event Hubs Capture megkönnyíti a streamelési adatok használatát.

Fontos

  • A célul szolgáló tárfióknak (Azure Storage vagy Azure Data Lake Storage) az eseményközponttal megegyező előfizetésben kell lennie.
  • Az Event Hubs nem támogatja az események rögzítését egy prémium szintű tárfiókban.

Az Event Hubs Capture működése

Az Event Hubs egy időmegőrzési tartós puffer a telemetriai bejövő forgalomhoz, hasonlóan az elosztott naplókhoz. Az Event Hubsban a skálázás kulcsa a particionált fogyasztói modell. Minden partíció az adatok független szegmense, és egymástól függetlenül lesz felhasználva. Idővel ezek az adatok a konfigurálható megőrzési időtartam alapján kiesnek. Ennek eredményeképpen egy adott eseményközpont soha nem lesz "túl megtelt".

Az Event Hubs Capture lehetővé teszi saját Azure Blob Storage-fiók és -tároló vagy Azure Data Lake Storage-fiók megadását, amelyek a rögzített adatok tárolására szolgálnak. Ezek a fiókok ugyanabban a régióban lehetnek, mint az eseményközpontban vagy egy másik régióban, ami az Event Hubs Capture funkció rugalmasságát teszi lehetővé.

A rögzített adatok Apache Avro formátumban íródtak: kompakt, gyors bináris formátum, amely részletes adatstruktúrákat és beágyazott sémát biztosít. Ezt a formátumot széles körben használják a Hadoop-ökoszisztémában, a Stream Analyticsben és a Azure Data Factory. Az Avro használatával kapcsolatos további információk a cikk későbbi részében érhetők el.

Megjegyzés

Ha nem használ kódszerkesztőt a Azure Portal, parquet formátumú Azure Data Lake Storage Gen2-fiókban rögzítheti a streamelési adatokat az Event Hubsban. További információ: Az Event Hubs adatainak rögzítése Parquet formátumban és oktatóanyag: Event Hubs-adatok rögzítése Parquet formátumban és elemzés Azure Synapse Analytics használatával.

Ablakos rögzítés

Az Event Hubs Capture lehetővé teszi egy ablak beállítását a rögzítés vezérléséhez. Ez az ablak egy minimális méret- és időkonfiguráció az "első nyerési szabályzattal", ami azt jelenti, hogy az első észlelt eseményindító rögzítési műveletet okoz. Ha tizenöt perces, 100 MB-os rögzítési ablaka van, és másodpercenként 1 MB-ot küld, a méretablak az időablak előtt aktiválódik. Minden partíció egymástól függetlenül rögzíti a blokkblobot, és a rögzítés időpontjában egy befejezett blokkblobot ír, amely a rögzítési időköz elérésének időpontjáról elnevezve van elnevezve. A tárolási elnevezési konvenció a következő:

{Namespace}/{EventHub}/{PartitionId}/{Year}/{Month}/{Day}/{Hour}/{Minute}/{Second}

A dátumértékek nullákkal vannak kipárnázottak; példafájlnév lehet:

https://mystorageaccount.blob.core.windows.net/mycontainer/mynamespace/myeventhub/0/2017/12/08/03/03/17.avro

Ha az Azure Storage-blob átmenetileg nem érhető el, az Event Hubs Capture megőrzi az adatokat az eseményközpontban konfigurált adatmegőrzési időszakra, és a tárfiók újbóli rendelkezésre állása után újra kitölti az adatokat.

Átviteli egységek vagy feldolgozási egységek skálázása

Az Event Hubs standard szintjén a forgalmat átviteli egységek vezérlik, a prémium szintű Event Hubsban pedig feldolgozási egységek vezérlik. Az Event Hubs Capture közvetlenül a belső Event Hubs-tárolóból másolja az adatokat, megkerüli az átviteli egységeket vagy a feldolgozási egységek kimenő kvótáit, és menti a kimenő forgalmat más feldolgozó olvasók, például a Stream Analytics vagy a Spark számára.

A konfigurálás után az Event Hubs Capture automatikusan elindul az első esemény elküldésekor, és továbbra is fut. Annak érdekében, hogy az alsóbb rétegbeli feldolgozás könnyebben tudja, hogy a folyamat működik, az Event Hubs üres fájlokat ír, ha nincsenek adatok. Ez a folyamat kiszámítható ütemet és jelölőt biztosít, amely táplálhatja a kötegelt processzorokat.

Az Event Hubs Capture beállítása

Az eseményközpont létrehozási ideje alatt konfigurálhatja a Rögzítést az Azure Portal vagy az Azure Resource Manager-sablonok használatával. További információért tekintse át a következő cikkeket:

Megjegyzés

Ha engedélyezi a Rögzítés funkciót egy meglévő eseményközponthoz, a funkció rögzíti azokat az eseményeket, amelyek a funkció bekapcsolása után érkeznek az eseményközpontba. Nem rögzíti az eseményközpontban a funkció bekapcsolása előtt létező eseményeket.

Az Event Hubs Capture díjának felszámítása

Az Event Hubs Capture mérése az átviteli egységekhez (standard szint) vagy feldolgozási egységekhez hasonlóan történik (prémium szinten): óránkénti díjként. A díj közvetlenül arányos a névtérhez vásárolt átviteli egységek vagy feldolgozási egységek számával. Mivel az átviteli egységek vagy a feldolgozási egységek száma növekszik és csökken, az Event Hubs Capture mérői növekednek és csökkennek az egyező teljesítmény biztosítása érdekében. A mérők a tandemben fordulnak elő. A díjszabás részleteiért lásd: Event Hubs díjszabása.

A rögzítés nem használja fel a kimenő kvótát, mivel külön számlázzák.

Integráció az Event Griddel

Létrehozhat egy Azure Event Grid-előfizetést, amelynek forrása egy Event Hubs-névtér. Az alábbi oktatóanyag bemutatja, hogyan hozhat létre Event Grid-előfizetést egy eseményközponttal forrásként és egy Azure Functions alkalmazással fogadóként: Rögzített Event Hubs-adatok feldolgozása és migrálása egy Azure Synapse Analyticsbe az Event Grid és a Azure Functions használatával.

Rögzített fájlok felfedezése

A rögzített Avro-fájlok megismeréséhez lásd: A rögzített Avro-fájlok felfedezése.

Következő lépések

Az Event Hubs Capture a legegyszerűbb módja az adatok Azure-ba való beolvasásának. Az Azure Data Lake, a Azure Data Factory és az Azure HDInsight használatával tetszőleges léptékben végezhet kötegelt feldolgozást és egyéb elemzéseket az Ön által választott jól ismert eszközök és platformok használatával.

Ismerje meg, hogyan engedélyezheti ezt a funkciót a Azure Portal és az Azure Resource Manager sablonnal: