Események rögzítése az Azure Event Hubson keresztül az Azure Blob Storage-ban vagy az Azure Data Lake Storage-ban

Az Azure Event Hubs Capture szolgáltatás automatikusan rögzíti az Event Hubson keresztül egy Azure Blob Storage- vagy Azure Data Lake Storage-fiókba irányuló streamelési adatokat. Annak szabályozásához, hogy az Event Hubs mikor tárolja az adatokat, megadhat egy idő- vagy méretintervallumot. Gyorsan engedélyezheti vagy beállíthatja az Event Hubs Capture funkciót. Nem igényel rendszergazdai költségeket, és automatikusan méretezhető az Event Hubs-kapacitással.

A Standard szint átviteli egységeket, a Prémium szint pedig feldolgozási egységeket használ. Az Event Hubs Capture leegyszerűsíti a streamelési adatok Azure-ba való betöltésének folyamatát, és lehetővé teszi, hogy adatrögzítés helyett az adatfeldolgozásra összpontosítson.

Az Event Hubs Capture segítségével valós idejű és kötegelt folyamatokat dolgozhat fel ugyanazon a folyamón. Ez a megközelítés segít olyan megoldások létrehozásában, amelyek idővel az igényeinek megfelelően növekednek. Ha kötegelt alapú rendszereket használ, és később valós idejű feldolgozást tervez hozzáadni, vagy ha egy meglévő valós idejű megoldáshoz szeretne hatékony hideg útvonalat hozzáadni, az Event Hubs Capture leegyszerűsíti a streamelési adatok használatát.

Fontos tudnivalók

• Ha nem használ felügyelt identitást a hitelesítéshez, a céltárfióknak a Blob Storage-nak vagy a Data Lake Storage-nak ugyanabban az előfizetésben kell lennie, mint az eseményközpontnak.

• Az Event Hubs nem támogatja az események rögzítését prémium szintű Azure Storage-fiókokban.

• Az Event Hubs Capture támogatja a blokkblobokat engedélyező nempremium Storage-fiókokat.

Az Event Hubs Capture működése

Az Event Hubs időmegőrzési tartós pufferként szolgál a telemetriai bejövő adatokhoz, hasonlóan az elosztott naplókhoz. A particionált fogyasztói modell lehetővé teszi a méretezhetőséget. Az egyes partíciók az adatok független szegmensei, és egymástól függetlenül lesznek felhasználva. Ezek az adatok a konfigurálható megőrzési időszak után törlődnek, így az eseményközpont soha nem lesz túl megtelt.

Az Event Hubs Capture lehetővé teszi egy Blob Storage-fiók és -tároló vagy egy Data Lake Storage-fiók megadását a rögzített adatok tárolásához. Ezek a fiókok ugyanabban a régióban lehetnek, mint az eseményközpont vagy egy másik régió, ami rugalmasságot ad.

Az Event Hubs Capture a rögzített adatokat Apache Avro formátumban írja, amely egy kompakt, gyors bináris formátum, amely gazdag adatstruktúrákat és beágyazott sémákat biztosít. A Hadoop-ökoszisztéma, az Azure Stream Analytics és az Azure Data Factory ezt a formátumot használja. A cikk későbbi szakaszai további információt nyújtanak az Avro használatával kapcsolatban.

Feljegyzés

• Ha a kód nélküli szerkesztőt használja az Azure Portalon, az Event Hubsban rögzítheti a streamelési adatokat egy Data Lake Storage-fiókba Parquet formátumban. További információ: Az Event Hubs adatainak rögzítése Parquet formátumban és Event Hubs-adatok rögzítése Parquet formátumban, és elemzés az Azure Synapse Analytics használatával.

• Az Event Hubs Capture Data Lake Storage-tal való konfigurálásához kövesse azokat a lépéseket, mint a Blob Storage-jal való konfigurálását. További információ: Event Hubs Capture konfigurálása.

• Az 1. generációs Data Lake Storage ki van állítva, és már nem támogatott az Event Hubs Capture esetében. Ha Gen1-et használ, migráljon a Gen2-be a kompatibilitás és a folyamatos támogatás biztosítása érdekében.

Ablakos rögzítés

A rögzítés szabályozásához az Event Hubs Capture használatával állítson be egy minimális méret- és időkonfigurációt használó ablakot. A rendszer egy elsőként teljesülő szabályt alkalmaz, ami azt jelenti, hogy az elsőként teljesülő feltétel – legyen az méret vagy idő – aktiválja a rögzítést. Ha például tizenöt perces, 100 megabájtos (MB) rögzítési ablaka van, és másodpercenként 1 MB-ot küld, a méretablak az időablak előtt aktiválódik.

Minden partíció egymástól függetlenül rögzíti az adatokat, és a rögzítéskor egy befejezett blokkblobot ír. A blob neve azt az időpontot tükrözi, amikor a rögzítési időköz előfordult.

A tárolási elnevezési konvenció a következő struktúrát követi:

{Namespace}/{EventHub}/{PartitionId}/{Year}/{Month}/{Day}/{Hour}/{Minute}/{Second}

A dátumértékek nullákkal vannak kipárnázva. A következő fájlnév egy példát mutat be:

https://mystorageaccount.blob.core.windows.net/mycontainer/mynamespace/myeventhub/0/2017/12/08/03/03/17.avro

Ha a Storage-blob átmenetileg elérhetetlenné válik, az Event Hubs Capture megőrzi az adatokat az eseményközpontban konfigurált adatmegőrzési időszakra vonatkozóan. Miután a tárfiók ismét elérhetővé válik, az Event Hubs Capture adatfeltöltést végez.

Átviteli sebességegységek vagy feldolgozási egységek méretezése

Az Event Hubs standard szintjén az átviteli egységek szabályozzák a forgalmat. A Prémium szinten a feldolgozási egységek szabályozzák a forgalmat. Az Event Hubs Capture közvetlenül lemásolja az adatokat a belső Event Hubs-tárolóból, megkerülve az átviteli vagy feldolgozási egységek kimenő kvótáit, így megőrzi a feldolgozási kapacitást más feldolgozó rendszerek, például a Stream Analytics vagy az Apache Spark számára.

Az Event Hubs Capture konfigurálása után az automatikusan elindul, amikor elküldi az első eseményt, és továbbra is fut. Annak érdekében, hogy az alsóbb rétegbeli rendszerek megerősítsék a folyamat működését, az Event Hubs üres fájlokat ír, ha nincs elérhető adat. Ez a folyamat kiszámítható ütemet és jelölőt biztosít, amely képes táplálni a kötegelt processzorokat.

Az Event Hubs Capture beállítása

A Capture eseményközpont létrehozásakor történő konfigurálásához használja az Azure Portalt vagy egy Azure Resource Manager-sablont (ARM-sablont). További információért tekintse át az alábbi cikkeket:

• Az Event Hubs Capture engedélyezése az Azure Portal használatával
• Eseményközpontot tartalmazó Event Hubs-névtér létrehozása és a Rögzítés engedélyezése ARM-sablon használatával

Feljegyzés

Ha engedélyezi a Rögzítés funkciót egy meglévő eseményközponthoz, a funkció csak azokat az eseményeket rögzíti, amelyek a bekapcsolás után érkeznek. Nem rögzíti az aktiválás előtt létező eseményeket.

Event Hubs Capture számlázás

Az Event Hubs Premium szintje tartalmazza a Rögzítés funkciót. A Standard szint esetében az Azure a Capture költségeit havonta a névtér átviteli egységeinek számán alapulva számolja fel. Az átviteli sebességegységek fel- vagy leskálázása során az Event Hubs Capture a teljesítménynek megfelelően módosítja a mérést. Ezek a mérőszámok együtt növekednek.

A Capture nem használja fel a kimenő kvótát, mert az Azure külön számláz.

További információ: Event Hubs díjszabási.

Integrálás az Azure Event Griddel

Létrehozhat egy Azure Event Grid-előfizetést, amelynek forrása egy Event Hubs-névtér. A rögzített Event Hubs-adatok migrálása az Azure Synapse Analyticsbe című témakörben talál további információt arról, hogyan hozhat létre event Grid-előfizetést egy eseményközponttal forrásként és egy Azure Functions-alkalmazással.

Rögzített fájlok felfedezése

A rögzített Avro-fájlok feltárásáról a rögzített Avro-fájlok felfedezése című témakörben olvashat.

Azure Storage-fiók célként

Ha engedélyezni szeretné a Rögzítést egy olyan eseményközponton, amely a Tárolást használja rögzítési célhelyként, vagy egy olyan eseményközpont tulajdonságainak frissítéséhez, amely a Tárolót használja rögzítési célként, a felhasználónak vagy a szolgáltatásnévnek rendelkeznie kell egy szerepköralapú hozzáférés-vezérlési (RBAC) szerepkörrel, amely a tárfiók hatóköréhez rendelt alábbi engedélyeket tartalmazza:

Microsoft.Storage/storageAccounts/blobServices/containers/write
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/write

Ezen engedély nélkül a következő hiba jelenik meg:

Generic: Linked access check failed for capture storage destination <StorageAccount Arm Id>.
User or the application with object id <Object Id> making the request doesn't have the required data plane write permissions.
Please enable Microsoft.Storage/storageAccounts/blobServices/containers/write, Microsoft.Storage/storageAccounts/blobServices/containers/blobs/write permission(s) on above resource for the user or the application and retry.
TrackingId:<ID>, SystemTracker:mynamespace.servicebus.windows.net:myhub, Timestamp:<TimeStamp>

A probléma megoldásához adja hozzá a felhasználói fiókot vagy a szolgáltatásnevet a Storage Blob Data Owner beépített szerepköréhez, amely tartalmazza a szükséges engedélyeket.

Kapcsolódó tartalom

Az Event Hubs Capture egyszerű módot kínál az adatok Azure-ba való betöltésére. A Data Lake Storage, az Azure Data Factory és az Azure HDInsight segítségével bármilyen szinten elvégezheti a kötegelt feldolgozást és elemzést ismerős eszközök és platformok használatával.

A funkció engedélyezéséhez használja az Azure Portalt vagy egy ARM-sablont:

• Az Event Hubs Capture engedélyezése az Azure Portal használatával
• Arm-sablon használata az Event Hubs Capture engedélyezéséhez

A Capture céltárfiók adatredundancia-beállításairól további információt a Blob Storage megbízhatósága című témakörben talál.