Kafka-kimenet az Azure Stream Analyticsből

Az Azure Stream Analytics lehetővé teszi, hogy termelőként közvetlenül csatlakozzon a Kafka-fürtökhöz, és kimeneti adatokat küldhet. A megoldás alacsony kódszámú, és teljes egészében a Microsoft Azure Stream Analytics csapata felügyeli, lehetővé téve, hogy megfeleljen az üzleti megfelelőségi szabványoknak. A Kafka-kimenet visszamenőlegesen kompatibilis, és a legújabb ügyfélkiadással rendelkező összes verziót támogatja a 0.10-es verziótól kezdve. A felhasználók a konfigurációktól függően csatlakozhatnak a virtuális hálózaton belüli Kafka-fürtökhöz és a nyilvános végponttal rendelkező Kafka-fürtökhöz. A konfiguráció a meglévő Kafka konfigurációs konvenciókra támaszkodik. A támogatott tömörítési típusok: None, Gzip, Snappy, LZ4 és Zstd.

Lépések

Ez a cikk bemutatja, hogyan állíthatja be a Kafkát az Azure Stream Analytics kimeneteként. Hat lépésből áll:

  1. Azure Stream Analytics-feladat létrehozása.
  2. Konfigurálja az Azure Stream Analytics-feladatot felügyelt identitás használatára, ha mTLS-t vagy SASL_SSl biztonsági protokollokat használ.
  3. Ha mTLS-t vagy SASL_SSl biztonsági protokollokat használ, konfigurálja az Azure Key Vaultot.
  4. Tanúsítványok feltöltése titkos kulcsként az Azure Key Vaultba.
  5. Adjon engedélyeket az Azure Stream Analyticsnek a feltöltött tanúsítvány eléréséhez.
  6. Konfigurálja a Kafka-kimenetet az Azure Stream Analytics-feladatban.

Feljegyzés

A Kafka-fürt konfigurálásának módjától és a használt Kafka-fürt típusától függően előfordulhat, hogy a fenti lépések némelyike nem vonatkozik Önre. Ilyenek például a következők: ha egybefüggő felhőbeli Kafkát használ, nem kell feltöltenie egy tanúsítványt a Kafka-összekötő használatához. Ha a Kafka-fürt egy virtuális hálózaton (VNET) belül vagy tűzfal mögött található, előfordulhat, hogy az Azure Stream Analytics-feladatot úgy kell konfigurálnia, hogy privát hivatkozással vagy dedikált hálózati konfigurációval férhessen hozzá a Kafka-témakörhöz.

Konfiguráció

Az alábbi táblázat felsorolja a Kafka-kimenet létrehozásához használt tulajdonságneveket és azok leírását:

Tulajdonság neve Leírás
Output Alias (Kimeneti alias) Lekérdezésekben a kimeneti hivatkozásként használt barátságos név
Bootstrap-kiszolgáló címei A Kafka-klaszterhez való kapcsolat létrehozásához használt gazdagép/port párok listája.
Kafka-témakör Elnevezett, rendezett és particionált adatfolyam, amely lehetővé teszi az üzenetek közzétételre való feliratkozását és eseményvezérelt feldolgozását.
Biztonsági protokoll Hogyan szeretne csatlakozni a Kafka-klaszterhez. Az Azure Stream Analytics támogatja az mTLS, SASL_SSL, SASL_PLAINTEXT vagy None szolgáltatást.
Esemény szerializálási formátuma A kimenő adatfolyam szerializálási formátuma (JSON, CSV, Avro).
Partíciókulcs Az Azure Stream Analytics kerek particionálással rendeli hozzá a partíciókat.
Kafka eseménytömörítés típusa A kimenő adatfolyamokhoz (például Gzip, Snappy, Lz4, Zstd vagy None) használt tömörítési típus.

Képernyőkép a kafka-kimenet streamelemzési feladatokhoz való konfigurálásáról.

Hitelesítés és titkosítás

A Kafka-fürtökhöz való csatlakozáshoz négyféle biztonsági protokollt használhat:

Feljegyzés

SASL_SSL és SASL_PLAINTEXT esetében az Azure Stream Analytics csak a PLAIN SASL-mechanizmust támogatja. A tanúsítványokat titkos kulcsként kell feltöltenie a Key Vaultba az Azure CLI használatával.

Tulajdonság neve Leírás
mTLS Titkosítás és hitelesítés. Támogatja az EGYSZERŰ, a SCRAM-SHA-256 és a SCRAM-SHA-512 biztonsági mechanizmusokat.
SASL_SSL Két különböző biztonsági mechanizmust ( SASL (Simple Authentication and Security Layer) és Secure Sockets Layer (SSL) kombinál, hogy biztosítsa a hitelesítést és a titkosítást az adatátvitelhez. A SASL_SSL protokoll támogatja a PLAIN, a SCRAM-SHA-256 és a SCRAM-SHA-512 biztonsági mechanizmusokat.
SASL_PLAINTEXT standard hitelesítés felhasználónévvel és jelszóval titkosítás nélkül
Egyik sem Nincs hitelesítés és titkosítás.

Fontos

A Confluent Cloud api-kulcsok, OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával támogatja a hitelesítést. Az Azure Stream Analytics nem támogatja az egyszeri bejelentkezéses (SSO) OAuth- vagy SAML-hitelesítést. A confluent felhőhöz egy témakörszintű hozzáféréssel rendelkező API-kulccsal csatlakozhat a SASL_SSL biztonsági protokollon keresztül.

A confluent cloud Kafkához való csatlakozással kapcsolatos részletes oktatóanyagért tekintse meg a dokumentációt:

Key Vault-integráció

Feljegyzés

Ha megbízható tároló tanúsítványokat használ mTLS-sel vagy SASL_SSL biztonsági protokollokkal, az Azure Stream Analytics-feladathoz konfigurált Azure Key Vaulttal és felügyelt identitással kell rendelkeznie. Ellenőrizze a kulcstartó hálózati beállításait, és győződjön meg arról, hogy az összes hálózat nyilvános hozzáférésének engedélyezése be van jelölve. Tegyük fel, hogy a Key Vault egy virtuális hálózaton található, vagy csak bizonyos hálózatokról engedélyezi a hozzáférést. Ebben az esetben az ASA-feladatot egy kulcstartót tartalmazó virtuális hálózatba kell injektálnia, vagy be kell fecskendeznie az ASA-feladatot egy VNET-be, majd a kulcstartót a feladatot tartalmazó virtuális hálózathoz kell csatlakoztatnia szolgáltatásvégpontok használatával.

Az Azure Stream Analytics zökkenőmentesen integrálható az Azure Key Vaulttal az mTLS vagy SASL_SSL biztonsági protokollok használatakor a hitelesítéshez és titkosításhoz szükséges tárolt titkos kódok eléréséhez. Az Azure Stream Analytics-feladat felügyelt identitással csatlakozik az Azure Key Vaulthoz a biztonságos kapcsolat biztosítása és a titkos kódok kiszivárgásának elkerülése érdekében. A tanúsítványok titkos kulcsként vannak tárolva a kulcstartóban, és PEM formátumban kell lenniük.

Key Vault konfigurálása engedélyekkel

Kulcstartó-erőforrást hozhat létre a „Gyorsútmutató: Kulcstartó létrehozása az Azure Portál használatával” dokumentum követésével. Tanúsítványok feltöltéséhez "Key Vault-rendszergazdai" hozzáféréssel kell rendelkeznie a Key Vaulthoz. A rendszergazdai hozzáférés biztosításához kövesse az alábbi lépéseket.

Feljegyzés

A kulcsérték-tárolóhoz kapcsolódó engedélyek megadásához tulajdonosi engedélyekkel kell rendelkeznie.

  1. Válassza a Hozzáférés-vezérlés (IAM) lehetőséget.

  2. Válassza a Hozzáadás>Szerepkör-hozzárendelés hozzáadása lehetőséget a Szerepkör-hozzárendelés hozzáadása lap megnyitásához.

  3. Rendelje hozzá a szerepkört a következő konfigurációval:

Beállítás Érték
Szerepkör Key Vault-rendszergazda
Hozzáférés hozzárendelése a következőhöz: Felhasználó, csoport vagy szolgáltatásnév
Tagok <Fiókadatai vagy e-mail-cím>

Tanúsítvány feltöltése a Key Vaultba az Azure CLI-vel

Fontos

A parancs megfelelő működéséhez "Key Vault-rendszergazdai" engedélyekkel kell rendelkeznie a Key Vaulthoz, hogy megfelelően működjön. A tanúsítványt titkos kódként kell feltöltenie. A tanúsítványok titkos kulcsként való feltöltéséhez az Azure CLI-t kell használnia a kulcstartóba. Az Azure Stream Analytics-feladat sikertelen lesz, ha a hitelesítéshez használt tanúsítvány lejár. A probléma megoldásához frissítenie/cserélnie kell a tanúsítványt a kulcstartóban, és újra kell indítania az Azure Stream Analytics-feladatot.

Győződjön meg arról, hogy az Azure CLI helyileg van konfigurálva a PowerShell-lel. Ezen a lapon útmutatást kaphat az Azure CLI beállításához: Az Azure CLI használatának első lépései

Bejelentkezés az Azure CLI-be:

az login

Csatlakozzon ahhoz az előfizetéshez, amely tartalmazza a kulcstartó-tárolót:

az account set --subscription <subscription name>

A következő parancs titkos kódként töltheti fel a tanúsítványt a kulcstartóba:

Ez <your key vault> annak a kulcstartónak a neve, amelybe fel szeretné tölteni a tanúsítványt. <name of the secret> az a név, amelyet meg szeretne adni a titkos kulcsnak, és hogy hogyan jelenik meg a kulcstartóban. <file path to certificate> az a elérési út, ahol a tanúsítvány található. Kattintson a jobb gombbal, és másolja a tanúsítvány elérési útját.

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

Példa:

az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem

Felügyelt identitás konfigurálása

Az Azure Stream Analytics megköveteli a felügyelt identitás konfigurálását a key vault eléréséhez. Az ASA-feladat úgy konfigurálható, hogy felügyelt identitást használjon, ha a Bal oldalon a Konfigurálás csoportban található Felügyelt identitás lapra navigál.

Képernyőkép az ASA-feladatok felügyelt identitásának konfigurálásáról.

  1. A bal oldali menüben válassza a konfigurálás alatt található felügyelt identitás lapot.
  2. Válassza az Identitásváltás lehetőséget, és válassza ki a feladathoz használni kívánt identitást: rendszer által hozzárendelt identitás vagy felhasználó által hozzárendelt identitás.
  3. Felhasználó által hozzárendelt identitás esetén válassza ki azt az előfizetést, amelyben a felhasználó által hozzárendelt identitás található, és válassza ki az identitás nevét.
  4. Tekintse át és mentse.

A Stream Analytics-feladat engedélyezése a tanúsítvány eléréséhez a kulcstárban

Ahhoz, hogy az Azure Stream Analytics-feladat beolvassa a titkot a kulcstárban, a feladatnak engedéllyel kell rendelkeznie a kulcstár eléréséhez. Az alábbi lépésekkel különleges engedélyeket adhat a streamelemzési feladathoz:

  1. Válassza a Hozzáférés-vezérlés (IAM) lehetőséget.

  2. Válassza a Hozzáadás>Szerepkör-hozzárendelés hozzáadása lehetőséget a Szerepkör-hozzárendelés hozzáadása lap megnyitásához.

  3. Rendelje hozzá a szerepkört a következő konfigurációval:

Beállítás Érték
Szerepkör Key Vault titkos kulcsok felhasználója
Felügyelt identitás Stream Analytics-feladat rendszer által hozzárendelt felügyelt identitáshoz vagy felhasználó által hozzárendelt felügyelt identitáshoz
Tagok <A Stream Analytics-feladat> neve vagy <a felhasználó által hozzárendelt identitás neve>

Virtuális hálózat integrációja

Ha a Kafka egy virtuális hálózaton belül vagy tűzfal mögött található, konfigurálnia kell az Azure Stream Analytics-feladatot a Kafka-témakör eléréséhez. További információért tekintse meg az Azure Stream Analytics-feladat futtatását az Azure Virtual Network dokumentációjában .

Korlátozások

  • Ha az Azure Stream Analytics feladatokat virtuális hálózat/SWIFT használatára konfigurálja, a feladat legalább hat (6) streamingegységgel, vagy egy (1) V2 streamingegységgel kell hogy legyen konfigurálva.
  • Ha mTLS-t vagy SASL_SSL használ az Azure Key Vaulttal, a Java Key Store-t PEM formátumba kell konvertálnia.
  • A Kafka minimális verziója, amely úgy konfigurálható, hogy az Azure Stream Analytics 0.10-es verzióra csatlakozzon.
  • Az Azure Stream Analytics nem támogatja az OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával történő felhőbevezetés hitelesítését. Az API-kulcsot a SASL_SSL protokollon keresztül kell használnia

Feljegyzés

Az Azure Stream Analytics Kafka-kimenetének használatával kapcsolatos közvetlen segítségért forduljon a következőhöz askasa@microsoft.com: .

Következő lépések

  • Last updated on