Adatok streamelése egybefüggő felhőbeli Kafkából az Azure Stream Analytics használatával
Ez a cikk azt ismerteti, hogyan csatlakoztathatja az Azure Stream Analytics-feladatot közvetlenül a felhőbeli kafkához bemenetként.
Előfeltételek
- Egy párhuzamos felhőbeli Kafka-fürtje van.
- Rendelkezik egy API-kulcsfájllal a kafka-fürthöz, amely tartalmazza a felhasználónévként használandó API-kulcsot, az API Secret-et jelszóként, valamint a Bootstrap-kiszolgáló címét.
- Azure Stream Analytics-feladat áll rendelkezésére. Azure Stream Analytics-feladat létrehozásához kövesse a dokumentációt: Rövid útmutató: Stream Analytics-feladat létrehozása az Azure Portal használatával
- A confluent cloud kafka-fürtnek nyilvánosan elérhetőnek kell lennie, és nem lehet tűzfal mögött, vagy virtuális hálózaton kell biztonságossá tennie.
- A confluent cloud kafka-fürt témakörének időbélyeg-típusának LogAppendTime-nak kell lennie. A confluent cloud kafka témakör alapértelmezett értéke a CreateTime.
- Rendelkeznie kell egy meglévő kulcstartóval. Kulcstartó-erőforrást a dokumentációt követve hozhat létre rövid útmutatót: Kulcstartó létrehozása az Azure Portal használatával
Az Azure Stream Analytics konfigurálása felügyelt identitás használatára
Az Azure Stream Analytics megköveteli a felügyelt identitás konfigurálását a key vault eléréséhez. A streamelemzési feladatot úgy konfigurálhatja, hogy felügyelt identitást használjon, ha a Bal oldalon, a Konfigurálás csoportban található Felügyelt identitás lapra navigál.
- Kattintson a konfigurálás alatt található felügyelt identitás fülre.
- Válassza az Identitás váltása lehetőséget, és válassza ki a feladathoz használni kívánt identitást: rendszer által hozzárendelt identitás vagy felhasználó által hozzárendelt identitás.
- Felhasználó által hozzárendelt identitás esetén válassza ki azt az előfizetést, amelyben a felhasználó által hozzárendelt identitás található, és válassza ki az identitás nevét.
- Tekintse át és mentse.
Tanúsítvány letöltése a LetsEncryptből
Az Azure Stream Analytics egy librdkafka-alapú ügyfél, és a párhuzamos felhőhöz való csatlakozáshoz olyan TLS-tanúsítványokra van szükség, amelyeket a confluent cloud a kiszolgálóhitelesítéshez használ. A Confluent-felhő egy nyílt hitelesítésszolgáltató, a Let's Encrypt TLS-tanúsítványait használja.
Töltse le az ISRG Root X1 tanúsítványt PEM formátumban a LetsEncrypt webhelyén.
Key Vault konfigurálása engedélyekkel
Az Azure Stream Analytics zökkenőmentesen integrálható az Azure Key Vaulttal a hitelesítéshez és titkosításhoz szükséges tárolt titkos kódok eléréséhez. Az Azure Stream Analytics-feladat felügyelt identitással csatlakozik az Azure Key Vaulthoz a biztonságos kapcsolat biztosítása és a titkos kódok kiszivárgásának elkerülése érdekében. A letöltött tanúsítvány használatához először fel kell töltenie a Key Vaultba.
A tanúsítványok feltöltéséhez "Key Vault Rendszergazda istrator" hozzáféréssel kell rendelkeznie a Key Vaulthoz. A rendszergazdai hozzáférés biztosításához kövesse az alábbi lépéseket:
Feljegyzés
A kulcstartó egyéb engedélyeinek megadásához tulajdonosi engedélyekkel kell rendelkeznie.
A kulcstartóban válassza a Hozzáférés-vezérlés (IAM) lehetőséget.
Válassza a Szerepkör-hozzárendelés hozzáadása>lehetőséget a Szerepkör-hozzárendelés hozzáadása lap megnyitásához.
Rendelje hozzá a szerepkört a következő konfigurációval:
| Beállítás | Érték |
|---|---|
| Szerepkör | Key Vault Rendszergazda istrator |
| Hozzáférés hozzárendelése a következőhöz: | Felhasználó, csoport vagy szolgáltatásnév |
| Tagok | <Fiókadatai vagy e-mail-címe> |
Tanúsítvány feltöltése titkos kulcstartóba az Azure CLI-vel
Fontos
A parancs megfelelő működéséhez "Key Vault Rendszergazda istrator" engedélyekkel kell rendelkeznie ahhoz, hogy a parancs megfelelően működjön. A tanúsítványt titkos kódként kell feltöltenie. A tanúsítványok titkos kulcsként való feltöltéséhez az Azure CLI-t kell használnia a kulcstartóba. Az Azure Stream Analytics-feladat sikertelen lesz, ha a hitelesítéshez használt tanúsítvány lejár. A probléma megoldásához frissítenie/cserélnie kell a tanúsítványt a kulcstartóban, és újra kell indítania az Azure Stream Analytics-feladatot.
Győződjön meg arról, hogy az Azure CLI helyileg van konfigurálva és telepítve a PowerShell-lel. Ezen a lapon útmutatást kaphat az Azure CLI beállításához: Az Azure CLI használatának első lépései
Bejelentkezés az Azure CLI-be:
az login
Csatlakozás a kulcstartót tartalmazó előfizetéshez:
az account set --subscription <subscription name>
Példa:
az account set --subscription mymicrosoftsubscription
A következő parancs titkos kódként töltheti fel a tanúsítványt a kulcstartóba:
Ez <your key vault> annak a kulcstartónak a neve, amelybe fel szeretné tölteni a tanúsítványt. <name of the secret> az a név, amelyet meg szeretne adni a titkos kulcsnak, és hogy hogyan jelenik meg a kulcstartóban. <file path to certificate> a tanúsítvány helyére mutató elérési út. Kattintson a jobb gombbal, és másolja a tanúsítvány elérési útját.
az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>
Példa:
az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem
A Stream Analytics-feladat engedélyeinek megadása a tanúsítvány eléréséhez a kulcstartóban
Ahhoz, hogy az Azure Stream Analytics-feladat beolvassa a titkos kulcsot a kulcstartóban, a feladatnak engedéllyel kell rendelkeznie a kulcstartó eléréséhez. Az alábbi lépésekkel különleges engedélyeket adhat a streamelemzési feladathoz:
A kulcstartóban válassza a Hozzáférés-vezérlés (IAM) lehetőséget.
Válassza a Szerepkör-hozzárendelés hozzáadása>lehetőséget a Szerepkör-hozzárendelés hozzáadása lap megnyitásához.
Rendelje hozzá a szerepkört a következő konfigurációval:
| Beállítás | Érték |
|---|---|
| Szerepkör | Key Vault titkos kulcsok felhasználója |
| Felügyelt identitás | Stream Analytics-feladat rendszer által hozzárendelt felügyelt identitáshoz vagy felhasználó által hozzárendelt felügyelt identitáshoz |
| Tagok | <A Stream Analytics-feladat> neve vagy <a felhasználó által hozzárendelt identitás neve> |
Kafka-bemenet konfigurálása a streamelemzési feladatban
Fontos
A Kafka-fürt bemenetként való konfigurálásához a bemeneti témakör időbélyeg-típusának LogAppendTime-nak kell lennie. Az Azure Stream Analytics egyetlen időbélyegtípusa a LogAppendTime. Az Azure Stream Analytics csak numerikus decimális formátumot támogat.
A streamelemzési feladatban válassza a Bemenetek lehetőséget a Feladattopológia területen
Válassza a Bemeneti>Kafka hozzáadása lehetőséget a Kafka Új bemeneti konfiguráció paneljének megnyitásához.
Használja a következő konfigurációt:
Feljegyzés
SASL_SSL és SASL_PLAINTEXT esetében az Azure Stream Analytics csak a PLAIN SASL-mechanizmust támogatja.
| Tulajdonság neve | Leírás |
|---|---|
| Input Alias (Bemeneti alias) | A lekérdezésekben használt rövid név a bemenetre való hivatkozáshoz |
| Bootstrap-kiszolgáló címei | A gazdagép-/portpárok listája a párhuzamos felhőbeli kafka-fürthöz való kapcsolat létrehozásához. Példa: pkc-56d1g.eastus.azure.confluent.cloud:9092 |
| Kafka-témakör | A kafka-témakör neve a confluent cloud kafka-fürtben. |
| Biztonsági protokoll | Válassza a SASL_SSL. A támogatott mechanizmus EGYSZERŰ. |
| Fogyasztói csoport azonosítója | Annak a Kafka fogyasztói csoportnak a neve, amelyhez a bemenetnek hozzá kell tartoznia. Ha nincs megadva, a rendszer automatikusan hozzárendeli. |
| Esemény szerializálási formátuma | A bejövő adatfolyam szerializálási formátuma (JSON, CSV, Avro, Parquet, Protobuf). |
Fontos
A Confluent Cloud api-kulcsok, OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával támogatja a hitelesítést. Az Azure Stream Analytics nem támogatja az OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával történő hitelesítést. Egy olyan API-kulccsal csatlakozhat a confluent felhőhöz, amely témakörszintű hozzáféréssel rendelkezik a SASL_SSL biztonsági protokollon keresztül. A párhuzamos felhőben való hitelesítéshez SASL_SSL kell használnia, és konfigurálnia kell a feladatot a felhőbe való hitelesítéshez az API-kulccsal.
Használja a következő konfigurációt:
| Beállítás | Érték |
|---|---|
| Felhasználónév | confluent cloud API-kulcs |
| Jelszó | confluent cloud API-titkos kód |
| Key Vault neve | Az Azure Key Vault neve feltöltött tanúsítvánnyal |
| Truststore-tanúsítványok | az ISRG Root X1 tanúsítványt tartalmazó Key Vault-titkos kulcs neve |
Konfiguráció mentése és kapcsolat tesztelése
Mentse a konfigurációt. Az Azure Stream Analytics-feladat a megadott konfigurációval ellenőrzi. Sikeres kapcsolat jelenik meg a portálon, ha a Stream Analytics képes csatlakozni a kafka-fürthöz.
Korlátozások
- A Key Vaultba feltöltött tanúsítványnak PEM formátumúnak kell lennie.
- A kafka minimális verziójának 0.10-es verziónak kell lennie.
- Az Azure Stream Analytics nem támogatja az OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával történő felhőbevezetés hitelesítését. Az API-kulcsot a SASL_SSL protokollon keresztül kell használnia.
- A tanúsítvány titkos kulcsként való feltöltéséhez az Azure CLI-t kell használnia a Key Vaultba. Az Azure Portal használatával nem tölthet fel többsoros titkos kóddal rendelkező tanúsítványokat a Key Vaultba.
Feljegyzés
Az Azure Stream Analytics Kafka bemenetének használatával kapcsolatos közvetlen segítségért forduljon a következőhöz askasa@microsoft.com: .