Adatok streamelése az Azure Stream Analyticsből egybefüggő felhőbe
Ez a cikk azt ismerteti, hogyan csatlakoztathatja az Azure Stream Analytics-feladatot közvetlenül a felhőbeli kafkához kimenetként.
Előfeltételek
- Egy párhuzamos felhőbeli Kafka-fürtje van.
- Rendelkezik egy API-kulcsfájllal a kafka-fürthöz, amely tartalmazza a felhasználónévként használandó API-kulcsot, a jelszóként használandó API Secret-et és a Bootstrap-kiszolgáló címét.
- Azure Stream Analytics-feladat áll rendelkezésére. Azure Stream Analytics-feladat létrehozásához kövesse a dokumentációt: Rövid útmutató: Stream Analytics-feladat létrehozása az Azure Portal használatával
- A confluent cloud kafka-fürtnek nyilvánosan elérhetőnek kell lennie, és nem lehet tűzfal mögött, vagy virtuális hálózaton kell biztonságossá tennie.
- Rendelkeznie kell egy meglévő kulcstartóval. Kulcstartó-erőforrást a dokumentációt követve hozhat létre rövid útmutatót: Kulcstartó létrehozása az Azure Portal használatával
Az Azure Stream Analytics konfigurálása felügyelt identitás használatára
Az Azure Stream Analytics megköveteli a felügyelt identitás konfigurálását a key vault eléréséhez. Az ASA-feladat úgy konfigurálható, hogy felügyelt identitást használjon, ha a Bal oldalon a Konfigurálás csoportban található Felügyelt identitás lapra navigál.
- Kattintson a konfigurálás alatt található felügyelt identitás fülre.
- Válassza az Identitás váltása lehetőséget, és válassza ki a feladathoz használni kívánt identitást: rendszer által hozzárendelt identitás vagy felhasználó által hozzárendelt identitás.
- Felhasználó által hozzárendelt identitás esetén válassza ki azt az előfizetést, amelyben a felhasználó által hozzárendelt identitás található, és válassza ki az identitás nevét.
- Tekintse át és mentse.
Tanúsítvány letöltése a LetsEncryptből
A Stream Analytics kafka-kimenete egy librdkafka-alapú ügyfél. Ahhoz, hogy a kimenet egybefüggő felhőhöz csatlakozzon, TLS-tanúsítványokra van szükség, amelyeket a felhő a kiszolgálóhitelesítéshez használ. A Confluent-felhő egy nyílt hitelesítésszolgáltató, a Let's Encrypt TLS-tanúsítványait használja.
Töltse le az ISRG Root X1 tanúsítványt PEM formátumban a LetsEncrypt webhelyén.
Key Vault konfigurálása engedélyekkel
Az Azure Stream Analytics zökkenőmentesen integrálható az Azure Key Vaulttal az mTLS vagy SASL_SSL biztonsági protokollok használatakor a hitelesítéshez és titkosításhoz szükséges tárolt titkos kódok eléréséhez. Az Azure Stream Analytics-feladat felügyelt identitással csatlakozik az Azure Key Vaulthoz a biztonságos kapcsolat biztosítása és a titkos kódok kiszivárgásának elkerülése érdekében. A letöltött tanúsítvány használatához először fel kell töltenie a Key Vaultba.
A tanúsítványok feltöltéséhez "Key Vault Rendszergazda istrator" hozzáféréssel kell rendelkeznie a Key Vaulthoz. A rendszergazdai hozzáférés biztosításához kövesse az alábbi lépéseket:
Megjegyzés:
A kulcstartó egyéb engedélyeinek megadásához tulajdonosi engedélyekkel kell rendelkeznie.
A kulcstartóban válassza a Hozzáférés-vezérlés (IAM) lehetőséget.
Válassza a Szerepkör-hozzárendelés hozzáadása>lehetőséget a Szerepkör-hozzárendelés hozzáadása lap megnyitásához.
Rendelje hozzá a szerepkört a következő konfigurációval:
| Beállítás | Value |
|---|---|
| Szerepkör | Key Vault Rendszergazda istrator |
| Hozzáférés hozzárendelése a következőhöz: | Felhasználó, csoport vagy szolgáltatásnév |
| Tagok | <Fiókadatai vagy e-mail-címe> |
Tanúsítvány feltöltése titkos kulcstartóba az Azure CLI-vel
Fontos
A parancs megfelelő működéséhez "Key Vault Rendszergazda istrator" engedélyekkel kell rendelkeznie ahhoz, hogy a parancs megfelelően működjön. A tanúsítványt titkos kódként kell feltöltenie. A tanúsítványok titkos kulcsként való feltöltéséhez az Azure CLI-t kell használnia a kulcstartóba. Az Azure Stream Analytics-feladat sikertelen lesz, ha a hitelesítéshez használt tanúsítvány lejár. A probléma megoldásához frissítenie/cserélnie kell a tanúsítványt a kulcstartóban, és újra kell indítania az Azure Stream Analytics-feladatot.
Győződjön meg arról, hogy az Azure CLI helyileg van konfigurálva és telepítve a PowerShell-lel. Ezen a lapon útmutatást kaphat az Azure CLI beállításához: Az Azure CLI használatának első lépései
Bejelentkezés az Azure CLI-be:
az login
Csatlakozás a kulcstartót tartalmazó előfizetéshez:
az account set --subscription <subscription name>
Például:
az account set --subscription mymicrosoftsubscription
A következő parancs titkos kódként töltheti fel a tanúsítványt a kulcstartóba:
Ez <your key vault> annak a kulcstartónak a neve, amelybe fel szeretné tölteni a tanúsítványt. <name of the secret> az a név, amelyet meg szeretne adni a titkos kulcsnak, és hogy hogyan jelenik meg a kulcstartóban. <file path to certificate> a letöltött tanúsítvány helyének elérési útja. Kattintson a jobb gombbal a tanúsítványra, és másolja a tanúsítvány elérési útját.
az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>
Például:
az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem
A Stream Analytics-feladat engedélyeinek megadása a tanúsítvány eléréséhez a kulcstartóban
Ahhoz, hogy az Azure Stream Analytics-feladat beolvassa a titkos kulcsot a kulcstartóban, a feladatnak engedéllyel kell rendelkeznie a kulcstartó eléréséhez. Az alábbi lépésekkel különleges engedélyeket adhat a streamelemzési feladathoz:
A kulcstartóban válassza a Hozzáférés-vezérlés (IAM) lehetőséget.
Válassza a Szerepkör-hozzárendelés hozzáadása>lehetőséget a Szerepkör-hozzárendelés hozzáadása lap megnyitásához.
Rendelje hozzá a szerepkört a következő konfigurációval:
| Beállítás | Value |
|---|---|
| Szerepkör | Key Vault titkos kulcsok felhasználója |
| Managed identity | Stream Analytics-feladat rendszer által hozzárendelt felügyelt identitáshoz vagy felhasználó által hozzárendelt felügyelt identitáshoz |
| Tagok | <A Stream Analytics-feladat> neve vagy <a felhasználó által hozzárendelt identitás neve> |
Kafka-kimenet konfigurálása a streamelemzési feladatban
A streamelemzési feladatban válassza a Kimenetek lehetőséget a Feladattopológia területen
Válassza a Kimeneti>Kafka hozzáadása lehetőséget a Kafka Új kimeneti konfiguráció panel megnyitásához.
Használja a következő konfigurációt:
Megjegyzés:
SASL_SSL és SASL_PLAINTEXT esetében az Azure Stream Analytics csak a PLAIN SASL-mechanizmust támogatja.
| Tulajdonság neve | Leírás |
|---|---|
| Output Alias (Kimeneti alias) | A lekérdezésekben használt rövid név a bemenetre való hivatkozáshoz |
| Bootstrap-kiszolgáló címei | A gazdagép-/portpárok listája a párhuzamos felhőbeli kafka-fürthöz való kapcsolat létrehozásához. Példa: pkc-56d1g.eastus.azure.confluent.cloud:9092 |
| Kafka-témakör | A kafka-témakör neve a confluent cloud kafka-fürtben. |
| Biztonsági protokoll | Válassza a SASL_SSL. A támogatott mechanizmus EGYSZERŰ. |
| Esemény szerializálási formátuma | A bejövő adatfolyam szerializálási formátuma (JSON, CSV, Avro, Parquet, Protobuf). |
| Partíciókulcs | Az Azure Stream Analytics kerek particionálással rendeli hozzá a partíciókat. Maradjon üres, ha egy kulcs nem particionálja a bemenetet |
| Kafka eseménytömörítés típusa | A kimenő adatfolyamokhoz (például Gzip, Snappy, Lz4, Zstd vagy None) használt tömörítési típus. |
Fontos
A Confluent Cloud api-kulcsok, OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával támogatja a hitelesítést. Az Azure Stream Analytics nem támogatja az OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával történő hitelesítést. Egy olyan API-kulccsal csatlakozhat a confluent felhőhöz, amely témakörszintű hozzáféréssel rendelkezik a SASL_SSL biztonsági protokollon keresztül. A párhuzamos felhőben való hitelesítéshez SASL_SSL kell használnia, és konfigurálnia kell a feladatot a felhőbe való hitelesítéshez az API-kulccsal.
Használja a következő konfigurációt:
| Beállítás | Value |
|---|---|
| Username | confluent cloud API Key |
| Jelszó | confluent cloud API-titkos kód |
| Key Vault neve | Az Azure Key Vault neve feltöltött tanúsítvánnyal |
| Truststore-tanúsítványok | az ISRG Root X1 tanúsítványt tartalmazó kulcstartó titkos kódjának neve |
Konfiguráció mentése és kapcsolat tesztelése
Mentse a konfigurációt. Az Azure Stream Analytics-feladat a megadott konfigurációval ellenőrzi. Sikeres tesztkapcsolat jelenik meg a portálon, ha a streamelemzési feladat csatlakozni tud a kafka-fürthöz.
Korlátozások
- A Key Vaultba feltöltött tanúsítványnak PEM formátumban kell lennie.
- A kafka minimális verziójának a kafka 0.10-es verziójának kell lennie.
- Az Azure Stream Analytics nem támogatja az OAuth vagy SAML egyszeri bejelentkezés (SSO) használatával történő felhőbevezetés hitelesítését. Az API-kulcsot a SASL_SSL protokollon keresztül kell használnia.
- Az Azure CLI használatával fel kell töltenie a tanúsítványt titkos kulcstartóként. Az Azure Portal használatával nem tölthet fel többsoros titkos kóddal rendelkező tanúsítványokat a Key Vaultba.
Megjegyzés:
Az Azure Stream Analytics Kafka-kimenetének használatával kapcsolatos közvetlen segítségért forduljon a következőhöz askasa@microsoft.com: .