Melakukan streaming data dari Kafka cloud confluent dengan Azure Stream Analytics
Artikel ini menjelaskan cara menyambungkan pekerjaan Azure Stream Analytics Anda langsung ke kafka cloud confluent sebagai input.
Prasyarat
- Anda memiliki kluster kafka cloud confluent.
- Anda memiliki file Kunci API untuk kluster kafka Yang berisi kunci API yang akan digunakan sebagai nama pengguna, Rahasia API untuk digunakan sebagai kata sandi dan alamat server Bootstrap.
- Anda memiliki pekerjaan Azure Stream Analytics. Anda dapat membuat pekerjaan Azure Stream Analytics dengan mengikuti dokumentasi: Mulai Cepat: Membuat pekerjaan Azure Stream Analytics dengan menggunakan portal Azure
- Kluster kafka cloud confluent Anda harus dapat diakses secara publik dan tidak berada di belakang firewall atau diamankan dalam jaringan virtual.
- Jenis tanda waktu topik kluster kafka cloud confluent Anda harus LogAppendTime. Default untuk topik kafka cloud confluent adalah CreateTime.
- Anda harus memiliki brankas kunci yang ada. Anda dapat membuat sumber daya brankas kunci dengan mengikuti dokumentasi Mulai Cepat: Membuat brankas kunci menggunakan portal Azure
Mengonfigurasi Azure Stream Analytics untuk menggunakan identitas terkelola
Azure Stream Analytics mengharuskan Anda mengonfigurasi identitas terkelola untuk mengakses brankas kunci. Anda dapat mengonfigurasi pekerjaan analisis aliran untuk menggunakan identitas terkelola dengan menavigasi ke tab Identitas Terkelola di sisi kiri di bawah Konfigurasikan.
- Klik tab identitas terkelola di bawah konfigurasi.
- Pilih Beralih Identitas dan pilih identitas yang akan digunakan dengan pekerjaan: identitas yang ditetapkan sistem atau identitas yang ditetapkan pengguna.
- Untuk identitas yang ditetapkan pengguna, pilih langganan tempat identitas yang ditetapkan pengguna Anda berada dan pilih nama identitas Anda.
- Tinjau dan simpan.
Unduh sertifikat dari LetsEncrypt
Azure stream analytics adalah klien berbasis librdkafka, dan untuk terhubung ke confluent cloud, Anda memerlukan sertifikat TLS yang digunakan cloud confluent untuk autentikasi server. Confluent cloud menggunakan sertifikat TLS dari Let's Encrypt, otoritas sertifikat terbuka (CA).
Unduh sertifikat ISRG Root X1 dalam format PEM di situs LetsEncrypt.
Mengonfigurasi Key vault dengan Izin
Azure Stream Analytics terintegrasi dengan mulus dengan Azure Key vault untuk mengakses rahasia tersimpan yang diperlukan untuk autentikasi dan enkripsi. Pekerjaan Azure Stream Analytics Anda terhubung ke azure Key vault Anda menggunakan identitas terkelola untuk memastikan koneksi yang aman dan menghindari eksfiltrasi rahasia. Untuk menggunakan sertifikat yang Anda unduh, Anda harus mengunggahnya ke brankas kunci terlebih dahulu.
Untuk mengunggah sertifikat, Anda harus memiliki akses "Administrator Key Vault" ke Brankas kunci Anda. Ikuti hal berikut untuk memberikan akses admin:
Catatan
Anda harus memiliki izin "Pemilik" untuk memberikan izin brankas kunci lainnya.
Di brankas kunci Anda, pilih Kontrol akses (IAM).
Pilih Tambahkan>Tambahkan penetapan peran untuk membuka halaman Tambahkan penetapan peran.
Tetapkan peran menggunakan konfigurasi berikut:
| Pengaturan | Nilai |
|---|---|
| Peran | Administrator Key Vault |
| Tetapkan akses ke | Pengguna, grup, atau perwakilan layanan |
| Anggota | <Informasi akun atau email Anda> |
Mengunggah sertifikat ke Brankas kunci sebagai rahasia melalui Azure CLI
Penting
Anda harus memiliki akses izin "Administrator Key Vault" ke Brankas kunci agar perintah ini berfungsi dengan benar Anda harus mengunggah sertifikat sebagai rahasia. Anda harus menggunakan Azure CLI untuk mengunggah sertifikat sebagai rahasia ke brankas kunci Anda. Pekerjaan Azure Stream Analytics Anda akan gagal saat sertifikat yang digunakan untuk autentikasi kedaluwarsa. Untuk mengatasinya, Anda harus memperbarui/mengganti sertifikat di brankas kunci dan memulai ulang pekerjaan Azure Stream Analytics Anda.
Pastikan Anda memiliki Azure CLI yang dikonfigurasi dan diinstal secara lokal dengan PowerShell. Anda dapat mengunjungi halaman ini untuk mendapatkan panduan tentang menyiapkan Azure CLI: Mulai menggunakan Azure CLI
Masuk ke Azure CLI:
az login
Koneksi ke langganan Anda yang berisi brankas kunci Anda:
az account set --subscription <subscription name>
Contohnya:
az account set --subscription mymicrosoftsubscription
Perintah berikut dapat mengunggah sertifikat sebagai rahasia ke brankas kunci Anda:
<your key vault> adalah nama brankas kunci yang ingin Anda unggah sertifikatnya. <name of the secret> adalah nama apa pun yang ingin Anda berikan ke rahasia Anda dan bagaimana muncul di brankas kunci. <file path to certificate> adalah jalur ke tempat sertifikat sertifikat Anda berada. Anda dapat mengklik kanan dan menyalin jalur ke sertifikat.
az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>
Contohnya:
az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem
Berikan izin pekerjaan Azure Stream Analytics untuk mengakses sertifikat di brankas kunci
Agar pekerjaan Azure Stream Analytics Anda membaca rahasia di brankas kunci Anda, pekerjaan harus memiliki izin untuk mengakses brankas kunci. Gunakan langkah-langkah berikut untuk memberikan izin khusus ke pekerjaan analisis aliran Anda:
Di brankas kunci Anda, pilih Kontrol akses (IAM).
Pilih Tambahkan>Tambahkan penetapan peran untuk membuka halaman Tambahkan penetapan peran.
Tetapkan peran menggunakan konfigurasi berikut:
| Pengaturan | Nilai |
|---|---|
| Peran | Pengguna rahasia brankas kunci |
| Identitas terkelola | Pekerjaan Azure Stream Analytics untuk identitas terkelola yang ditetapkan sistem atau Identitas terkelola yang ditetapkan pengguna |
| Anggota | <Nama pekerjaan> Azure Stream Analytics atau <nama identitas yang ditetapkan pengguna> |
Mengonfigurasi input kafka dalam pekerjaan analisis aliran Anda
Penting
Untuk mengonfigurasi kluster Kafka Anda sebagai input, jenis tanda waktu topik input harus LogAppendTime. Satu-satunya jenis tanda waktu yang didukung Azure Stream Analytics adalah LogAppendTime. Azure Stream Analytics hanya mendukung format desimal numerik.
Di pekerjaan analisis aliran Anda, pilih Input di bawah Topologi Pekerjaan
Pilih Tambahkan input>Kafka untuk membuka bilah Konfigurasi input Baru Kafka.
Gunakan pengaturan konfigurasi berikut:
Catatan
Untuk SASL_SSL dan SASL_PLAINTEXT, Azure Stream Analytics hanya mendukung mekanisme SASL PLAIN.
| Nama properti | Deskripsi |
|---|---|
| Alias Input | Nama yang mudah diingat yang digunakan dalam kueri untuk mereferensikan input Anda |
| Alamat server bootstrap | Daftar pasangan host/port untuk membuat koneksi ke kluster kafka cloud confluent Anda. Contoh: pkc-56d1g.eastus.azure.confluent.cloud:9092 |
| Topik Kafka | Nama topik kafka Anda di kluster kafka cloud confluent Anda. |
| Protokol Keamanan | Pilih SASL_SSL. Mekanisme yang didukung adalah PLAIN. |
| Id Grup Konsumen | Nama grup konsumen Kafka yang harus menjadi bagian dari input. Ini akan secara otomatis ditetapkan jika tidak disediakan. |
| Format Serialisasi Peristiwa | Format serialisasi (JSON, CSV, Avro, Parquet, Protobuf) dari aliran data masuk. |
Penting
Confluent Cloud mendukung autentikasi menggunakan Kunci API, OAuth, atau akses menyeluruh (SSO) SAML. Azure Stream Analytics tidak mendukung autentikasi menggunakan akses menyeluruh (SSO) OAuth atau SAML. Anda dapat terhubung ke cloud confluent menggunakan KUNCI API yang memiliki akses tingkat topik melalui protokol keamanan SASL_SSL. Untuk mengautentikasi ke confluent cloud, Anda harus menggunakan SASL_SSL dan mengonfigurasi pekerjaan Anda untuk mengautentikasi ke confluent cloud menggunakan kunci API Anda.
Gunakan pengaturan konfigurasi berikut:
| Pengaturan | Nilai |
|---|---|
| Nama Pengguna | kunci API cloud confluent |
| Kata sandi | rahasia API cloud confluent |
| Nama brankas kunci | nama Azure Key vault dengan sertifikat yang diunggah |
| Sertifikat truststore | nama Rahasia Key Vault yang memegang sertifikat ISRG Root X1 |
Menyimpan konfigurasi dan menguji koneksi
Simpan konfigurasi Anda. Pekerjaan Azure Stream Analytics Anda memvalidasi menggunakan konfigurasi yang disediakan. Koneksi yang berhasil ditampilkan di portal jika analitik aliran Anda dapat terhubung ke kluster kafka Anda.
Batasan
- Sertifikat yang diunggah ke brankas kunci harus format PEM.
- Versi minimum kafka harus versi 0.10.
- Azure Stream Analytics tidak mendukung autentikasi ke cloud confluent menggunakan akses menyeluruh (SSO) OAuth atau SAML. Anda harus menggunakan Kunci API melalui protokol SASL_SSL.
- Anda harus menggunakan Azure CLI untuk mengunggah sertifikat sebagai rahasia ke brankas kunci. Anda tidak dapat mengunggah sertifikat dengan rahasia multibaris ke brankas kunci menggunakan portal Azure.
Catatan
Untuk bantuan langsung dengan menggunakan input Azure Stream Analytics Kafka, silakan hubungi askasa@microsoft.com.
Langkah berikutnya
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk