Mengalirkan data dari Azure Stream Analytics ke cloud confluent
Artikel ini menjelaskan cara menyambungkan pekerjaan Azure Stream Analytics Anda langsung ke kafka cloud confluent sebagai output.
Prasyarat
- Anda memiliki kluster kafka cloud confluent.
- Anda memiliki file Kunci API untuk kluster kafka Anda, yang berisi kunci API yang akan digunakan sebagai nama pengguna, Rahasia API untuk digunakan sebagai kata sandi, dan alamat server Bootstrap.
- Anda memiliki pekerjaan Azure Stream Analytics. Anda dapat membuat pekerjaan Azure Stream Analytics dengan mengikuti dokumentasi: Mulai Cepat: Membuat pekerjaan Azure Stream Analytics dengan menggunakan portal Azure
- Kluster kafka cloud confluent Anda harus dapat diakses secara publik dan tidak berada di belakang firewall atau diamankan dalam jaringan virtual.
- Anda harus memiliki brankas kunci yang ada. Anda dapat membuat sumber daya brankas kunci dengan mengikuti dokumentasi Mulai Cepat: Membuat brankas kunci menggunakan portal Azure
Mengonfigurasi Azure Stream Analytics untuk menggunakan identitas terkelola
Azure Stream Analytics mengharuskan Anda mengonfigurasi identitas terkelola untuk mengakses brankas kunci. Anda dapat mengonfigurasi pekerjaan ASA untuk menggunakan identitas terkelola dengan menavigasi ke tab Identitas Terkelola di sisi kiri di bawah Konfigurasikan.
- Klik tab identitas terkelola di bawah konfigurasi.
- Pilih Beralih Identitas dan pilih identitas yang akan digunakan dengan pekerjaan: identitas yang ditetapkan sistem atau identitas yang ditetapkan pengguna.
- Untuk identitas yang ditetapkan pengguna, pilih langganan tempat identitas yang ditetapkan pengguna Anda berada dan pilih nama identitas Anda.
- Tinjau dan simpan.
Unduh sertifikat dari LetsEncrypt
Output kafka analisis aliran adalah klien berbasis librdkafka. Agar output tersambung ke confluent cloud, Anda memerlukan sertifikat TLS yang digunakan cloud confluent untuk autentikasi server. Confluent cloud menggunakan sertifikat TLS dari Let's Encrypt, otoritas sertifikat terbuka (CA).
Unduh sertifikat ISRG Root X1 dalam format PEM di situs LetsEncrypt.
Mengonfigurasi Key vault dengan izin
Azure Stream Analytics terintegrasi dengan mulus dengan Azure Key vault untuk mengakses rahasia tersimpan yang diperlukan untuk autentikasi dan enkripsi saat menggunakan mTLS atau protokol keamanan SASL_SSL. Pekerjaan Azure Stream Analytics Anda terhubung ke azure Key vault Anda menggunakan identitas terkelola untuk memastikan koneksi yang aman dan menghindari eksfiltrasi rahasia. Untuk menggunakan sertifikat yang Anda unduh, Anda harus mengunggahnya ke brankas kunci terlebih dahulu.
Untuk mengunggah sertifikat, Anda harus memiliki akses "Administrator Key Vault" ke Brankas kunci Anda. Ikuti hal berikut untuk memberikan akses admin:
Catatan
Anda harus memiliki izin "Pemilik" untuk memberikan izin brankas kunci lainnya.
Di keyvault Anda, pilih Kontrol akses (IAM).
Pilih Tambahkan>Tambahkan penetapan peran untuk membuka halaman Tambahkan penetapan peran.
Tetapkan peran menggunakan konfigurasi berikut:
| Pengaturan | Nilai |
|---|---|
| Peran | Administrator Key Vault |
| Tetapkan akses ke | Pengguna, grup, atau perwakilan layanan |
| Anggota | <Informasi akun atau email Anda> |
Mengunggah sertifikat ke Brankas kunci sebagai rahasia melalui Azure CLI
Penting
Anda harus memiliki akses izin "Administrator Key Vault" ke Brankas kunci agar perintah ini berfungsi dengan benar Anda harus mengunggah sertifikat sebagai rahasia. Anda harus menggunakan Azure CLI untuk mengunggah sertifikat sebagai rahasia ke brankas kunci Anda. Pekerjaan Azure Stream Analytics Anda akan gagal saat sertifikat yang digunakan untuk autentikasi kedaluwarsa. Untuk mengatasinya, Anda harus memperbarui/mengganti sertifikat di brankas kunci dan memulai ulang pekerjaan Azure Stream Analytics Anda.
Pastikan Anda memiliki Azure CLI yang dikonfigurasi dan diinstal secara lokal dengan PowerShell. Anda dapat mengunjungi halaman ini untuk mendapatkan panduan tentang menyiapkan Azure CLI: Mulai menggunakan Azure CLI
Masuk ke Azure CLI:
az login
Koneksi ke langganan Anda yang berisi brankas kunci Anda:
az account set --subscription <subscription name>
Contohnya:
az account set --subscription mymicrosoftsubscription
Perintah berikut dapat mengunggah sertifikat sebagai rahasia ke brankas kunci Anda:
<your key vault> adalah nama brankas kunci yang ingin Anda unggah sertifikatnya. <name of the secret> adalah nama apa pun yang ingin Anda berikan ke rahasia Anda dan bagaimana muncul di brankas kunci. <file path to certificate> adalah jalur ke lokasi sertifikat yang diunduh. Anda dapat mengklik kanan sertifikat dan menyalin jalur ke sertifikat.
az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>
Contohnya:
az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem
Berikan izin pekerjaan Azure Stream Analytics untuk mengakses sertifikat di brankas kunci
Agar pekerjaan Azure Stream Analytics Anda membaca rahasia di brankas kunci Anda, pekerjaan harus memiliki izin untuk mengakses brankas kunci. Gunakan langkah-langkah berikut untuk memberikan izin khusus ke pekerjaan analisis aliran Anda:
Di brankas kunci Anda, pilih Kontrol akses (IAM).
Pilih Tambahkan>Tambahkan penetapan peran untuk membuka halaman Tambahkan penetapan peran.
Tetapkan peran menggunakan konfigurasi berikut:
| Pengaturan | Nilai |
|---|---|
| Peran | Pengguna rahasia brankas kunci |
| Identitas Terkelola | Pekerjaan Azure Stream Analytics untuk identitas terkelola yang ditetapkan sistem atau Identitas terkelola yang ditetapkan pengguna |
| Anggota | <Nama pekerjaan> Azure Stream Analytics atau <nama identitas yang ditetapkan pengguna> |
Mengonfigurasi output kafka dalam pekerjaan analisis aliran Anda
Dalam pekerjaan analisis aliran Anda, pilih Output di bawah Topologi Pekerjaan
Pilih Tambahkan output>Kafka untuk membuka bilah Konfigurasi output Baru Kafka.
Gunakan pengaturan konfigurasi berikut:
Catatan
Untuk SASL_SSL dan SASL_PLAINTEXT, Azure Stream Analytics hanya mendukung mekanisme SASL PLAIN.
| Nama properti | Deskripsi |
|---|---|
| Alias Output | Nama yang mudah diingat yang digunakan dalam kueri untuk mereferensikan input Anda |
| Alamat server bootstrap | Daftar pasangan host/port untuk membuat koneksi ke kluster kafka cloud confluent Anda. Contoh: pkc-56d1g.eastus.azure.confluent.cloud:9092 |
| Topik Kafka | Nama topik kafka Anda di kluster kafka cloud confluent Anda. |
| Protokol Keamanan | Pilih SASL_SSL. Mekanisme yang didukung adalah PLAIN. |
| Format Serialisasi Peristiwa | Format serialisasi (JSON, CSV, Avro, Parquet, Protobuf) dari aliran data masuk. |
| Kunci partisi | Azure Stream Analytics menetapkan partisi menggunakan partisi bulat. Tetap kosong jika kunci tidak mempartisi input Anda |
| Jenis kompresi peristiwa Kafka | Jenis kompresi yang digunakan untuk aliran data keluar, seperti Gzip, Snappy, Lz4, Zstd, atau None. |
Penting
Confluent Cloud mendukung autentikasi menggunakan Kunci API, OAuth, atau akses menyeluruh (SSO) SAML. Azure Stream Analytics tidak mendukung autentikasi menggunakan akses menyeluruh (SSO) OAuth atau SAML. Anda dapat terhubung ke cloud confluent menggunakan KUNCI API yang memiliki akses tingkat topik melalui protokol keamanan SASL_SSL. Untuk mengautentikasi ke confluent cloud, Anda harus menggunakan SASL_SSL dan mengonfigurasi pekerjaan Anda untuk mengautentikasi ke confluent cloud menggunakan kunci API Anda .
Gunakan pengaturan konfigurasi berikut:
| Pengaturan | Nilai |
|---|---|
| Nama Pengguna | Kunci API cloud confluent |
| Kata sandi | rahasia API cloud confluent |
| Nama brankas kunci | Nama Azure Key Vault dengan sertifikat yang Diunggah |
| Sertifikat truststore | nama rahasia brankas kunci yang menyimpan sertifikat ISRG Root X1 |
Menyimpan konfigurasi dan menguji koneksi
Simpan konfigurasi Anda. Pekerjaan Azure Stream Analytics Anda memvalidasi menggunakan konfigurasi yang disediakan. Koneksi pengujian yang berhasil muncul di portal jika pekerjaan analisis aliran Anda dapat terhubung ke kluster kafka Anda.
Batasan
- Sertifikat yang Anda unggah ke brankas kunci harus dalam format PEM.
- Versi minimum kafka harus kafka versi 0.10.
- Azure Stream Analytics tidak mendukung autentikasi ke cloud confluent menggunakan akses menyeluruh (SSO) OAuth atau SAML. Anda harus menggunakan Kunci API melalui protokol SASL_SSL.
- Anda harus menggunakan Azure CLI untuk mengunggah sertifikat sebagai rahasia ke brankas kunci. Anda tidak dapat mengunggah sertifikat dengan rahasia multibaris ke brankas kunci menggunakan portal Azure.
Catatan
Untuk bantuan langsung dengan menggunakan output Azure Stream Analytics Kafka, silakan hubungi askasa@microsoft.com.
Langkah berikutnya
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk