Azure Stream Analytics'ten confluent buluta veri akışı

Bu makalede, Azure Stream Analytics işinizi doğrudan çıkış olarak confluent cloud kafka'ya nasıl bağlayacağınız açıklanmaktadır.

Önkoşullar

• Bir confluent cloud kafka kümeniz var.
• Kafka kümeniz için kullanıcı adı olarak kullanılacak API anahtarını, parola olarak kullanılacak API Gizli Dizisini ve Bootstrap sunucu adresini içeren bir API Anahtarı dosyanız var.
• Azure Stream Analytics işiniz var. Şu belgeleri izleyerek bir Azure Stream Analytics işi oluşturabilirsiniz: Hızlı Başlangıç: Azure portalını kullanarak Stream Analytics işi oluşturma
• Confluent cloud kafka kümenizin güvenlik duvarının arkasında veya sanal ağda güvenliği sağlanmadığından genel olarak erişilebilir olması gerekir.
• Mevcut bir anahtar kasanız olmalıdır. Hızlı Başlangıç: Azure portalını kullanarak anahtar kasası oluşturma belgelerini izleyerek bir anahtar kasası kaynağı oluşturabilirsiniz

Azure Stream Analytics'i yönetilen kimliği kullanacak şekilde yapılandırma

Azure Stream Analytics, anahtar kasasına erişmek için yönetilen kimliği yapılandırmanızı gerektirir. Yapılandır'ın altında sol taraftaki Yönetilen Kimlik sekmesine giderek ASA işinizi yönetilen kimliği kullanacak şekilde yapılandırabilirsiniz.

1. Yapılandır'ın altındaki yönetilen kimlik sekmesine tıklayın.
2. Kimlik Değiştir'i seçin ve işle kullanılacak kimliği seçin: sistem tarafından atanan kimlik veya kullanıcı tarafından atanan kimlik.
3. Kullanıcı tarafından atanan kimlik için, kullanıcı tarafından atanan kimliğinizin bulunduğu aboneliği seçin ve kimliğinizin adını seçin.
4. Gözden geçirin ve kaydedin.

LetsEncrypt'ten sertifika indirme

Akış analizi kafka çıkışı librdkafka tabanlı bir istemcidir. Çıkışın confluent buluta bağlanması için, confluent bulutunun sunucu kimlik doğrulaması için kullandığı TLS sertifikalarına ihtiyacınız vardır. Confluent bulutu, açık bir sertifika yetkilisi (CA) olan Let's Encrypt'in TLS sertifikalarını kullanır.

ISRG Kök X1 sertifikasını LetsEncrypt sitesinde PEM biçiminde indirin.

anahtar kasayı izinlerle yapılandırma

Azure Stream Analytics, mTLS veya SASL_SSL güvenlik protokollerini kullanırken kimlik doğrulaması ve şifreleme için gereken depolanan gizli dizilere erişmek için Azure Key Vault ile sorunsuz bir şekilde tümleşir. Azure Stream Analytics işiniz, güvenli bir bağlantı sağlamak ve gizli dizilerin sızdırmasını önlemek için yönetilen kimliği kullanarak Azure Key vault'unuza bağlanır. İndirdiğiniz sertifikayı kullanmak için önce key vault'a yüklemeniz gerekir.

Sertifikaları karşıya yüklemek için Anahtar kasanıza "Key Vault Yöneticisi" erişiminiz olmalıdır. Yönetici erişimi vermek için aşağıdakileri izleyin:

Not

Diğer anahtar kasası izinlerini vermek için "Sahip" izinlerine sahip olmanız gerekir.

1. Keyvault'unuzda Erişim denetimi (IAM) öğesini seçin.

2. Rol ataması ekle sayfasını açmak için Rol ataması ekle'yi> seçin.

3. Aşağıdaki yapılandırmayı kullanarak rolü atayın:

Ayar	Value
Role	Key Vault Yöneticisi
Şu kişiye erişim ata:	Kullanıcı, grup veya hizmet sorumlusu
Üyeler	<Hesap bilgileriniz veya e-postanız>

Azure CLI aracılığıyla key vault'a gizli dizi olarak sertifika yükleme

Önemli

Bu komutun düzgün çalışması için Anahtar kasanıza "Key Vault Yöneticisi" erişimine sahip olmanız gerekir Sertifikayı gizli dizi olarak yüklemeniz gerekir. Sertifikaları anahtar kasanıza gizli dizi olarak yüklemek için Azure CLI kullanmanız gerekir. Kimlik doğrulaması için kullanılan sertifikanın süresi dolduğunda Azure Stream Analytics işiniz başarısız olur. Bu sorunu çözmek için anahtar kasanızdaki sertifikayı güncelleştirmeniz/değiştirmeniz ve Azure Stream Analytics işinizi yeniden başlatmanız gerekir.

Azure CLI'nın PowerShell ile yerel olarak yapılandırıldığından ve yüklendiğinden emin olun. Azure CLI'yi ayarlama hakkında rehberlik almak için bu sayfayı ziyaret edebilirsiniz: Azure CLI'yi kullanmaya başlama

Azure CLI'da oturum açın:

az login

Anahtar kasanızı içeren aboneliğinize bağlanın:

az account set --subscription <subscription name>

Örneğin:

az account set --subscription mymicrosoftsubscription

Aşağıdaki komut sertifikayı anahtar kasanıza gizli dizi olarak yükleyebilir:

<your key vault>, sertifikayı yüklemek istediğiniz anahtar kasasının adıdır. <name of the secret> , gizli dizinize vermek istediğiniz herhangi bir ad ve anahtar kasasında nasıl göründüğüdür. <file path to certificate> , indirilen sertifikanın konumunun yoludur. Sertifikaya sağ tıklayabilir ve sertifikanın yolunu kopyalayabilirsiniz.

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

Örneğin:

az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem

Stream Analytics iş izinlerini anahtar kasasında sertifikaya erişmek için verme

Azure Stream Analytics işinizin anahtar kasanızdaki gizli diziyi okuması için işin anahtar kasasına erişim iznine sahip olması gerekir. Stream Analytics işinize özel izinler vermek için aşağıdaki adımları kullanın:

1. Anahtar kasanızda Erişim denetimi (IAM) öğesini seçin.

2. Rol ataması ekle sayfasını açmak için Rol ataması ekle'yi> seçin.

3. Aşağıdaki yapılandırmayı kullanarak rolü atayın:

Ayar	Value
Role	Anahtar kasası gizli dizileri kullanıcısı
Yönetilen kimlik	Sistem tarafından atanan yönetilen kimlik veya Kullanıcı tarafından atanan yönetilen kimlik için Stream Analytics işi
Üyeler	<Stream Analytics işinizin> adı veya <kullanıcı tarafından atanan kimliğin adı>

Akış analizi işinizde kafka çıkışını yapılandırma

1. Akış analizi işinizde İş Topolojisi'nin altındaki Çıkışlar'ı seçin

2. Kafka Yeni çıkış>yapılandırması dikey penceresini açmak için Çıkış Kafka ekle'yi seçin.

3. Aşağıdaki yapılandırmayı kullanın:

Not

Azure Stream Analytics, SASL_SSL ve SASL_PLAINTEXT için yalnızca PLAIN SASL mekanizmasını destekler.

Özellik adı	Açıklama
Çıktı Diğer Adı	Girişinize başvurmak için sorgularda kullanılan kolay ad
Bootstrap sunucu adresleri	Konfederasyon bulutu kafka kümenize bağlantı kurmak için konak/bağlantı noktası çiftlerinin listesi. Örnek: pkc-56d1g.eastus.azure.confluent.cloud:9092
Kafka konusu	Confluent cloud kafka kümenizdeki kafka konunuzun adı.
Güvenlik Protokolü	SASL_SSL'ı seçin. Desteklenen mekanizma PLAIN'dir.
Olay Serileştirme biçimi	Gelen veri akışının serileştirme biçimi (JSON, CSV, Avro, Parquet, Protobuf).
Bölüm anahtarı	Azure Stream Analytics, bölümleri yuvarlak bölümleme kullanarak atar. Bir anahtar girişinizi bölümlemiyorsa boş bırakın
Kafka olay sıkıştırma türü	Gzip, Snappy, Lz4, Zstd veya None gibi giden veri akışları için kullanılan sıkıştırma türü.

Önemli

Confluent Cloud API Anahtarları, OAuth veya SAML çoklu oturum açma (SSO) kullanarak kimlik doğrulamasını destekler. Azure Stream Analytics, OAuth veya SAML çoklu oturum açma (SSO) kullanarak kimlik doğrulamasını desteklemez. SASL_SSL güvenlik protokolü aracılığıyla konu düzeyinde erişime sahip bir API Anahtarı kullanarak confluent buluta bağlanabilirsiniz. Confluent cloud'da kimlik doğrulaması yapmak için SASL_SSL kullanmanız ve API anahtarınızı kullanarak confluent cloud'da kimlik doğrulaması yapmak için işinizi yapılandırmanız gerekir.

Aşağıdaki yapılandırmayı kullanın:

Ayar	Value
Username	confluent cloud API Anahtarı
Parola	confluent cloud API gizli dizisi
Anahtar kasası adı	Karşıya yüklenen sertifikaya sahip Azure Anahtar kasasının adı
Truststore sertifikaları	ISRG Kök X1 sertifikasını tutan anahtar kasası gizli dizisinin adı

Yapılandırmayı kaydetme ve bağlantıyı test edin

Yapılandırmanızı kaydedin. Azure Stream Analytics işiniz sağlanan yapılandırmayı kullanarak doğrular. Akış analizi işiniz Kafka kümenize bağlanabiliyorsa portalda başarılı bir test bağlantısı gösterilir.

Sınırlamalar

• Anahtar kasasına yüklediğiniz sertifika PEM biçiminde olmalıdır.
• Kafka'nın en düşük sürümü kafka sürüm 0.10 olmalıdır.
• Azure Stream Analytics, OAuth veya SAML çoklu oturum açma (SSO) kullanarak buluta bağlanmak için kimlik doğrulamasını desteklemez. API Anahtarını SASL_SSL protokolü aracılığıyla kullanmanız gerekir.
• Sertifikayı anahtar kasasına gizli dizi olarak yüklemek için Azure CLI kullanmalısınız. Azure portalını kullanarak çok satırlı gizli dizilere sahip sertifikaları anahtar kasasına yükleyemezsiniz.

Not

Azure Stream Analytics Kafka çıkışını kullanma konusunda doğrudan yardım için adresine ulaşın askasa@microsoft.com.

Sonraki adımlar

Hızlı Başlangıç: Azure portalını kullanarak Stream Analytics işi oluşturma