Azure Stream Analytics ile confluent cloud Kafka'dan veri akışı

Bu makalede, Giriş olarak Azure Stream Analytics işinizi doğrudan confluent cloud Kafka'ya nasıl bağlayacağınız açıklanmaktadır.

Önkoşullar

• Bir confluent cloud kafka kümeniz var.
• Kafka kümeniz için kullanıcı adı olarak kullanılacak API anahtarını, parola olarak kullanılacak API Gizli Dizisini ve Bootstrap sunucu adresini içeren bir API Anahtarı dosyanız var.
• Azure Stream Analytics işiniz var. Şu belgeleri izleyerek bir Azure Stream Analytics işi oluşturabilirsiniz: Hızlı Başlangıç: Azure portalını kullanarak Stream Analytics işi oluşturma
• Confluent cloud kafka kümenizin güvenlik duvarının arkasında veya sanal ağda güvenliği sağlanmadığından genel olarak erişilebilir olması gerekir.
• Confluent cloud kafka kümenizin konusunun zaman damgası türü LogAppendTime olmalıdır. Confluent Cloud Kafka konusu için varsayılan değer CreateTime'dır.
• Mevcut bir anahtar kasanız olmalıdır. Hızlı Başlangıç: Azure portalını kullanarak anahtar kasası oluşturma belgelerini izleyerek bir anahtar kasası kaynağı oluşturabilirsiniz

Azure Stream Analytics'i yönetilen kimliği kullanacak şekilde yapılandırma

Azure Stream Analytics, anahtar kasasına erişmek için yönetilen kimliği yapılandırmanızı gerektirir. Yapılandır'ın altındaki sol taraftaki Yönetilen Kimlik sekmesine giderek akış analizi işinizi yönetilen kimliği kullanacak şekilde yapılandırabilirsiniz.

1. Yapılandır'ın altındaki yönetilen kimlik sekmesine tıklayın.
2. Kimlik Değiştir'i seçin ve işle kullanılacak kimliği seçin: sistem tarafından atanan kimlik veya kullanıcı tarafından atanan kimlik.
3. Kullanıcı tarafından atanan kimlik için, kullanıcı tarafından atanan kimliğinizin bulunduğu aboneliği seçin ve kimliğinizin adını seçin.
4. Gözden geçirin ve kaydedin.

LetsEncrypt'ten sertifika indirme

Azure stream analytics librdkafka tabanlı bir istemcidir ve confluent buluta bağlanmak için, confluent cloud'un sunucu kimlik doğrulaması için kullandığı TLS sertifikalarına ihtiyacınız vardır. Confluent bulutu, açık bir sertifika yetkilisi (CA) olan Let's Encrypt'in TLS sertifikalarını kullanır.

ISRG Kök X1 sertifikasını LetsEncrypt sitesinde PEM biçiminde indirin.

anahtar kasayı İzinlerle yapılandırma

Azure Stream Analytics, kimlik doğrulaması ve şifreleme için gereken depolanan gizli dizilere erişmek için Azure Key Vault ile sorunsuz bir şekilde tümleşir. Azure Stream Analytics işiniz, güvenli bir bağlantı sağlamak ve gizli dizilerin sızdırmasını önlemek için yönetilen kimliği kullanarak Azure Key vault'unuza bağlanır. İndirdiğiniz sertifikayı kullanmak için önce key vault'a yüklemeniz gerekir.

Sertifikaları karşıya yüklemek için Anahtar kasanıza "Key Vault Yöneticisi" erişiminiz olmalıdır. Yönetici erişimi vermek için aşağıdakileri izleyin:

Not

Diğer anahtar kasası izinlerini vermek için "Sahip" izinlerine sahip olmanız gerekir.

1. Anahtar kasanızda Erişim denetimi (IAM) öğesini seçin.

2. Rol ataması ekle sayfasını açmak için Rol ataması ekle'yi> seçin.

3. Aşağıdaki yapılandırmayı kullanarak rolü atayın:

Ayar	Value
Role	Key Vault Yöneticisi
Şu kişiye erişim ata:	Kullanıcı, grup veya hizmet sorumlusu
Üyeler	<Hesap bilgileriniz veya e-postanız>

Azure CLI aracılığıyla key vault'a gizli dizi olarak sertifika yükleme

Önemli

Bu komutun düzgün çalışması için Anahtar kasanıza "Key Vault Yöneticisi" erişimine sahip olmanız gerekir Sertifikayı gizli dizi olarak yüklemeniz gerekir. Sertifikaları anahtar kasanıza gizli dizi olarak yüklemek için Azure CLI kullanmanız gerekir. Kimlik doğrulaması için kullanılan sertifikanın süresi dolduğunda Azure Stream Analytics işiniz başarısız olur. Bu sorunu çözmek için anahtar kasanızdaki sertifikayı güncelleştirmeniz/değiştirmeniz ve Azure Stream Analytics işinizi yeniden başlatmanız gerekir.

Azure CLI'nın PowerShell ile yerel olarak yapılandırıldığından ve yüklendiğinden emin olun. Azure CLI'yi ayarlama hakkında rehberlik almak için bu sayfayı ziyaret edebilirsiniz: Azure CLI'yi kullanmaya başlama

Azure CLI'da oturum açın:

az login

Anahtar kasanızı içeren aboneliğinize bağlanın:

az account set --subscription <subscription name>

Örneğin:

az account set --subscription mymicrosoftsubscription

Aşağıdaki komut sertifikayı anahtar kasanıza gizli dizi olarak yükleyebilir:

<your key vault>, sertifikayı yüklemek istediğiniz anahtar kasasının adıdır. <name of the secret> , gizli dizinize vermek istediğiniz herhangi bir ad ve anahtar kasasında nasıl göründüğüdür. <file path to certificate> , sertifikanızın bulunduğu sertifikanın yoludur. Sağ tıklayıp yolu sertifikaya kopyalayabilirsiniz.

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

Örneğin:

az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem

Stream Analytics iş izinlerini anahtar kasasında sertifikaya erişmek için verme

Azure Stream Analytics işinizin anahtar kasanızdaki gizli diziyi okuması için işin anahtar kasasına erişim iznine sahip olması gerekir. Stream Analytics işinize özel izinler vermek için aşağıdaki adımları kullanın:

1. Anahtar kasanızda Erişim denetimi (IAM) öğesini seçin.

2. Rol ataması ekle sayfasını açmak için Rol ataması ekle'yi> seçin.

3. Aşağıdaki yapılandırmayı kullanarak rolü atayın:

Ayar	Value
Role	Anahtar kasası gizli dizileri kullanıcısı
Yönetilen kimlik	Sistem tarafından atanan yönetilen kimlik veya Kullanıcı tarafından atanan yönetilen kimlik için Stream Analytics işi
Üyeler	<Stream Analytics işinizin> adı veya <kullanıcı tarafından atanan kimliğin adı>

Akış analizi işinizde kafka girişini yapılandırma

Önemli

Kafka kümenizi giriş olarak yapılandırmak için giriş konusunun zaman damgası türü LogAppendTime olmalıdır. Azure Stream Analytics'in desteklediği tek zaman damgası türü LogAppendTime'dır. Azure Stream Analytics yalnızca sayısal ondalık biçimi destekler.

1. Akış analizi işinizde İş Topolojisi'nin altındaki Girişler'i seçin

2. Kafka Yeni giriş> yapılandırması dikey penceresini açmak için Giriş Kafka ekle'yi seçin.

3. Aşağıdaki yapılandırmayı kullanın:

Not

Azure Stream Analytics, SASL_SSL ve SASL_PLAINTEXT için yalnızca PLAIN SASL mekanizmasını destekler.

Özellik adı	Açıklama
Girdi Diğer Adı	Girişinize başvurmak için sorgularda kullanılan kolay ad
Bootstrap sunucu adresleri	Konfederasyon bulutu kafka kümenize bağlantı kurmak için konak/bağlantı noktası çiftlerinin listesi. Örnek: pkc-56d1g.eastus.azure.confluent.cloud:9092
Kafka konusu	Confluent cloud kafka kümenizdeki kafka konunuzun adı.
Güvenlik Protokolü	SASL_SSL'ı seçin. Desteklenen mekanizma PLAIN'dir.
Tüketici Grubu Kimliği	Girişin parçası olması gereken Kafka tüketici grubunun adı. Sağlanmazsa otomatik olarak atanır.
Olay Serileştirme biçimi	Gelen veri akışının serileştirme biçimi (JSON, CSV, Avro, Parquet, Protobuf).

Önemli

Confluent Cloud API Anahtarları, OAuth veya SAML çoklu oturum açma (SSO) kullanarak kimlik doğrulamasını destekler. Azure Stream Analytics, OAuth veya SAML çoklu oturum açma (SSO) kullanarak kimlik doğrulamasını desteklemez. SASL_SSL güvenlik protokolü aracılığıyla konu düzeyinde erişime sahip bir API Anahtarı kullanarak confluent buluta bağlanabilirsiniz. Confluent cloud'da kimlik doğrulaması yapmak için SASL_SSL kullanmanız ve API anahtarınızı kullanarak confluent cloud'da kimlik doğrulaması yapmak için işinizi yapılandırmanız gerekir.

Aşağıdaki yapılandırmayı kullanın:

Ayar	Value
Username	confluent cloud API anahtarı
Parola	confluent cloud API gizli dizisi
Anahtar kasası adı	karşıya yüklenen sertifikaya sahip Azure Key Vault'un adı
Truststore sertifikaları	ISRG Kök X1 sertifikasını tutan Key Vault Gizli Dizisinin adı

Yapılandırmayı kaydetme ve bağlantıyı test edin

Yapılandırmanızı kaydedin. Azure Stream Analytics işiniz sağlanan yapılandırmayı kullanarak doğrular. Akış analizinizin Kafka kümenize bağlanıp bağlanamadığını portalda başarılı bir bağlantı gösterilir.

Sınırlamalar

• Anahtar kasasına yüklenen sertifika PEM biçiminde olmalıdır.
• Kafka'nın en düşük sürümü 0.10 sürümü olmalıdır.
• Azure Stream Analytics, OAuth veya SAML çoklu oturum açma (SSO) kullanarak buluta bağlanmak için kimlik doğrulamasını desteklemez. API Anahtarını SASL_SSL protokolü aracılığıyla kullanmanız gerekir.
• Sertifikayı anahtar kasasına gizli dizi olarak yüklemek için Azure CLI kullanmalısınız. Azure portalını kullanarak çok satırlı gizli dizilere sahip sertifikaları anahtar kasasına yükleyemezsiniz.

Not

Azure Stream Analytics Kafka girişini kullanma konusunda doğrudan yardım için adresine ulaşın askasa@microsoft.com.

Sonraki adımlar

Hızlı Başlangıç: Azure portalını kullanarak Stream Analytics işi oluşturma