Azure Stream Analytics'ten Kafka çıkışı (Önizleme)

Makale
02/21/2024

Azure Stream Analytics, veri çıkışı yapmak için doğrudan Kafka kümelerine üretici olarak bağlanmanızı sağlar. Çözüm düşük koddur ve tamamen Microsoft'taki Azure Stream Analytics ekibi tarafından yönetilir ve iş uyumluluğu standartlarını karşılamasına olanak sağlar. ASA Kafka çıkışı geriye dönük olarak uyumludur ve sürüm 0.10'dan başlayarak en son istemci sürümüne sahip tüm sürümleri destekler. Kullanıcılar, yapılandırmalara bağlı olarak genel uç nokta ile bir VNET ve Kafka kümeleri içindeki Kafka kümelerine bağlanabilir. Yapılandırma, mevcut Kafka yapılandırma kurallarına dayanır. Desteklenen sıkıştırma türleri None, Gzip, Snappy, LZ4 ve Zstd'dir.

Adımlar

Bu makalede Kafka'nın Azure Stream Analytics'ten çıktı olarak nasıl ayarlanacağı gösterilmektedir. Altı adım vardır:

Azure Stream Analytics işi oluşturun.
mTLS veya SASL_SSl güvenlik protokolleri kullanıyorsanız Azure Stream Analytics işinizi yönetilen kimliği kullanacak şekilde yapılandırın.
mTLS veya SASL_SSl güvenlik protokolleri kullanıyorsanız Azure Key Vault'ı yapılandırın.
Sertifikaları Azure Key Vault'a gizli dizi olarak yükleyin.
Karşıya yüklenen sertifikaya erişmek için Azure Stream Analytics izinleri verin.
Azure Stream Analytics işinizde Kafka çıkışını yapılandırın.

Not

Kafka kümenizin nasıl yapılandırıldığına ve kullandığınız Kafka kümesinin türüne bağlı olarak, yukarıdaki adımlardan bazıları sizin için geçerli olmayabilir. Örnekler şunlardır: Confluent cloud Kafka kullanıyorsanız Kafka bağlayıcısını kullanmak için sertifika yüklemeniz gerekmez. Kafka kümeniz bir sanal ağ (VNET) içinde veya bir güvenlik duvarının arkasındaysa, Özel bağlantı veya ayrılmış ağ yapılandırması kullanarak Kafka konunuza erişmek için Azure Stream Analytics işinizi yapılandırmanız gerekebilir.

Yapılandırma

Aşağıdaki tabloda, Kafka çıktısı oluşturmaya yönelik özellik adları ve açıklamaları listelemektedir:

Özellik adı	Açıklama
Çıktı Diğer Adı	Çıktınıza başvurmak için sorgularda kullanılan kolay ad
Bootstrap sunucu adresleri	Kafka kümesine bağlantı kurmak için konak/bağlantı noktası çiftlerinin listesi.
Kafka konusu	İletilerin yayımlama-abone olma ve olay odaklı işlenmesine olanak tanıyan adlandırılmış, sıralı ve bölümlenmiş veri akışı.
Güvenlik Protokolü	Kafka kümenize nasıl bağlanmak istiyorsunuz? Azure Stream Analytics mTLS, SASL_SSL, SASL_PLAINTEXT veya Hiçbiri'yi destekler.
Olay Serileştirme biçimi	Giden veri akışının serileştirme biçimi (JSON, CSV, Avro).
Bölüm anahtarı	Azure Stream Analytics, bölümleri yuvarlak bölümleme kullanarak atar.
Kafka olay sıkıştırma türü	Gzip, Snappy, Lz4, Zstd veya None gibi giden veri akışları için kullanılan sıkıştırma türü.

Kimlik doğrulaması ve şifreleme

Kafka kümelerinize bağlanmak için dört tür güvenlik protokolü kullanabilirsiniz:

Not

Azure Stream Analytics, SASL_SSL ve SASL_PLAINTEXT için yalnızca PLAIN SASL mekanizmasını destekler. Azure CLI kullanarak sertifikaları anahtar kasasına gizli dizi olarak yüklemeniz gerekir.

Özellik adı	Açıklama
mTLS	Şifreleme ve kimlik doğrulaması. PLAIN, SCRAM-SHA-256 ve SCRAM-SHA-512 güvenlik mekanizmalarını destekler.
SASL_SSL	Veri iletimi için hem kimlik doğrulaması hem de şifrelemenin geçerli olduğundan emin olmak için SASL (Basit Kimlik Doğrulama ve Güvenlik Katmanı) ve SSL (Güvenli Yuva Katmanı) olmak üzere iki farklı güvenlik mekanizmasını birleştirir. SASL_SSL protokolü PLAIN, SCRAM-SHA-256 ve SCRAM-SHA-512 güvenlik mekanizmalarını destekler.
SASL_PLAINTEXT	şifreleme olmadan kullanıcı adı ve parola ile standart kimlik doğrulaması
Hiçbiri	Kimlik doğrulaması ve şifreleme yok.

Önemli

Confluent Cloud API Anahtarları, OAuth veya SAML çoklu oturum açma (SSO) kullanarak kimlik doğrulamasını destekler. Azure Stream Analytics, OAuth veya SAML çoklu oturum açma (SSO) kimlik doğrulamasını desteklemez. SASL_SSL güvenlik protokolü aracılığıyla konu düzeyinde erişime sahip bir API Anahtarı kullanarak confluent buluta bağlanabilirsiniz.

Confluent Cloud Kakfa'ya bağlanma hakkında adım adım öğretici için belgeleri ziyaret edin:

Confluent cloud kafka girişi: Azure Stream Analytics ile confluent cloud Kafka'dan veri akışı
Confluent cloud kafka çıkışı: Azure Stream Analytics'ten confluent buluta veri akışı

Anahtar kasası tümleştirmesi

Not

mTLS veya SASL_SSL güvenlik protokolleri ile güven deposu sertifikalarını kullanırken, Azure Stream Analytics işiniz için Azure Key Vault'un ve yönetilen kimliğin yapılandırılmış olması gerekir. Tüm ağlardan genel erişime izin ver seçeneğinin belirlendiğinden emin olmak için anahtar kasanızın ağ ayarlarını denetleyin. Anahtar kasanızın bir sanal ağda olduğunu veya yalnızca belirli ağlardan erişime izin verdiğinizi varsayalım. Bu durumda, ASA işinizi anahtar kasasını içeren bir sanal ağa eklemeli veya ASA işinizi bir sanal ağa eklemeli ve ardından hizmet uç noktalarını kullanarak anahtar kasanızı işi içeren sanal ağa bağlamanız gerekir.

Azure Stream Analytics, mTLS veya SASL_SSL güvenlik protokollerini kullanırken kimlik doğrulaması ve şifreleme için gereken depolanan gizli dizilere erişmek için Azure Key Vault ile sorunsuz bir şekilde tümleşir. Azure Stream Analytics işiniz, güvenli bir bağlantı sağlamak ve gizli dizilerin sızdırmasını önlemek için yönetilen kimliği kullanarak Azure Key vault'unuza bağlanır. Sertifikalar anahtar kasasında gizli dizi olarak depolanır ve PEM biçiminde olmalıdır.

anahtar kasayı izinlerle yapılandırma

Hızlı Başlangıç: Azure portalını kullanarak anahtar kasası oluşturma Sertifika yüklemek için Anahtar kasanıza "Key Vault Yöneticisi" erişiminizin olması gerekir. Yönetici erişimi vermek için aşağıdaki adımları izleyin.

Not

Diğer anahtar kasası izinlerini vermek için "Sahip" izinlerine sahip olmanız gerekir.

Erişim denetimi (IAM) öğesini seçin.
Rol ataması ekle sayfasını açmak için Rol ataması ekle'yi> seçin.
Aşağıdaki yapılandırmayı kullanarak rolü atayın:

Ayar	Value
Role	Key Vault Yöneticisi
Şu kişiye erişim ata:	Kullanıcı, grup veya hizmet sorumlusu
Üyeler	<Hesap bilgileriniz veya e-postanız>

Sertifikayı Azure CLI aracılığıyla Key vault'a yükleme

Önemli

Bu komutun düzgün çalışması için Anahtar kasanıza "Key Vault Yöneticisi" erişimine sahip olmanız gerekir Sertifikayı gizli dizi olarak yüklemeniz gerekir. Sertifikaları anahtar kasanıza gizli dizi olarak yüklemek için Azure CLI kullanmanız gerekir. Kimlik doğrulaması için kullanılan sertifikanın süresi dolduğunda Azure Stream Analytics işiniz başarısız olur. Bu sorunu çözmek için anahtar kasanızdaki sertifikayı güncelleştirmeniz/değiştirmeniz ve Azure Stream Analytics işinizi yeniden başlatmanız gerekir.

Azure CLI'nın PowerShell ile yerel olarak yapılandırıldığından emin olun. Azure CLI'yi ayarlama hakkında rehberlik almak için bu sayfayı ziyaret edebilirsiniz: Azure CLI'yi kullanmaya başlama

Azure CLI'da oturum açın:

az login

Anahtar kasanızı içeren aboneliğinize bağlanın:

az account set --subscription <subscription name>

Aşağıdaki komut sertifikayı anahtar kasanıza gizli dizi olarak yükleyebilir:

<your key vault>, sertifikayı yüklemek istediğiniz anahtar kasasının adıdır. <name of the secret> , gizli dizinize vermek istediğiniz herhangi bir ad ve anahtar kasasında nasıl göründüğüdür. <file path to certificate> , sertifikanızın bulunduğu sertifikanın yoludur. Sağ tıklayıp yolu sertifikaya kopyalayabilirsiniz.

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

Örneğin:

az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem

Yönetilen kimliği yapılandırma

Azure Stream Analytics, anahtar kasasına erişmek için yönetilen kimliği yapılandırmanızı gerektirir. Yapılandır'ın altında sol taraftaki Yönetilen Kimlik sekmesine giderek ASA işinizi yönetilen kimliği kullanacak şekilde yapılandırabilirsiniz.

Yapılandır'ın altındaki yönetilen kimlik sekmesine tıklayın.
Kimlik Değiştir'i seçin ve işle kullanılacak kimliği seçin: sistem tarafından atanan kimlik veya kullanıcı tarafından atanan kimlik.
Kullanıcı tarafından atanan kimlik için, kullanıcı tarafından atanan kimliğinizin bulunduğu aboneliği seçin ve kimliğinizin adını seçin.
Gözden geçirin ve kaydedin.

Stream Analytics iş izinlerini anahtar kasasında sertifikaya erişmek için verme

Azure Stream Analytics işinizin anahtar kasanızdaki gizli diziyi okuması için işin anahtar kasasına erişim iznine sahip olması gerekir. Stream Analytics işinize özel izinler vermek için aşağıdaki adımları kullanın:

Erişim denetimi (IAM) öğesini seçin.
Rol ataması ekle sayfasını açmak için Rol ataması ekle'yi> seçin.
Aşağıdaki yapılandırmayı kullanarak rolü atayın:

Ayar	Value
Role	Anahtar kasası gizli dizileri kullanıcısı
Yönetilen kimlik	Sistem tarafından atanan yönetilen kimlik veya Kullanıcı tarafından atanan yönetilen kimlik için Stream Analytics işi
Üyeler	<Stream Analytics işinizin> adı veya <kullanıcı tarafından atanan kimliğin adı>

Sanal ağ tümleştirmesi

Kafka'nız bir sanal ağ (VNET) içinde veya bir güvenlik duvarının arkasındaysa, Azure Stream Analytics işinizi Kafka konunuza erişecek şekilde yapılandırmanız gerekir. Daha fazla bilgi için Azure Stream Analytics işinizi azure Sanal Ağ çalıştırma belgelerini ziyaret edin.

Sınırlamalar

Azure Stream Analytics işlerinizi VNET/SWIFT kullanacak şekilde yapılandırırken, işinizin en az altı (6) akış birimi veya bir (1) V2 akış birimiyle yapılandırılması gerekir.
Azure Key Vault ile mTLS veya SASL_SSL kullanırken Java Key Store'unuzu PEM biçimine dönüştürmeniz gerekir.
Azure Stream Analytics'i bağlanacak şekilde yapılandırabileceğiniz en düşük Kafka sürümü 0.10 sürümüdür.
Azure Stream Analytics, OAuth veya SAML çoklu oturum açma (SSO) kullanarak buluta bağlanmak için kimlik doğrulamasını desteklemez. api anahtarını SASL_SSL protokolü aracılığıyla kullanmanız gerekir

Not

Azure Stream Analytics Kafka çıkışını kullanma konusunda doğrudan yardım için adresine ulaşın askasa@microsoft.com.

Aracılığıyla paylaş