إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
Kafka هو نظام أساسي للبث الموزع يستخدم لنشر تدفقات السجلات والاشتراك فيها. تم تصميم Kafka للسماح لتطبيقاتك بمعالجة السجلات عند حدوثها. إنه نظام مفتوح المصدر تم تطويره بواسطة Apache Software Foundation ومكتوب بلغة Java وSc scala.
فيما يلي حالات الاستخدام الرئيسية:
- المراسلة
- تعقب نشاط موقع الويب
- المقاييس
- تجميع السجل
- معالجة الدفق
يتيح لك Azure Stream Analytics الاتصال مباشرة بمجموعة Kafka لاستيعاب البيانات. الحل منخفض التعليمات البرمجية ويديره بالكامل فريق Azure Stream Analytics في Microsoft، ما يسمح له بتلبية معايير التوافق مع الأعمال. إدخال Kafka متوافق مع الإصدارات السابقة ويدعم جميع الإصدارات مع أحدث إصدار للعميل بدءا من الإصدار 0.10. يمكن للمستخدمين الاتصال بنظام مجموعات Kafka داخل شبكة ظاهرية ومجموعات Kafka بنقطة نهاية عامة، اعتمادا على التكوينات. يعتمد التكوين على اصطلاحات تكوين Kafka الموجودة. أنواع الضغط المدعومة هي None وGzip وSnapy وLZ4 وZstd.
الخطوات
توضح هذه المقالة كيفية إعداد Kafka كمصدر إدخال ل Azure Stream Analytics. هناك ست خطوات:
- إنشاء وظيفة Azure Stream Analytics.
- قم بتكوين وظيفة Azure Stream Analytics لاستخدام الهوية المدارة إذا كنت تستخدم mTLS أو بروتوكولات أمان SASL_SSL.
- تكوين Azure Key vault إذا كنت تستخدم mTLS أو بروتوكولات الأمان SASL_SSL.
- تحميل الشهادات كأسرار في Azure Key vault.
- امنح أذونات Azure Stream Analytics للوصول إلى الشهادة التي تم تحميلها.
- تكوين إدخال Kafka في وظيفة Azure Stream Analytics.
إشعار
اعتمادا على كيفية تكوين نظام مجموعة Kafka ونوع نظام مجموعة Kafka الذي تستخدمه، قد لا تنطبق بعض الخطوات المذكورة أعلاه عليك. ومن الأمثلة على ذلك: إذا كنت تستخدم Kafka السحابي confluent، فلن تحتاج إلى تحميل شهادة لاستخدام موصل Kafka. إذا كان نظام مجموعة Kafka داخل شبكة ظاهرية (VNET) أو خلف جدار حماية، فقد تضطر إلى تكوين وظيفة Azure Stream Analytics للوصول إلى موضوع Kafka الخاص بك باستخدام ارتباط خاص أو تكوين شبكة مخصص.
التكوين
يسرد الجدول التالي أسماء الخصائص ووصفها لإنشاء إدخال Kafka:
هام
لتكوين نظام مجموعة Kafka كمدخل، يجب أن يكون نوع الطابع الزمني لموضوع الإدخال LogAppendTime. نوع الطابع الزمني الوحيد الذي يدعمه Azure Stream Analytics هو LogAppendTime. يدعم Azure Stream Analytics التنسيق العشري الرقمي فقط.
| اسم الخاصية | الوصف |
|---|---|
| الاسم المستعار للإخراج/الإدخال | اسم مألوف يستخدم في الاستعلامات للإشارة إلى الإدخال أو الإخراج |
| عناوين خادم Bootstrap | قائمة بأزواج المضيف/المنفذ لتأسيس الاتصال بمجموعة Kafka. |
| موضوع Kafka | دفق البيانات المسمى والمأمر به والمقسم الذي يسمح بالنشر والاشتراك ومعالجة الرسائل المستندة إلى الحدث. |
| بروتوكول الأمان | كيف تريد الاتصال بمجموعة Kafka الخاصة بك. يدعم Azure Stream Analytics mTLS أو SASL_SSL أو SASL_PLAINTEXT أو None. |
| معرف مجموعة المستهلكين | اسم مجموعة مستهلكين Kafka التي يجب أن يكون الإدخال جزءا منها. يتم تعيينه تلقائيا إذا لم يتم توفيره. |
| تنسيق تسلسل الأحداث | تنسيق التسلسل (JSON وCSV وAvro وParquet وProtobuf) لتدفق البيانات الواردة. |
المصادقة والتشفير
يمكنك استخدام أربعة أنواع من بروتوكولات الأمان للاتصال بمجموعة Kafka الخاصة بك:
| اسم الخاصية | الوصف |
|---|---|
| mTLS | التشفير والمصادقة. يدعم آليات الأمان PLAIN وSCRAM-SHA-256 وSCRAM-SHA-512. |
| SASL_SSL | وهو يجمع بين آليتي أمان مختلفتين - SASL (طبقة المصادقة والأمان البسيطة) وطبقة مآخذ التوصيل الآمنة (SSL) - لضمان وجود كل من المصادقة والتشفير لنقل البيانات. يدعم بروتوكول SASL_SSL آليات الأمان PLAIN وSCRAM-SHA-256 وSCRAM-SHA-512. |
| SASL_PLAINTEXT | المصادقة القياسية مع اسم المستخدم وكلمة المرور دون تشفير |
| بلا | لا توجد مصادقة وتشفير. |
هام
يدعم Confluent Cloud المصادقة باستخدام مفاتيح API أو OAuth أو SAML تسجيل الدخول الأحادي (SSO). لا يدعم Azure Stream Analytics مصادقة تسجيل الدخول الأحادي (SSO) ل OAuth أو SAML. يمكنك الاتصال بالسحابة المتقاء باستخدام مفتاح API مع الوصول على مستوى الموضوع عبر بروتوكول أمان SASL_SSL.
للحصول على برنامج تعليمي خطوة بخطوة حول الاتصال ب Kafka السحابي confluent، تفضل بزيارة الوثائق:
- إدخال Confluent cloud kafka: دفق البيانات من Confluent cloud Kafka باستخدام Azure Stream Analytics
- Confluent cloud kafka output: Stream data from Azure Stream Analytics into confluent cloud
تكامل Key vault
إشعار
عند استخدام شهادات مخزن الثقة مع mTLS أو بروتوكولات الأمان SASL_SSL، يجب أن يكون لديك Azure Key vault والهوية المدارة المكونة لمهمة Azure Stream Analytics. تحقق من إعدادات شبكة key vault للتأكد من تحديد السماح بالوصول العام من جميع الشبكات . افترض أن Key vault الخاص بك موجود في VNET أو يسمح فقط بالوصول من شبكات معينة. في هذه الحالة، يجب إدخال وظيفة ASA الخاصة بك في VNET تحتوي على مخزن المفاتيح أو إدخال وظيفة ASA في VNET، ثم توصيل مخزن المفاتيح الخاص بك إلى VNET الذي يحتوي على الوظيفة باستخدام نقاط نهاية الخدمة.
يتكامل Azure Stream Analytics بسلاسة مع Azure Key vault للوصول إلى الأسرار المخزنة اللازمة للمصادقة والتشفير عند استخدام mTLS أو بروتوكولات الأمان SASL_SSL. تتصل مهمة Azure Stream Analytics ب Azure Key vault باستخدام الهوية المدارة لضمان اتصال آمن وتجنب تسرب البيانات السرية. يتم تخزين الشهادات كأسرار في مخزن المفاتيح ويجب أن تكون بتنسيق PEM.
تكوين Key vault مع الأذونات
يمكنك إنشاء مورد key vault باتباع الوثائق Quickstart: إنشاء مخزن مفاتيح باستخدام مدخل Microsoft Azure يجب أن يكون لديك حق الوصول "مسؤول Key Vault" إلى Key vault لتحميل الشهادات. اتبع ما يلي لمنح وصول المسؤول:
إشعار
يجب أن يكون لديك أذونات "المالك" لمنح أذونات مخزن المفاتيح الأخرى.
حدد Access control (IAM).
يرجى النقر فوق "إضافة" >"إضافة تعيين دور" لفتح صفحة إضافة تعيين الدور.
تعيين الدور باستخدام التكوين التالي:
| الإعداد | القيمة |
|---|---|
| الدور | مسؤول Key Vault |
| تعيين الوصول إلى | المستخدم، والمجموعة، والخدمة الرئيسية |
| الأعضاء | <معلومات حسابك أو بريدك الإلكتروني> |
تحميل الشهادة إلى Key vault عبر Azure CLI
هام
يجب أن يكون لديك حق الوصول إلى أذونات "مسؤول Key Vault" إلى Key vault لكي يعمل هذا الأمر بشكل صحيح يجب تحميل الشهادة كبيانات سرية. يجب استخدام Azure CLI لتحميل الشهادات كأسرار إلى مخزن المفاتيح الخاص بك. ستفشل مهمة Azure Stream Analytics عند انتهاء صلاحية الشهادة المستخدمة للمصادقة. لحل هذه المشكلة، يجب تحديث/استبدال الشهادة في مخزن المفاتيح وإعادة تشغيل وظيفة Azure Stream Analytics.
تأكد من تكوين Azure CLI محليا باستخدام PowerShell. يمكنك زيارة هذه الصفحة للحصول على إرشادات حول إعداد Azure CLI: بدء استخدام Azure CLI
تسجيل الدخول إلى Azure CLI:
az login
اتصل باشتراكك الذي يحتوي على خزنة المفاتيح الخاصة بك:
az account set --subscription <subscription name>
يمكن للأمر التالي تحميل الشهادة كبيانات سرية إلى مخزن المفاتيح الخاص بك:
<your key vault> هو اسم key vault الذي تريد تحميل الشهادة إليه.
<name of the secret> هو أي اسم تريد أن تعطيه إلى سرك وكيف يظهر في مخزن المفاتيح.
<file path to certificate> هو المسار إلى مكان الشهادة التي توجد بها شهادتك. يمكنك النقر بزر الماوس الأيمن ونسخ المسار إلى الشهادة.
az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>
على سبيل المثال:
az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem
تكوين الهوية المدارة
يتطلب منك Azure Stream Analytics تكوين الهوية المدارة للوصول إلى key vault. يمكنك تكوين وظيفة ASA لاستخدام الهوية المدارة عن طريق الانتقال إلى علامة التبويب Managed Identity على الجانب الأيسر ضمن Configure.
- حدد علامة تبويب الهوية المدارة ضمن تكوين.
- حدد "Switch Identity" وحدد الهوية التي يجب استخدامها مع الوظيفة: الهوية المعينة من قبل النظام أو الهوية المعينة من قبل المستخدم.
- بالنسبة للهوية المعينة من قبل المستخدم، حدد الاشتراك حيث توجد الهوية المعينة من قبل المستخدم وحدد اسم هويتك.
- المراجعة والحفظ.
منح أذونات وظيفة Stream Analytics للوصول إلى الشهادة في مخزن المفاتيح
لكي تقرأ وظيفة Azure Stream Analytics السر في خزنة المفاتيح الخاصة بك، يجب أن يكون للمهمة إذن للوصول إلى مخزن المفاتيح. استخدم الخطوات التالية لمنح أذونات خاصة لمهمة تحليلات الدفق:
حدد Access control (IAM).
يرجى النقر فوق "إضافة" >"إضافة تعيين دور" لفتح صفحة إضافة تعيين الدور.
تعيين الدور باستخدام التكوين التالي:
| الإعداد | القيمة |
|---|---|
| الدور | مستخدم أسرار Key vault |
| الهوية المُدارة | وظيفة Stream Analytics للهوية المدارة المعينة من قبل النظام أو الهوية المدارة المعينة من قبل المستخدم |
| الأعضاء | <اسم وظيفة> Stream Analytics أو <اسم الهوية المعينة من قبل المستخدم> |
تكامل الشبكة الظاهرية
إذا كان نظام مجموعة Kafka داخل شبكة ظاهرية أو خلف جدار حماية، فكون وظيفة Azure Stream Analytics للوصول إلى موضوع Kafka الخاص بك باستخدام ارتباط خاص أو تكوين شبكة مخصص. تفضل بزيارة تشغيل وظيفة Azure Stream Analytics في وثائق شبكة Azure الظاهرية للحصول على مزيد من المعلومات.
القيود
- عند تكوين وظائف Azure Stream Analytics لاستخدام الشبكة الظاهرية/SWIFT، يجب تكوين وظيفتك باستخدام ست (6) وحدات دفق على الأقل أو وحدة دفق واحدة (1) V2.
- عند استخدام mTLS أو SASL_SSL مع Azure Key vault، يجب تحويل مخزن مفاتيح Java إلى تنسيق PEM.
- الحد الأدنى من إصدار Kafka الذي يمكنك تكوين Azure Stream Analytics للاتصال ليكون الإصدار 0.10.
- لا يدعم Azure Stream Analytics المصادقة لتكوين السحابة باستخدام تسجيل الدخول الأحادي (SSO) إلى OAuth أو SAML. يجب استخدام مفتاح API عبر بروتوكول SASL_SSL
إشعار
للحصول على مساعدة مباشرة في استخدام إدخال Azure Stream Analytics Kafka، يرجى التواصل مع askasa@microsoft.com.