نسخ البيانات إلى نظام مجموعة ثانوي
غالبًا ما يتم نشر Kafka في بيئات متعددة للتعافي من الكوارث، وتحقيق قابلية الوصول العالية، والنشر داخليًا لسيناريوهات السحابة المختلطة. تتطلب هذه السيناريوهات نسخًا متماثلاً للبيانات من مثيل Kafka واحد إلى آخر باستخدام ميزة النسخ المتطابق لـ Apache Kafka. يمكن تشغيل النسخ المتطابق كعملية مستمرة، أو استخدامه بشكل متقطع كأسلوب لترحيل البيانات من نظام مجموعة إلى آخر.
وينبغي ألا يعتبر النسخ المتطابق وسيلة لتحقيق التسامح مع الأخطاء. الإزاحة إلى عناصر داخل موضوع تختلف بين أنظمة المجموعات الأساسية والثانوية، بحيث لا يمكن للعملاء استخدام الاثنين بالتبادل.
كيف يعمل النسخ المتطابق؟
يعمل النسخ المماثل باستخدام أداة MirrorMaker (جزء من Kafka Apache) لاستهلاك السجلات من المواضيع على مقطع التخزين الأساسي ثم ينشئ نسخة محلية على مقطع التخزين الثانوي. تستخدم MirrorMaker مستهلكًا واحدًا أو أكثر والذي يقرأ من نظام المجموعة الأساسي، ومنتجًا يكتب إلى نظام المجموعة الثانوي المحلي.
يستخدم إعداد النسخ المتطابق الأكثر فائدة للتعافي من الكوارث أنظمة مجموعات Kafka في مناطق Azure مختلفة. لتحقيق ذلك، يتم إقران الشبكات الظاهرية الموجود عليها أنظمة المجموعات معًا.
يوضح الرسم التخطيطي التالي عملية النسخ المتطابق، وكيفية تدفق الاتصال بين أنظمة المجموعات:
يمكن أن يختلف عدد أنظمة المجموعات الأساسية والثانوية في عدد العقد والأقسام، وكذلك تختلف الإزاحات في الموضوعات. يحتفظ النسخ المتطابق بالقيمة المفتاحية المستخدمة في التقسيم، لذا يتم الاحتفاظ بترتيب السجل على أساس كل مفتاح.
النسخ المتطابق عبر حدود الشبكة
إذا كنت بحاجة إلى النسخ المتطابق بين أنظمة مجموعات Kafka في شبكات مختلفة، فإليك الاعتبارات الإضافية التالية:
- البوابات: يجب أن تكون الشبكات قادرة على الاتصال على مستوى TCP/IP.
- عنوان الخادم: يمكنك اختيار معالجة عقد نظام المجموعة باستخدام عناوين IP الخاصة بها أو أسماء المجالات المؤهلة بالكامل.
- عناوين IP: إذا قمت بتكوين مجموعات Kafka لاستخدام إعلانات عنوان IP، يمكنك متابعة إعداد النسخ المتطابق باستخدام عناوين IP لعقد الوسيط وعقد zookeeper.
- أسماء المجالات: إذا لم تقم بتكوين مجموعات Kafka للإعلان عن عناوين IP، يجب أن تكون المجموعات قادرة على الاتصال ببعضها باستخدام أسماء المجالات المؤهلة بالكامل (FQDNs). يتطلب هذا خادم نظام أسماء المجالات (DNS) في كل شبكة تم تكوينها لإعادة توجيه الطلبات إلى شبكات الاتصال الأخرى. عند إنشاء شبكة Azure Virtual Network، بدلاً من استخدام DNS التلقائي المتوفر مع شبكة الاتصال، يجب تحديد خادم DNS مخصص وعنوان IP للخادم. بعد إنشاء Virtual Network، يجب عليك إنشاء Azure Virtual Machine يستخدم عنوان IP، ثم تثبيت تكوين برنامج DNS عليه.
تحذير
إنشاء وتكوين خادم DNS المخصص قبل تثبيت HDInsight على Virtual Network. لا يوجد أي تكوين إضافي مطلوب من أجل أن يستخدم HDInsight خادم DNS الذي تم تكوينه لـ Virtual Network.