مشاركة عبر

تكوين التخزين وقابلية التوسع لـ Apache Kafka على HDInsight

  • مقالة

تعرف على كيفية تكوين عدد الأقراص المدارة المستخدمة بواسطة Apache Kafka على HDInsight.

يستخدم Kafka على HDInsight القرص المحلي للأجهزة الافتراضية في مجموعة HDInsight. نظراً إلى ثقل Kafka في عمليات الإدخال/الإخراج، تُستخدم أقراص Azure المُدارة لتوفير معدل النقل العالي وتوفير مساحة تخزين أكبر لكل عقدة. في حالة استخدام محركات الأقراص الثابتة الافتراضية التقليدية (VHD) لـ Kafka، فإن كل عقدة تقتصر على 1 تيرابايت. باستخدام الأقراص المُدارة، يمكنك استخدام أقراص متعددة لتحقيق 16 تيرابايت لكل عقدة في الكتلة.

يقدم الرسم البياني التالي مقارنة بين Kafka على HDInsight قبل الأقراص المُدارة، وKafka على HDInsight مع الأقراص المُدارة:

kafka with managed disks architecture.

تكوين الأقراص المُدارة: مدخل Microsoft Azure

  1. اتبع الخطوات الواردة في Create an HDInsight cluster لفهم الخطوات الشائعة لإنشاء مجموعة باستخدام المدخل. لا تكمل عملية إنشاء البوابة.

  2. من المقطع Configuration & Pricing استخدم الحقل Number of Nodes لتكوين عدد الأقراص.

    إشعار

    يمكن أن يكون نوع القرص المدار إما قياسي (HDD) أو متميز (SSD). تُستخدم الأقراص المتميزة مع أجهزة VM من سلسلة DS وGS. تستخدم جميع أنواع الأجهزة الافتراضية الأخرى المقياس.

    cluster size section with the disks per worker node highlighted.

تكوين الأقراص المُدارة: Azure Resource Manager

للتحكم في عدد الأقراص التي تستخدمها العقد العاملة في مجموعة Kafka، استخدم القسم التالي من القالب:

"dataDisksGroups": [
    {
        "disksPerNode": "[variables('disksPerWorkerNode')]"
    }
    ],

الخطوات التالية

لمزيد من المعلومات حول العمل مع Apache Kafka على HDInsight، راجع المستندات التالية: