مشاركة عبر

تخطيط شبكة ظاهرية لـ Azure HDInsight

  • مقالة

توفر هذه المقالة معلومات أساسية حول استخدام Azure Virtual Networks (VNets) مع Azure HDInsight. كما أنها تناقش قرارات التصميم والتنفيذ التي يجب اتخاذها قبل أن تتمكن من تنفيذ شبكة افتراضية لنظام مجموعة HDInsight. بمجرد الانتهاء من مرحلة التخطيط، يمكنك المتابعة من أجل إنشاء شبكات ظاهرية لأنظمة مجموعات Azure HDInsight. لمزيد من المعلومات حول عناوين IP لإدارة HDInsight المطلوبة لتكوين مجموعات أمان الشبكة (NSGs) بشكل صحيح والمسارات المعرفة من قبل المستخدم، راجع عناوين IP لإدارة HDInsight.

يعمل استخدام Azure Virtual Network على تمكين السيناريوهات التالية:

  • الاتصال بـ HDInsight مباشرة من شبكة محلية.
  • توصيل HDInsight بمخازن البيانات في شبكة Azure الظاهرية.
  • الوصول مباشرة إلى خدمات Apache Hadoop غير المتاحة للجمهور عبر الإنترنت. على سبيل المثال، واجهات برمجة تطبيقات Apache Kafka أو واجهة برمجة تطبيقات Apache HBase Java.

هام

سيؤدي إنشاء نظام مجموعة HDInsight في VNET إلى إنشاء موارد شبكات متعددة، مثل بطاقات NIC وموازنات التحميل. لا تقم بحذف موارد الشبكة هذه أو تعديلها، لأنها مطلوبة لنظام المجموعة الخاص بك لتعمل بشكل صحيح مع VNET.

التخطيط

فيما يلي الأسئلة التي يجب أن تجيب عليها عند التخطيط لتثبيت HDInsight في شبكة ظاهرية:

  • هل تحتاج إلى تثبيت HDInsight في شبكة افتراضية موجودة؟ أم أنك تنشئ شبكة جديدة؟

    إذا كنت تستخدم شبكة ظاهرية موجودة، فقد تحتاج إلى تعديل تكوين الشبكة قبل أن تتمكن من تثبيت HDInsight. لمزيد من المعلومات، راجع قسم HDInsight المضاف إلى شبكة ظاهرية موجودة.

  • هل تريد توصيل الشبكة الظاهرية التي تحتوي على HDInsight بشبكة ظاهرية أخرى أو الشبكة المحلية لديك؟

    للعمل بسهولة باستخدام الموارد عبر الشبكات، قد تحتاج إلى إنشاء DNS مخصص وتكوين إعادة توجيه DNS. لمزيد من المعلومات، راجع قسم توصيل شبكات متعددة.

  • هل تريد تقييد/إعادة توجيه نسبة استخدام الشبكة الواردة أو الصادرة إلى HDInsight؟

    يجب أن يكون اتصال HDInsight غير مقيد مع عناوين IP محددة في مركز بيانات Azure. هناك أيضًا العديد من المنافذ التي يجب السماح بها عبر جدران الحماية لاتصال العميل. لمعرفة مزيد من المعلومات، راجعControl network traffic.

إضافة HDInsight إلى شبكة ظاهرية موجودة

استخدام الخطوات الموجودة في هذا القسم لاكتشاف كيفية إضافة HDInsight جديد إلى شبكة Azure Virtual Network موجودة.

إشعار

  • لا يمكنك إضافة نظام مجموعة HDInsight موجودة إلى شبكة ظاهرية.
  • يجب أن يكون VNET ونظام المجموعة الجاري إنشاؤها في نفس الاشتراك.

  1. هل تستخدم نموذج توزيع Resource Manager أم كلاسيكي أو للشبكة الظاهرية؟

    يتطلب HDInsight 3.4 وما بعده شبكة Resource Manager ظاهرية. تطلبت الإصدارات السابقة من HDInsight شبكة ظاهرية كلاسيكية.

    إذا كانت الشبكة الموجودة شبكة ظاهرية كلاسيكية، فيجب أن تنشئ شبكة Resource Manager ظاهرية ثم تبادر بتوصيل الاثنتين. توصيل شبكات VNet الكلاسيكية بشبكات VNet جديدة.

    بمجرد الانضمام، يمكن أن يتفاعل HDInsight المثبت في شبكة Resource Manager مع الموارد الموجودة في الشبكة الكلاسيكية.

  2. هل تستخدم مجموعات أمان شبكة أو المسارات المعرفة من قبل المستخدم أو أجهزة الشبكة الظاهرية لتقييد نسبة استخدام الشبكة داخل الشبكة الظاهرية أو خارجها؟

    كخدمة مدارة، يتطلب HDInsight وصولاً غير مقيد إلى العديد من عناوين IP في مركز بيانات Azure. للسماح بالاتصال بعناوين IP هذه، بادر بتحديث أي مجموعات أمان شبكة موجودة أو مسارات معرفة من قبل المستخدم.

    يستضيف HDInsight خدمات متعددة، والتي تستخدم منافذ مختلفة. لا تمنع نسبة استخدام الشبكة إلى هذه المنافذ. للحصول على قائمة المنافذ للسماح بجدران حماية الأجهزة الظاهرية من خلالها، راجع قسم الأمان.

    للبحث عن تكوين الأمان الموجود، استخدم أوامر Azure PowerShell أو Azure CLI التالية:

    • مجموعات أمان الشبكة

      استبدل RESOURCEGROUP باسم مجموعة الموارد التي تحتوي على الشبكة الظاهرية، ثم أدخل الأمر:

      Get-AzNetworkSecurityGroup -ResourceGroupName  "RESOURCEGROUP"

      az network nsg list --resource-group RESOURCEGROUP

      لمزيد من المعلومات، راجع مستند استكشاف أخطاء مجموعات أمان الشبكة وإصلاحها.

      هام

      يتم تطبيق قواعد مجموعة أمان الشبكة بالترتيب بناءً على أولوية القاعدة. يتم تطبيق القاعدة الأولى التي تطابق نمط نسبة استخدام الشبكة، ولا يتم تطبيق أية قواعد أخرى لنسبة استخدام الشبكة هذه. رتب القواعد من الأكثر تساهلاً إلى الأقل تساهلاً. لمزيد من المعلومات، اطلع على مستند تصفية نقل بيانات الشبكة من خلال مجموعات أمان الشبكة.

    • مسارات محددة من قِبل المستخدم

      استبدل RESOURCEGROUP باسم مجموعة الموارد التي تحتوي على الشبكة الظاهرية، ثم أدخل الأمر:

      Get-AzRouteTable -ResourceGroupName "RESOURCEGROUP"

      az network route-table list --resource-group RESOURCEGROUP

      لمزيد من المعلومات، راجع مستند تشخيص مشكلة توجيه الجهاز الظاهري.

  3. إنشاء مجموعة HDInsight وتحديد شبكة Azure الظاهرية أثناء التكوين. استخدم الخطوات في المستندات التالية لفهم عملية إنشاء نظام المجموعة:

    هام

    يعتبر إضافة HDInsight إلى شبكة ظاهرية خطوة تكوين اختيارية. تأكد من تحديد الشبكة الظاهرية عند تكوين نظام المجموعة.

توصيل شبكات متعددة

يعتبر التحدي الأكبر في تكوين شبكة متعددة هو تحليل الاسم بين الشبكات.

يوفر Azure تحليل الاسم لخدمات Azure المثبتة في شبكة ظاهرية. يسمح تحليل الاسم المضمّن هذا لـ HDInsight بالاتصال بالموارد التالية باستخدام اسم مجال مؤهل بالكامل (FQDN):

  • أي مورد متوفر على الإنترنت. على سبيل المثال، microsoft.com، windowsupdate.com.

  • أي مورد موجود في نفس شبكة Azure الظاهرية، باستخدام اسم DNS الداخلي للمورد. على سبيل المثال، عند استخدام تحليل الاسم الافتراضي، فيما يلي أمثلة لأسماء DNS الداخلية المعينة إلى عقد HDInsight العاملة:

    • <workername1>.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net

    • <workername2>.0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net

      يمكن أن تتصل كلا هاتين العقدتين مباشرة ببعضهما البعض، والعقد الأخرى في HDInsight، باستخدام أسماء DNS الداخلية.

لا يسمح تحليل الاسم الافتراضي لـ HDInsight بحل أسماء الموارد في الشبكات التي انضمت إلى الشبكة الظاهرية. على سبيل المثال، من الشائع انضمام شبكتك المحلية إلى الشبكة الظاهرية. مع تحليل الاسم الافتراضي فقط، لا يمكن لـ HDInsight الوصول إلى الموارد في الشبكة المحلية حسب الاسم. العكس صحيح أيضًا، لا يمكن للموارد في شبكتك المحلية الوصول إلى الموارد في الشبكة الظاهرية حسب الاسم.

تحذير

يجب أن تنشئ خادم DNS مخصص وتكوّن الشبكة الظاهرية لاستخدامها قبل إنشاء نظام مجموعة HDInsight.

لتمكين تحليل الاسم بين الشبكة الظاهرية والموارد في الشبكات المنضمة، يجب تنفيذ الإجراءات التالية:

  1. إنشاء خادم DNS مخصص في Azure Virtual Network حيث تخطط لتثبيت HDInsight.

  2. تكوين الشبكة الظاهرية لاستخدام خادم DNS المخصص.

  3. البحث عن لاحقة DNS المعيّنة من Azure لشبكتك الظاهرية. هذه القيمة مشابهة لـ 0owcbllr5hze3hxdja3mqlrhhe.ex.internal.cloudapp.net. للحصول على معلومات حول البحث عن لاحقة DNS، راجع قسممثال: DNS المخصص.

  4. تكوين إعادة التوجيه بين خوادم DNS. يعتمد التكوين على نوع الشبكة البعيدة.

    • إذا كانت الشبكة البعيدة شبكة محلية، فبادر بتكوين DNS كما يلي:

      • DNS المخصص (في الشبكة الظاهرية):

        • إعادة توجيه الطلبات للاحقة DNS للشبكة الظاهرية إلى محلل Azure المتداخل (168.63.129.16). يعالج Azure طلبات الموارد في الشبكة الظاهرية

        • إعادة توجيه جميع الطلبات الأخرى إلى خادم DNS المحلي. يعالج DNS المحلي جميع طلبات تحليل الأسماء الأخرى، حتى طلبات موارد الإنترنت مثل Microsoft.com.

      • DNS المحلية: إعادة توجيه الطلبات للاحقة DNS الشبكة الظاهرية إلى خادم DNS المخصص. ثم يبادر خادم DNS المخصص بإعادة التوجيه إلى محلل Azure المتداخل.

        يمرر هذا التكوين طلبات أسماء المجالات المؤهلة بالكامل التي تحتوي على لاحقة DNS الشبكة الظاهرية إلى خادم DNS المخصص. تتم معالجة جميع الطلبات الأخرى (حتى بالنسبة لعناوين الإنترنت العامة) من قبل خادم DNS المحلي.

    • إذا كانت الشبكة البعيدة شبكة Azure ظاهرية أخرى، فبادر بتكوين DNS كما يلي:

      • DNS المخصص (في كل شبكة ظاهرية):

        • يتم إعادة توجيه الطلبات للاحقة DNS للشبكة الظاهرية إلى خوادم DNS المخصصة. DNS في كل شبكة ظاهرية مسؤول عن حل الموارد داخل الشبكة الخاصة به.

        • أعد توجيه جميع الطلبات الأخرى إلى محلل Azure المتداخل. المحلل المتداخل مسؤول عن حل الموارد المحلية وموارد الإنترنت.

        يطلب خادم DNS لكل شبكة إعادة توجيه الطلبات إلى الأخرى، استنادًا إلى لاحقة DNS. يتم حل الطلبات الأخرى باستخدام محلل Azure المتداخل.

      للحصول على مثال لكل تكوين، راجع قسم مثال: DNS المخصص.

لمزيد من المعلومات، راجع مستند تحليل الاسم للأجهزة الظاهرية ومثيلات الدور.

الاتصال مباشرة بخدمات Apache Hadoop

يمكنك الاتصال بنظام المجموعة في https://CLUSTERNAME.azurehdinsight.net. يستخدم هذا العنوان IP عام، والذي قد لا يكون قابلاً للوصول إذا كنت قد استخدمت مجموعات NSG لتقييد نسبة استخدام الشبكة الواردة من الإنترنت. بالإضافة إلى ذلك، عند نشر نظام المجموعة في شبكة ظاهرية يمكنك الوصول إليها باستخدام نقطة https://CLUSTERNAME-int.azurehdinsight.netالنهاية الخاصة . يتم حل نقطة النهاية هذه إلى IP خاص داخل الشبكة الظاهرية للوصول إلى نظام المجموعة.

للاتصال بـ Apache Ambari وصفحات الويب الأخرى عبر الشبكة الظاهرية، استخدم الخطوات التالية:

  1. لاكتشاف أسماء المجال المؤهلة بالكامل الداخلية (FQDN) لعقد نظام مجموعة HDInsight، استخدم إحدى الطرق التالية:

    استبدل RESOURCEGROUP باسم مجموعة الموارد التي تحتوي على الشبكة الظاهرية، ثم أدخل الأمر:

    $clusterNICs = Get-AzNetworkInterface -ResourceGroupName "RESOURCEGROUP" | where-object {$_.Name -like "*node*"}

$nodes = @()
foreach($nic in $clusterNICs) {
    $node = new-object System.Object
    $node | add-member -MemberType NoteProperty -name "Type" -value $nic.Name.Split('-')[1]
    $node | add-member -MemberType NoteProperty -name "InternalIP" -value $nic.IpConfigurations.PrivateIpAddress
    $node | add-member -MemberType NoteProperty -name "InternalFQDN" -value $nic.DnsSettings.InternalFqdn
    $nodes += $node
}
$nodes | sort-object Type

    az network nic list --resource-group RESOURCEGROUP --output table --query "[?contains(name, 'node')].{NICname:name,InternalIP:ipConfigurations[0].privateIpAddress,InternalFQDN:dnsSettings.internalFqdn}"

    في قائمة العقد التي تم إرجاعها، ابحث في FQDN عن العقد الرئيسية واستخدم أسماء FQDN للاتصال بـ Ambari وخدمات الويب الأخرى. على سبيل المثال، استخدم http://<headnode-fqdn>:8080 للوصول إلى Ambari.

    هام

    بعض الخدمات المستضافة على العُقد الرئيسية تكون نشطة فقط على عقدة واحدة في كل مرة. إذا حاولت الوصول إلى خدمة على عقدة رئيسية واحدة وتم إرجاح خطأ 404، بادر بالتبديل إلى العقدة الرئيسية الأخرى.

  2. لتحديد العقدة والمنفذ المتوفرة عليهما خدمة ما، راجع مستند المنافذ المستخدمة من قبل خدمات Hadoop على HDInsight.

موازنة الأحمال

عند إنشاء مجموعة HDInsight، يتم إنشاء العديد من موازنات التحميل أيضا. بسبب إيقاف موازن التحميل الأساسي، يكون نوع موازنات التحميل على مستوى SKU القياسي، والذي يحتوي على قيود معينة. يتم إغلاق التدفقات الواردة إلى موازنات التحميل القياسية ما لم تسمح بها مجموعة أمان الشبكة. قد تحتاج إلى ترابط أمان شبكة بشبكتك الفرعية وتكوين قواعد أمان الشبكة.

هناك العديد من أساليب الاتصال الصادرة الممكنة لموازن التحميل القياسي. تجدر الإشارة إلى أنه سيتم إيقاف الوصول الصادر الافتراضي قريبا. إذا تم اعتماد بوابة NAT لتوفير الوصول إلى الشبكة الصادرة، فلن تكون الشبكة الفرعية قادرة على موازن التحميل الأساسي. إذا كنت تنوي ربط بوابة NAT بشبكة فرعية، يجب ألا يكون هناك موازن تحميل أساسي موجود في هذه الشبكة الفرعية. باستخدام بوابة NAT كطريقة وصول صادرة، لا يمكن لمجموعة HDInsight التي تم إنشاؤها حديثا مشاركة نفس الشبكة الفرعية مع مجموعات HDInsight التي تم إنشاؤها مسبقا مع موازنات التحميل الأساسية.

قيد آخر هو أنه لا ينبغي حذف موازنات تحميل HDInsight أو تعديلها. سيتم الكتابة فوق أي تغييرات على قواعد موازن التحميل أثناء أحداث صيانة معينة مثل تجديد الشهادة. إذا تم تعديل موازنات التحميل ويؤثر على وظيفة نظام المجموعة، فقد تحتاج إلى إعادة إنشاء نظام المجموعة.

الخطوات التالية