تمكين ارتباط خاص على نظام مجموعة HDInsight

في هذه المقالة، ستتعرف على استخدام Azure Private Link للاتصال بمجموعة HDInsight بشكل خاص عبر الشبكات وعبر شبكة Microsoft الأساسية. هذه المقالة هي امتداداً لمقالة تقييد اتصال نظام المجموعة في Azure HDInsight، والتي تُركز على تقييد الاتصال العام. إذا كنت تريد إجراء الاتصال العام إلى أو داخل نظام مجموعات HDInsight والموارد التابعة له، ففكر في تقييد اتصال نظام المجموعة باتباع الإرشادات في التحكم في نسبة استخدام الشبكة في Azure HDInsight.

يمكن استخدام الارتباط الخاص في سيناريوهات عبر الشبكة حيث لا يتوفر نظير الشبكة الظاهرية أو يتم تمكينه.

إشعار

تقييد الاتصال العام هو شرط أساسي لتمكين الارتباط الخاص ولا ينبغي اعتباره بنفس القدرة.

استخدام الارتباط الخاص للاتصال بنظام مجموعة HDInsight هو ميزة اختيارية ويتم تعطيلها بشكل افتراضي. تتوفر الميزة فقط عند resourceProviderConnection تعيين خاصية الشبكة إلى الصادر، كما هو موضح في المقالة تقييد اتصال نظام المجموعة في Azure HDInsight.

عند تعيين privateLink على مُمكن، يتم إنشاء موازنات التحميل القياسية (SLBs) الداخلية، ويتم توفير خدمة الارتباط الخاص من Azure لكل SLB. تسمح لك خدمة الارتباط الخاص Azure Private Link بالوصول إلى نظام مجموعة HDInsight من نقاط النهاية الخاصة.

خطوات نشر الارتباط الخاص

يتطلب إنشاء نظام مجموعة الارتباط الخاص بنجاح العديد من الخطوات، لذلك قمنا بإيجازها هنا. قم باتباع كل خطوة من الخطوات أدناه للتأكد من إعداد كل شيء بشكل صحيح.

الخطوة 1: إنشاء المتطلبات الأساسية

للبدء، قم بتوزيع الموارد التالية إذا لم تكن قد أنشأتها بالفعل. تحتاج أن تكون لديك مجموعة موارد واحدة على الأقل، وشبكتان ظاهريتان، ومجموعة أمان شبكة لإرفاقها بالشبكة الفرعية حيث سيتم توزيع نظام مجموعة HDInsight كما هو موضح أدناه.

نوع	الاسم	الغرض
مجموعة الموارد	hdi-privlink-rg	تستخدم لإبقاء الموارد المشتركة معًا
الشبكة الظاهرية	hdi-privlink-cluster-vnet	الشبكة الظاهرية حيث سيتم نشر المجموعة
الشبكة الظاهرية	hdi-privlink-client-vnet	الشبكة الظاهرية حيث سيتصل العملاء بالمجموعة منها
مجموعة أمان الشبكة	hdi-privlink-cluster-vnet-nsg	NSG الافتراضية كما هو مطلوب لنشر المجموعة

إشعار

يمكن نشر مجموعة أمان الشبكة (NSG) ببساطة، ولا نحتاج إلى تعديل أي قواعد NSG لنشر المجموعة.

الخطوة 2: تكوين شبكة HDInsight الفرعية

• تعطيل نهج الشبكة الخاصة لLinkService على الشبكة الفرعية. لاختيار عنوان IP المصدر لخدمة الارتباط الخاص، يلزم إعداد تعطيل صريح privateLinkServiceNetworkPolicies على الشبكة الفرعية. اتبع الإرشادات الواردة هنا لتعطيل نُهج الشبكة لخدمات Private Link.
• تمكين نقاط نهاية الخدمة على الشبكة الفرعية. للتوزيع الناجح لنظام مجموعة HDInsight للارتباط الخاص، نوصي بإضافة Microsoft.SQLMicrosoft.Storageنقطة (نقاط) نهاية الخدمة و و Microsoft.KeyVault إلى شبكتك الفرعية قبل نشر نظام المجموعة. توجه نقاط نهاية الخدمة نسبة استخدام الشبكة مباشرة من شبكتك الظاهرية إلى الخدمة على شبكة Microsoft Azure الأساسية. يسمح لك حفظ حركة المرور على شبكة Azure الأساسية بمواصلة التدقيق ومراقبة حركة مرور الإنترنت الصادرة من الشبكات الافتراضية الخاصة بك، من خلال النفق القسري، دون التأثير على حركة مرور الخدمة.

الخطوة 3: نشر بوابة NAT أو جدار الحماية

لا توفر موازنات التحميل القياسية NAT الصادرة العامة بشكل تلقائي كما تفعل موازنات التحميل الأساسية. نظرًا إلى أن مجموعات Private Link تستخدم موازنات تحميل قياسية، فإنه يجب أن توفر حل NAT الخاص بك، مثل بوابة NAT أو NAT التي يوفرها جدار الحمايةالخاص بك، للاتصال بالتبعيات الصادرة والعامة لـ HDInsight.

نشر بوابة NAT (الخيار 1)

يمكنك اختيار استخدام بوابة NAT إذا كنت لا تريد تكوين جدار حماية أو جهاز ظاهري لشبكة اتصال (NVA) NAT. للبدء، أضف عبارة NAT (مع عنوان IP عام جديد في الشبكة الظاهرية) إلى الشبكة الفرعية المكونة لشبكة الاتصال الظاهرية. هذه البوابة مسؤولة عن ترجمة عنوان IP الداخلي الخاص بك إلى عناوين عامة عندما تحتاج نسبة استخدام الشبكة إلى الخروج من الشبكة الافتراضية.

للبدء في إعداد أساسي:

1. ابحث عن «NAT Gateways» في مدخل Microsoft Azure وانقر فوق Create.

2. استخدم التكوينات التالية في بوابة NAT. (لا نقوم بتضمين جميع التكوينات هنا، لذلك يمكنك استخدام القيم الافتراضية.)

   التهيئة	القيمة‬
   اختبار بوابة NAT	hdi-privlink-nat-gateway
   بادئات IP العامة	إنشاء بادئة IP عام جديد
   اسم بادئة IP العام	hdi-privlink-nat-gateway-prefix
   حجم بادئة IP العام	/28 (16 عنوانا)
   الشبكة الظاهرية	hdi-privlink-cluster-vnet
   اسم الشبكة الفرعية	افتراضي

3. بمجرد الانتهاء من توزيع بوابة NAT، ستكون مستعدًا للانتقال إلى الخطوة التالية.

تكوين جدار حماية (الخيار 2)

للبدء في إعداد أساسي:

1. إضافة شبكة فرعية جديدة تسمى AzureFirewallSubnet إلى الشبكة الظاهرية الخاصة بك.
2. استخدم الشبكة الفرعية الجديدة لتكوين جدار حماية جديد وإضافة نهج جدار الحماية.
3. استخدم عنوان IP الخاص بجدار الحماية الجديد كقيمة nextHopIpAddress في جدول التوجيه.
4. إضافة جدول التوجيه إلى الشبكة الفرعية المكونة من الشبكة الظاهرية.

لا يزال نظام مجموعة HDInsight الخاصة بك بحاجة إلى الوصول إلى تبعياته الصادرة. إذا لم يتم السماح لهذه التبعيات الصادرة، فقد تفشل عملية إنشاء نظام المجموعة. لمزيد من المعلومات حول إعداد جدار حماية، راجع التحكم في نسبة استخدام الشبكة في Azure HDInsight.

الخطوة 4: نشر مجموعة الارتباطات الخاصة

عند هذه النقطة، ينبغي الاهتمام بجميع المتطلبات الأساسية وأن تكون مستعدًا لنشر نظام مجموعة الارتباط الخاص. يوضح الرسم التخطيطي التالي مثالاً لتكوين الشبكة المطلوب قبل إنشاء المجموعة. في هذا المثال، يتم فرض جميع نسبة استخدام الشبكة الصادرة إلى جدار حماية Azure من خلال التوجيه المُعرف من قِبل المستخدم. يجب السماح للتبعيات الصادرة المطلوبة على جدار الحماية قبل إنشاء نظام المجموعة. بالنسبة لمجموعات حزمة أمان المؤسسة، يمكن أن يوفر نظير الشبكة الظاهرية اتصال الشبكة بخدمات مجال Microsoft Entra.

إنشاء المجموعة

تتضمن القصاصة البرمجية JSON التالية اثنين من خصائص الشبكة التي يجب تكوينها في قالب Azure Resource Manager لإنشاء نظام مجموعة HDInsight خاص:

networkProperties: {
    "resourceProviderConnection": "Outbound",
    "privateLink": "Enabled"
}

للحصول على قالب كامل مع العديد من ميزات أمان المؤسسة HDInsight، بما في ذلك الارتباط الخاص، راجع قالب أمان المؤسسة HDInsight.

لإنشاء نظام مجموعة باستخدام PowerShell، راجع المثال.

لإنشاء نظام مجموعة باستخدام Azure CLI، راجع المثال.

الخطوة 5: إنشاء نقاط نهاية خاصة

ينشئ Azure تلقائيًا خدمة Private link لموازنات تحميل Ambari وSSH في أثناء نشر مجموعة Private Link. بعد نشر المجموعة، يجب عليك إنشاء نقطتي نهاية Private على الشبكة الظاهرية (الشبكات الظاهرية) للعميل، واحدة للوصول إلى Ambari والأخرى للوصول إلى SSH. ثم قم بربطها بخدمات الارتباط الخاص التي تم إنشاؤها كجزء من توزيع نظام المجموعة.

لإنشاء نقاط النهاية الخاصة:

1. افتح مدخل Microsoft Azure وابحث عن «Private link».

2. في النتائج، انقر فوق أيقونة Private link.

3. انقر فوق "إنشاء نقطة النهاية الخاصة" واستخدم التكوينات التالية لإعداد نقطة النهاية الخاصة لـ Ambari:

   التهيئة	القيمة‬
   الاسم	hdi-privlink-cluster
   نوع المورد	Microsoft.Network/privateLinkServices
   Resource	gateway-* (يجب أن تتطابق هذه القيمة مع معرّف توزيع HDI لنظام المجموعة الخاص بك، على سبيل المثال gateway‏-4eafe3a2a67e4cd88762c22a55fe4654)
   الشبكة الظاهرية	hdi-privlink-client-vnet
   الشبكة الفرعية	افتراضي

   

4. كرر العملية لإنشاء نقطة نهاية خاصة أخرى للوصول إلى SSH باستخدام التكوينات التالية:

   التهيئة	القيمة‬
   الاسم	hdi-privlink-cluster-ssh
   نوع المورد	Microsoft.Network/privateLinkServices
   Resource	headnode-* (يجب أن تتطابق هذه القيمة مع معرّف توزيع HDI لنظام المجموعة الخاص بك، على سبيل المثال headnode‏-4eafe3a2a67e4cd88762c22a55fe4654)
   الشبكة الظاهرية	hdi-privlink-client-vnet
   الشبكة الفرعية	افتراضي

هام

إذا كنت تستخدم نظام مجموعة KafkaRestProxy HDInsight، فاتبع هذه الخطوات الإضافية لتمكين نقاط النهاية الخاصة.

بمجرد إنشاء نقاط النهاية الخاصة، ستنتهي من هذه المرحلة من الإعداد. إن لم تقم بتدوين عناوين IP الخاصة المعينة لنقاط النهاية، فاتبع الخطوات أدناه:

1. افتح الشبكة الظاهرية للعميل في مدخل Microsoft Azure.
2. انقر فوق علامة التبويب "نقاط النهاية الخاصة".
3. يجب أن تشاهد كلا من واجهات Ambari وssh Network مدرجة.
4. انقر فوق كل واحد وانتقل إلى شفرة "تكوين DNS" لمشاهدة عنوان IP الخاص.
5. قم بتدوين عناوين IP هذه لأنها مطلوبة للاتصال بالمجموعة وتكوين DNS بشكل صحيح.

الخطوة 6: تكوين DNS للاتصال عبر نقاط النهاية الخاصة

للوصول إلى المجموعات الخاصة، يمكنك تكوين دقة DNS من خلال مناطق DNS الخاصة. إدخالات الارتباط الخاص التي تم إنشاؤها في منطقة DNS العامة azurehdinsight.net التي تديرها Azure كما يلي:

<clustername>        CNAME    <clustername>.privatelink
<clustername>-int    CNAME    <clustername>-int.privatelink
<clustername>-ssh    CNAME    <clustername>-ssh.privatelink

تعرض الصورة التالية مثالاً لإدخالات DNS الخاصة التي تم تكوينها لتمكين الوصول إلى نظام مجموعة من شبكة اتصال ظاهرية غير نظيرة أو ليس لديها خط رؤية مباشر لنظام المجموعة. يمكنك استخدام منطقة خاصة Azure DNS لتجاوز *.privatelink.azurehdinsight.net أسماء المجالات المؤهلة بالكامل (FQDNs) وحل عناوين IP لنقاط النهاية الخاصة في شبكة العميل. يكون التكوين فقط لـ <clustername>.azurehdinsight.net في المثال، ولكنه يمتد أيضاً إلى نقاط نهاية نظام المجموعة الأخرى.

لتكوين دقة DNS من خلال منطقة Private DNS:

1. أنشئ منطقة Azure Private DNS. (لا نقوم بتضمن جميع التكوينات هنا، يتم ترك جميع التكوينات الأخرى بالقيم الافتراضية)

   التهيئة	القيمة‬
   الاسم	privatelink.azurehdinsight.net

   

2. أضف مجموعة سجلات إلى منطقة Private DNS لـ Ambari.

   التهيئة	القيمة‬
   الاسم	YourPrivateLinkClusterName
   نوع	أ - سجل الاسم المستعار إلى عنوان IPv4
   TTL	1
   وحدة TTL	ساعات
   عنوان IP	IP خاص لنقطة النهاية الخاصة للوصول إلى Ambari

   

3. أضف مجموعة سجلات إلى منطقة Private DNS لـ SSH.

   التهيئة	القيمة‬
   الاسم	YourPrivateLinkClusterName-ssh
   نوع	أ - سجل الاسم المستعار إلى عنوان IPv4
   TTL	1
   وحدة TTL	ساعات
   عنوان IP	IP خاص لنقطة النهاية الخاصة للوصول إلى SSH

   

هام

إذا كنت تستخدم نظام مجموعة KafkaRestProxy HDInsight، فاتبع هذه الخطوات الإضافية لتكوين DNS للاتصال عبر نقطة النهاية الخاصة.

4. قم بإقران منطقة DNS الخاصة بالشبكة الظاهرية للعميل عن طريق إضافة ارتباط شبكة ظاهرية.

   1. افتح منطقة DNS الخاصة في مدخل Microsoft Azure.
   2. انقر فوق علامة التبويب «Virtual network links».
   3. انقر فوق الزر «Add».
   4. املأ التفاصيل: اسم الارتباط والاشتراك والشبكة الظاهرية (VNET للعميل الخاص بك)
   5. انقر فوق حفظ.

   

الخطوة 7: التحقق من اتصال المجموعة

الخطوة الأخيرة هي اختبار الاتصال بالمجموعة. نظرًا لأن نظام المجموعة هذا معزول أو خاص، لا يمكننا الوصول إلى نظام المجموعة باستخدام أي IP عام أو FQDN. بدلاً من ذلك لدينا خياران:

• إعداد وصول الشبكة الظاهرية الخاصة إلى الشبكة الظاهرية للعميل من شبكتك المحلية
• نشر جهاز ظاهري إلى الشبكة الظاهرية للعميل والوصول إلى المجموعة من هذا الجهاز الظاهري

على سبيل المثال، سنوزّع جهازًا ظاهريًا في الشبكة الظاهرية للعميل باستخدام التكوين التالي لاختبار الاتصال.

التهيئة	القيمة‬
اسم الجهاز الظاهري	hdi-privlink-client-vm
الصورة	Windows 10 Pro، الإصدار 2004 - Gen1
المنافذ العامة الواردة	السماح بالمنافذ المحددة
حدد المنافذ الداخلية	RDP (3389)
أؤكد أن لدي ترخيص Windows 10 مؤهلاً...	محدد
الشبكة الظاهرية	hdi-privlink-client-vnet
الشبكة الفرعية	افتراضي

بمجرد نشر الجهاز الظاهري للعميل، يمكنك اختبار الوصول إلى كل من Ambari وSSH.

لاختبار الوصول إلى Ambari:

1. افتح مستعرض ويب على الجهاز الظاهري.
2. انتقل إلى FQDN العادي لمجموعتك: https://<clustername>.azurehdinsight.net
3. إذا تم تحميل واجهة مستخدم Ambari، يكون التكوين صحيحًا للوصول إلى Ambari.

لاختبار الوصول إلى ssh:

1. افتح موجه الأوامر للحصول على نافذة طرفية.
2. في النافذة الطرفية، حاول الاتصال بالمجموعة الخاصة بك باستخدام SSH: ssh sshuser@<clustername>.azurehdinsight.net (استبدل «sshuser» بمستخدم ssh الذي أنشأته للمجموعة الخاصة بك)
3. إذا كنت قادرًا على الاتصال، فإن التكوين صحيح للوصول إلى SSH.

إدارة نقاط النهاية الخاصة لـ HDInsight

يمكنك استخدام نقاط النهاية الخاصة لمجموعات Azure HDInsight الخاصة بك للسماح للعملاء على شبكة ظاهرية بالوصول بأمان إلى نظام المجموعة عبر الارتباط الخاص. إن نسبة استخدام الشبكة بين العملاء على الشبكة الظاهرية ونظام مجموعة HDInsight عبر شبكة Microsoft الأساسية، تقلل من التعرض للتهديدات من الإنترنت العام.

يمكن لمستهلك خدمة الارتباط الخاص (على سبيل المثال، Azure Data Factory) الاختيار من بين طريقتين للموافقة على الاتصال:

• تلقائي: إذا كان لدى مستهلك الخدمة أذونات التحكم في الوصول المستند إلى دور Azure (RBAC) على مورد HDInsight، يمكن للمستهلك اختيار طريقة الموافقة التلقائية. في هذه الحالة، عندما يصل الطلب إلى مورد HDInsight، لا يتطلب اتخاذ أي إجراء من مورد HDInsight وتتم الموافقة على الاتصال تلقائياً.
• دليل: إذا لم يكن لدى مستهلك الخدمة أذونات Azure RBAC على مورد HDInsight، يمكن للمستهلك اختيار طريقة الموافقة اليدوية. في هذه الحالة، يظهر طلب الاتصال على موارد HDInsight بـ مُعلق. يحتاج مورد HDInsight إلى الموافقة يدوياً على الطلب قبل إنشاء الاتصالات.

لإدارة نقاط النهاية الخاصة، انتقل في طريقة عرض نظام المجموعة في مدخل Azure إلى قسم الشبكات ضمن الأمان + الشبكات. هنا، يمكنك مشاهدة جميع الاتصالات الموجودة وحالات الاتصال وتفاصيل نقطة النهاية الخاصة.

يمكنك أيضاً الموافقة على الاتصالات الموجودة أو رفضها أو إزالتها. عند إنشاء اتصال خاص، يمكنك تحديد مصدر HDInsight الفرعي (على سبيل المثال، البوابة أو العقدة الرئيسية) التي تريد الاتصال بها أيضاً.

يعرض الجدول التالي إجراءات موارد HDInsight المختلفة وحالات الاتصال الناتجة عن نقاط النهاية الخاصة. يمكن لمورد HDInsight أيضاً تغيير حالة اتصال نقطة النهاية الخاصة في وقت لاحق دون تدخل المستهلك. سيقوم الإجراء بتحديث حالة نقطة النهاية من جانب المستهلك.

إجراء موفر الخدمة	حالة نقطة النهاية الخاصة للمستهلك	الوصف
بلا	معلق	يتم إنشاء الاتصال يدوياً وهو مُعلق بالموافقة من قِبل مالك مورد الارتباط الخاص.
الموافقة‬	‏‫‏‫موافق عليها	تمت الموافقة على الاتصال تلقائياً أو يدوياً وهو جاهز للاستخدام.
‏‏رفض	مرفوض	تم رفض الاتصال من قِبل مالك مورد الارتباط الخاص.
إزالة	غير متصل	تمت إزالة الاتصال من قِبل مالك مورد الارتباط الخاص. تصبح نقطة النهاية الخاصة إعلامية ويجب حذفها للتنظيف.

الخطوات التالية

• حزمة أمان المؤسسة من Azure HDInsight
• معلومات عامة حول أمان المؤسسة والإرشادات في Azure HDInsight