إدارة مجموعات Apache Hadoop في HDInsight باستخدام مدخل Microsoft Azure

• بوابة
• Azure PowerShell
• .NET SDK
• Azure CLI

باستخدام مدخل Microsoft Azure، يمكنك إدارة أنظمة مجموعات Apache Hadoop في Azure HDInsight. استخدم محدد علامة التبويب للحصول على معلومات حول إدارة مجموعات Hadoop في HDInsight باستخدام أدوات أخرى.

المتطلبات الأساسية

نظام مجموعة Apache Hadoop موجودة في HDInsight. راجع إنشاء أنظمة مجموعات مستندة إلى Linux في HDInsight باستخدام مدخل Microsoft Azure.

الشروع في العمل

قم بتسجيل الدخول إلى https://portal.azure.com.

سرد المجموعات وإظهارها

تسرد صفحة مجموعات HDInsight المجموعات الموجودة لديك. من المدخل:

1. حدد All services من القائمة اليسرى.
2. حدد أنظمة مجموعات HDInsight ضمن ANALYTICS.

الصفحة الرئيسية لنظام المجموعة

حدد اسم المجموعة الخاصة بك من صفحة HDInsight clusters. يؤدي هذا إلى فتح طريقة العرض نظرة عامة ، والتي تبدو مشابهة للصورة التالية:

القائمة العلوية:

عنصر	‏‏الوصف
نقل	ينقل نظام المجموعة إلى مجموعة موارد أخرى أو إلى اشتراك آخر.
حذف	يحذف نظام المجموعة.
تحديث	ينعش العرض.

القائمة اليسرى:

• القائمة العلوية اليمنى

  عنصر	‏‏الوصف
  نظرة عامة	يوفر معلومات عامة عن مجموعتك.
  سجل النشاط	عرض واستعلام عن سجلات النشاط.
  التحكم في الوصول (IAM)	استخدم تعيينات الأدوار. راجع تعيين أدوار Azure لإدارة الوصول إلى موارد اشتراك Azure.
  علامات	يسمح لك بتعيين أزواج المفاتيح/القيمة لتحديد تصنيف مخصص لخدمات السحابة الخاصة بك. على سبيل المثال، يمكنك إنشاء مفتاح باسم project، ثم استخدام قيمة مشتركة لجميع الخدمات المرتبطة بمشروع معين.
  تشخيص المشكلات وحلها	عرض معلومات استكشاف الأخطاء وإصلاحها.
  تشغيل سريع	يعرض معلومات تساعدك على بدء استخدام HDInsight.
  الأدوات	معلومات المساعدة للأدوات ذات الصلة بـ HDInsight.

• قائمة الإعدادات

  عنصر	‏‏الوصف
  حجم نظام المجوعة	فحص وزيادة وتقليل عدد عقد عامل نظام المجموعة. راجع مقياس الأنظمة مجموعات.
  حدود الحصة النسبية	اعرض النوى المستخدمة والمتاحة لاشتراكك.
  SSH + تسجيل الدخول العنقودية	يعرض تعليمات الاتصال بالعنقود باستخدام اتصال Secure Shell (SSH). لمزيدٍ من المعلومات، راجع استخدام SSH مع HDInsight.
  Data Lake Storage Gen2	تكوين الوصول إلى Data Lake Storage Gen2. راجع Quickstart: إعداد أنظمة مجموعات في HDInsight.
  حسابات التخزين⁧	عرض حسابات التخزين والمفاتيح. يتم تكوين حسابات التخزين أثناء عملية إنشاء نظام المجموعة.
  التطبيقات	إضافة/إزالة تطبيقات HDInsight. راجع تثبيت تطبيقات HDInsight المخصصة.
  إجراءات البرنامج النصي	قم بتشغيل البرامج النصية Bash على نظام المجموعة. راجع تخصيص أنظمة مجموعات HDInsight المستندة إلى Linux باستخدام Script Action.
  المستودعات الخارجية	اعرض نواقل Apache Hive وApache Oozie. لا يمكن تكوين metastore إلا أثناء عملية إنشاء نظام المجموعة.
  شريك HDInsight	إضافة/إزالة شريك HDInsight الحالي.
  خصائص	اعرض خصائص المجموعة.
  الأقفال	أضف قفلاً لمنع تعديل نظام المجموعة أو حذفه.
  قالب التصدير	عرض قالب Azure Resource Manager لنظام المجموعة وتصديره. حالياً، يمكنك فقط تصدير حساب تخزين Azure التابع. راجع إنشاء أنظمة مجموعات Apache Hadoop المستندة إلى Linux في HDInsight باستخدام قوالب Azure Resource Manager.

• قائمة المراقبة

  عنصر	‏‏الوصف
  التنبيهات	إدارة التنبيهات والإجراءات.
  المقاييس	راقب مقاييس نظام المجموعة في سجلات Azure Monitor.
  إعدادات التشخيص	الإعدادات الخاصة بمكان تخزين مقاييس التشخيص.
  Azure Monitor	مراقبة نظام المجموعة الخاص بك في Azure Monitor.

• الدعم + قائمة تحري الخلل وإصلاحه

  عنصر	‏‏الوصف
  صحة الموارد	راجع نظرة عامة على صحة موارد Azure.
  طلب دعم جديد	يسمح لك بإنشاء بطاقة دعم بدعم من Microsoft.

خصائص الكتلة

من الصفحة الرئيسية للمجموعة، ضمن الإعدادات حدد الخصائص.

عنصر	‏‏الوصف
HOSTNAME	اسم نظام المجموعة.
نظام المجموعة	عنوان URL لواجهة ويب Ambari.
نقطة نهاية خاصة	نقطة النهاية الخاصة للمجموعة.
غلاف آمن (SSH)	اسم المستخدم واسم المضيف المراد استخدامهما في الوصول إلى نظام المجموعة عبر SSH.
الحالة	واحد من: تم إحباطه أو قبوله أو ClusterStorageProvisioned أو AzureVMConfiguration أو HDInsightConfiguration أو تشغيل أو تشغيل أو خطأ أو حذف أو حذف أو مهلة أو DeleteQueued أو DeleteTimeout أو DeleteError أو PatchQueued أو CertRolloverQueued أو ResizeQueued أو ClusterCustomization.
المنطقة	موقع Azure. للحصول على قائمة بمواقع Azure المدعومة، راجع مربع القائمة المنسدلة المنطقة في تسعير HDInsight.
تاريخ الإنشاء	تاريخ توزيع نظام المجموعة.
نظام التشغيل	إما Windows أو Linux.
اكتب	Hadoop، HBase، Spark.
إصدار	راجع إصدارات HDInsight.
إصدار TLS الحد الأدنى	إصدار TLS.
الاشتراك	اسم الاشتراك.
مصدر البيانات الافتراضي	نظام ملفات نظام المجموعة الافتراضي.
أحجام العقد العاملة	حجم VM المحدد للعقد العاملة.
حجم عقدة الرأس	حجم VM المحدد لعقد الرأس.
الشبكة الظاهرية	اسم الشبكة الظاهرية، التي يتم نشر نظام المجموعة، إذا تم تحديدها في وقت النشر.

انقل أنظمة المجموعات

يمكنك نقل مجموعة HDInsight إلى مجموعة موارد Azure أخرى أو اشتراك آخر.

من cluster home page:

1. حدد Move من القائمة العلوية.
2. حدد Move to another resource group أو Move to another subscription.
3. اتبع التعليمات من الصفحة الجديدة.

حذف أنظمة مجموعات

لا يؤدي حذف نظام المجموعة إلى حذف حساب التخزين الافتراضي ولا أي حسابات تخزين مرتبطة. يمكنك إعادة إنشاء نظام المجموعة باستخدام نفس حسابات التخزين ونفس metastores. نوصي باستخدام حاوية Blob افتراضية جديدة عند إعادة إنشاء المجموعة.

من cluster home page:

1. حدد جذف من القائمة العلوية.
2. اتبع التعليمات من الصفحة الجديدة.

راجع أيضاً إيقاف الأنظمة مجموعات مؤقتاً / إيقاف التشغيل.

إضافة حسابات تخزين إضافية

يمكنك إضافة حسابات Azure Storage إضافية وحسابات Azure Data Lake Storage بعد إنشاء نظام مجموعة. لمزيد من المعلومات، راجع إضافة حسابات تخزين إضافية إلى HDInsight.

أنظمة مجموعات مقياس

تتيح لك ميزة قياس نظام المجموعة تغيير عدد العقد العاملة التي تستخدمها مجموعة Azure HDInsight، دون الحاجة إلى إعادة إنشاء نظام المجموعة.

راجع Scale HDInsight clusters للحصول على معلومات كاملة.

إيقاف مؤقت/إغلاق أنظمة المجموعات

معظم وظائف Hadoop عبارة عن وظائف مجمعة يتم تشغيلها فقط من حين لآخر. بالنسبة لمعظم أنظمة مجموعات Hadoop، هناك فترات طويلة من الوقت لا يتم فيها استخدام نظام المجموعة للمعالجة. من خلال HDInsight، يتم تخزين البيانات الخاصة بك في Azure Storage؛ لذا يمكنك حذف المجموعة بأمان عندما لا تكون قيد الاستخدام. كما يتم تحصيل رسوم منك مقابل مجموعة HDInsight، حتى عندما لا تكون قيد الاستخدام. نظراً لأن رسوم نظام المجموعة تزيد عدة مرات عن رسوم التخزين، فمن المنطقي اقتصادياً حذف أنظمة المجموعات عندما لا تكون قيد الاستخدام.

هناك العديد من الطرق التي يمكنك من خلالها برمجة العملية:

• مصنع بيانات المستخدم Azure. راجع إنشاء أنظمة مجموعات Apache Hadoop عند الطلب تستند إلى Linux في HDInsight باستخدام Azure Data Factory لإنشاء خدمات مرتبطة HDInsight عند الطلب.
• استخدام Azure PowerShell. راجع تحليل بيانات تأخير الرحلة.
• استخدام Azure CLI. راجع إدارة أنظمة مجموعات Azure HDInsight باستخدام Azure CLI.
• استخدم HDInsight .NET SDK. راجع إرسال مهام Apache Hadoop.

للحصول على معلومات التسعير، راجع تسعير HDInsight. لحذف مجموعة من البوابة، راجع حذف الأنظمة مجموعات

ترقية أنظمة المجموعات

راجع ترقية مجموعة HDInsight إلى إصدار أحدث.

افتح واجهة مستخدم الويب Apache Ambari

يوفر Ambari واجهة مستخدم ويب لإدارة Hadoop بديهية وسهلة الاستخدام مدعومة بواجهات برمجة تطبيقات RESTful. يُمكّن Ambari مسؤولي النظام من إدارة أنظمة مجموعات Hadoop ومراقبتها.

من cluster home page:

1. حدد Cluster dashboards.

   

2. حدد Ambari home من الصفحة الجديدة.

3. أدخل اسم مستخدم نظام المجموعة وكلمة المرور. اسم مستخدم المجموعة الافتراضي هو admin.

لمزيد من المعلومات، راجع إدارة أنظمة مجموعات HDInsight باستخدام واجهة مستخدم الويب Apache Ambari.

تغيير كلمات المرور

يمكن أن تحتوي مجموعة HDInsight على حسابَيْ مستخدمَيْن. يتم إنشاء حساب مستخدم مجموعة HDInsight (حساب مستخدم HTTP) وحساب مستخدم SSH أثناء عملية الإنشاء. يمكنك استخدام المدخل لتغيير كلمة مرور حساب مستخدم نظام المجموعة وإجراءات البرنامج النصي لتغيير حساب مستخدم SSH.

تغيير كلمة مرور مستخدم نظام المجموعة

إشعار

قد يؤدي تغيير كلمة مرور مستخدم نظام المجموعة (المسؤول) إلى فشل إجراءات البرنامج النصي التي تعمل على هذه المجموعة. إذا كان لديك أي إجراءات نصية مستمرة تستهدف العُقد العاملة، فقد تفشل هذه البرامج النصية عند إضافة عُقد إلى المجموعة من خلال عمليات تغيير الحجم. لمزيد من المعلومات حول إجراءات البرنامج النصي، راجع تخصيص أنظمة مجموعات HDInsight باستخدام إجراءات البرنامج النصي.

من cluster home page:

1. حدد SSH + Cluster login ضمن Settings.
2. حدد إعادة تعيين بيانات الاعتماد.
3. أدخل كلمة المرور الجديدة وأكدها في مربعات النص.
4. حدد موافق.

يتم تغيير كلمة المرور على جميع العقد في نظام المجموعة.

قم بتغيير كلمة مرور مستخدم SSH أو المفتاح العام

1. باستخدام محرر نصوص، احفظ النص التالي كملف باسم changecredentials.sh.

   هام

   يجب عليك استخدام محرر يستخدم LF كنهاية السطر. إذا كان المحرر يستخدم CRLF، فلن يعمل البرنامج النصي.

   #! /bin/bash
   USER=$1
   PASS=$2
   usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER
   

2. قم بتحميل الملف إلى موقع تخزين يمكن الوصول إليه من HDInsight باستخدام عنوان HTTP أو HTTPS. على سبيل المثال، مخزن ملفات عام مثل تخزين OneDrive أو Azure Blob. احفظ URI (عنوان HTTP أو HTTPS) في الملف، حيث إن URI هذا مطلوب في الخطوة التالية.

3. من cluster home page، حدد Script actions ضمن Settings.

4. من صفحة Script actions، حدد Submit new.

5. من صفحة Submit script action، أدخل المعلومات التالية:

إشعار

لا يمكن أن تحتوي كلمات مرور SSH على الأحرف التالية:

" ' ` / \ < % ~ | $ & ! #

الحقل	القيمة
نوع البرنامج النصي	حدد - Custom من القائمة المنسدلة.
الاسم	"Change ssh credentials"
عنوان URI النصي Bash	عنوان URI لملف changecredentials.sh
نوع (أنواع) العقدة: (Head أو Worker أو Nimbus أو Supervisor أو Zookeeper.)	✓ لجميع أنواع العقد المدرجة
المعلمات	أدخل اسم مستخدم SSH ثم كلمة المرور الجديدة. يجب أن يكون هناك مسافة واحدة بين اسم المستخدم وكلمة المرور.
استمر في إجراء هذا البرنامج النصي ...	اترك هذا الحقل دون تحديد.

6. حدد Create لتطبيق البرنامج النصي. بمجرد انتهاء البرنامج النصي، يمكنك الاتصال بالعنقود باستخدام SSH باستخدام بيانات الاعتماد الجديدة.

ابحث عن معرّف الاشتراك

كل نظام مجموعة مرتبط باشتراك Azure. معرّف اشتراك Azure مرئي من cluster home page.

ابحث عن مجموعة الموارد

في وضع Azure Resource Manager، يتم إنشاء كل مجموعة HDInsight باستخدام مجموعة Azure Resource Manager. تكون Azure Resource Manager مرئية من cluster home page.

ابحث عن حسابات التخزين

تستخدم أنظمة مجموعات HDInsight إما حساب Azure Storage أو Azure Data Lake Storage لتخزين البيانات. يمكن أن يكون لكل مجموعة HDInsight حساب تخزين افتراضي واحد وعدد من حسابات التخزين المرتبطة. لسرد حسابات التخزين، من الصفحة الرئيسية للمجموعة ضمن Settings، حدد حسابات التخزين.

مراقبة المهام

راجع إدارة أنظمة مجموعات HDInsight باستخدام واجهة مستخدم الويب Apache Ambari.

حجم نظام المجوعة

تعرض لوحة حجم نظام المجموعة من الصفحة الرئيسية للمجموعة عدد النوى المخصصة لهذه المجموعة وكيفية تخصيصها للعقد داخل هذه المجموعة.

هام

لمراقبة الخدمات التي تقدمها مجموعة HDInsight، يجب عليك استخدام Ambari Web أو Ambari REST API. لمزيد من المعلومات حول استخدام Ambari، راجع إدارة أنظمة مجموعات HDInsight باستخدام Apache Ambari

الاتصال بالعنقود

• استخدام Apache Hive مع HDInsight
• استخدام SSH مع HDInsight

الخطوات التالية

في هذه المقالة، تعلمت بعض الوظائف الإدارية الأساسية. لمعرفة المزيد، راجع المقالات التالية:

• إدارة HDInsight باستخدام Azure PowerShell
• إدارة HDInsight باستخدام Azure CLI
• إنشاء نظم مجموعات HDInsight
• تفاصيل حول استخدام Apache Ambari REST API
• استخدام Apache Hive في HDInsight
• استخدم Apache Sqoop في HDInsight
• استخدام دوال Python المحددة بواسطة المستخدم (UDF) مع Apache Hive وApache Pig في HDInsight
• ما هو إصدار Apache Hadoop المتاح في Azure HDInsight؟