المنافذ التي تستخدمها خدمات Apache Hadoop على HDInsight
يوفر هذا المستند قائمة المنافذ المستخدمة من قِبل خدمات Apache Hadoop التي يتم تشغيلها على أنظمة مجموعات Azure HDInsight. كما يوفر معلومات حول المنافذ المستخدمة للاتصال بنظام المجموعة باستخدام SSH.
المنافذ العامة مقابل المنافذ غير العامة
تعرض أنظمة مجموعات HDInsight المستندة إلى نظام Linux ثلاثة منافذ فقط علناً على الإنترنت: 22 و23 و443. تعمل هذه المنافذ على تأمين وصول نظام المجموعة باستخدام SSH والخدمات المعروضة عبر بروتوكول HTTPS الآمن.
يتم تنفيذ HDInsight بواسطة العديد من الأجهزة الظاهرية في Azure (عُقد نظام المجموعة) التي يتم تشغيلها على شبكة Azure الظاهرية. من داخل الشبكة الظاهرية، يمكنك الوصول إلى منافذ غير معروضة على الإنترنت. إذا قمت بالاتصال عبر SSH إلى عقدة الرأس، يمكنك الوصول مباشرة إلى الخدمات التي تعمل على عقد نظام المجموعة.
هام
ذا لم تحدد شبكة Azure الظاهرية كخيار تكوين لـ HDInsight، يتم إنشاء واحدة تلقائياً. ومع ذلك، لا يمكنك الانضمام إلى الأجهزة الأخرى (مثل أجهزة Azure الظاهرية الأخرى أو جهاز تطوير العميل) إلى هذه الشبكة الظاهرية.
للانضمام إلى أجهزة إضافية إلى شبكة الاتصال الظاهرية، يجب إنشاء شبكة ظاهرية أولاً، ثم تحديدها عند إنشاء نظام المجموعة HDInsight. لمزيد من المعلومات، راجع تخطيط شبكة ظاهرية لـ HDInsight.
منافذ عامة
توجد جميع العقد في نظام مجموعة HDInsight في شبكة Azure الظاهرية. لا يمكن الوصول إلى العُقد مباشرة من الإنترنت. توفر البوابة العامة وصول الإنترنت إلى المنافذ التالية، والتي تُعد شائعة عبر جميع أنواع نظام مجموعة HDInsight.
| الخدمة | المنفذ | البروتوكول | الوصف |
|---|---|---|---|
| sshd | 22 | SSH | ربط العملاء بـ sshd على العقد الرئيسية الأساسية. لمزيدٍ من المعلومات، راجع استخدام SSH مع HDInsight. |
| sshd | 22 | SSH | ربط العملاء بـ sshd على عُقد الحافة. لمزيدٍ من المعلومات، راجع استخدام SSH مع HDInsight. |
| sshd | 23 | SSH | ربط العملاء بـ sshd على العقد الرئيسية الثانوية. لمزيدٍ من المعلومات، راجع استخدام SSH مع HDInsight. |
| Ambari | 443 | HTTPS | واجهة مستخدم الويب لـ Ambari. راجع إدارة HDInsight باستخدام واجهة مستخدم الويب لـ Apache Ambari |
| Ambari | 443 | HTTPS | واجهة برمجة تطبيقات Ambari REST. راجع إدارة HDInsight باستخدام واجهة برمجة تطبيقات Apache Ambari REST |
| WebHCat | 443 | HTTPS | HCatalog واجهة برمجة تطبيقات REST. راجع استخدام MapReduce مع Curl |
| HiveServer2 | 443 | ODBC | الاتصال بـ Apache Hive باستخدام ODBC. راجع توصيل Excel بـ HDInsight باستخدام برنامج تشغيل Microsoft ODBC. |
| HiveServer2 | 443 | JDBC | الاتصال بـ ApacheHive باستخدام JDBC. راجع الاتصال بـ Apache Hive على HDInsight باستخدام برنامج تشغيل Hive JDBC |
يتوفر ما يلي لأنواع معينة من نظام المجموعة:
| الخدمة | المنفذ | البروتوكول | نوع شبكة نظام المجموعة | الوصف |
|---|---|---|---|---|
Stargate |
443 | HTTPS | HBase | واجهة برمجة تطبيقات HBase REST. راجع بدء استخدام Apache HBase |
| Livy | 443 | HTTPS | "Spark" | واجهة برمدة تطبيقات Spark REST. راجع إرسال مهام Apache Spark عن بُعد باستخدام Apache Livy |
| خادم Spark Thrift | 443 | HTTPS | "Spark" | خادم Spark Thrift المستخدم لإرسال استعلامات Hive. راجع استخدام Beeline مع Apache Hive على HDInsight |
| وكيل Kafka ريست | 443 | HTTPS | Kafka | واجهة برمجة تطبيقات Kafka REST. راجع التفاعل مع أنظمة مجموعات Apache Kafka في Azure HDInsight باستخدام وكيل REST |
المصادقة
يجب المصادقة على جميع الخدمات التي يتم عرضها علناً على الإنترنت:
| المنفذ | بيانات الاعتماد |
|---|---|
| 22 أو 23 | بيانات اعتماد المستخدم SSH المحددة أثناء إنشاء نظام المجموعة |
| 443 | اسم تسجيل الدخول (الافتراضي: admin) وكلمة المرور التي تم تعيينها أثناء إنشاء نظام المجموعة |
منافذ غير عامة
ملاحظة
تتوفر بعض الخدمات على أنواع نظام مجموعة محددة فقط. على سبيل المثال، يتوفر HBase فقط على أنواع نظام المجموعة HBase.
هام
تعمل بعض الخدمات على عقدة رأس واحدة فقط في كل مرة. إذا حاولت الاتصال بالخدمة على عقدة الرأس الأساسية وتلقي خطأ، فأعد المحاولة باستخدام عقدة الرأس الثانوية.
Ambari
| الخدمة | العُقد | المنفذ | مسار URL | البروتوكول |
|---|---|---|---|---|
| واجهة مستخدم الويب لـ Ambari | عقد رئيسية | 8080 | / | HTTP |
| واجهة برمجة تطبيقات Ambari REST | عقد رئيسية | 8080 | /api/v1 | HTTP |
أمثلة:
- واجهة برمجة تطبيقات Ambari REST:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
منافذ HDFS
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| واجهة مستخدم الويب لـ NameNode | عقد رئيسية | 30070 | HTTPS | واجهة مستخدم ويب لعرض الحالة |
| خدمة بيانات التعريف لـ NameNode | العقد الرئيسية | 8020 | IPC | بيانات تعريف نظام الملفات |
| DataNode | جميع العُقد العاملة | 30075 | HTTPS | واجهة مستخدم ويب لعرض الحالة والسجلات وما إلى ذلك. |
| DataNode | جميع العُقد العاملة | 30010 | نقل البيانات | |
| DataNode | جميع العُقد العاملة | 30020 | IPC | عمليات بيانات التعريف |
| NameNode ثانوية | عقد رئيسية | 50090 | HTTP | نقطة التحقق لبيانات تعريف NameNode |
منافذ YARN
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| واجهة مستخدم الويب لـ Resource Manager | عقد رئيسية | 8088 | HTTP | واجهة مستخدم الويب لـ Resource Manager |
| واجهة مستخدم الويب لـ Resource Manager | عقد رئيسية | 8090 | HTTPS | واجهة مستخدم الويب لـ Resource Manager |
| واجهة مسؤول Resource Manager | العقد الرئيسية | 8141 | IPC | لعمليات إرسال التطبيق (Hive، وخادم Hive، وPig، وما إلى ذلك) |
| قوالب Azure Resource Manager | العقد الرئيسية | 8030 | HTTP | الواجهة الإدارية |
| واجهة تطبيق Resource Manager | العقد الرئيسية | 8050 | HTTP | عنوان واجهة إدارة التطبيقات |
| NodeManager | جميع العُقد العاملة | 30050 | عنوان إدارة الحاوية | |
| واجهة مستخدم الويب لـ NodeManager | جميع العُقد العاملة | 30060 | HTTP | واجهة Resource Manager |
| عنوان الخط الزمني | عقد رئيسية | 10200 | RPC | خدمة RPC لخدمة الخط الزمني. |
| واجهة مستخدم الويب للمخطط الزمني | عقد رئيسية | 8188 | HTTP | واجهة مستخدم الويب لخدمة الخط الزمني |
منافذ Hive
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| HiveServer2 | عقد رئيسية | 10001 | Thrift | خدمة الاتصال بـ Hive (Thrift/JDBC) |
| Metastore | عقد رئيسية | 9083 | Thrift | خدمة الاتصال بالبيانات التعريف لـ Hive (Thrift/JDBC) |
منافذ WebHCat
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| خادم WebHCat | عقد رئيسية | 30111 | HTTP | واجهة برمجة تطبيقات الويب أعلى HCatalog وخدمات Hadoop الأخرى |
منافذ MapReduce
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| JobHistory | عقد رئيسية | 19888 | HTTP | واجهة مستخدم الويب لـ MapReduce JobHistory |
| JobHistory | عقد رئيسية | 10020 | خادم MapReduce JobHistory | |
| ShuffleHandler | 13562 | نقل مخرجات الخريطة المتوسطة إلى طلب مخفضات |
Oozie
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| خادم Oozie | عقد رئيسية | 11000 | HTTP | عنوان URL لخدمة Oozie |
| خادم Oozie | عقد رئيسية | 11001 | HTTP | منفذ لمسؤول Oozie |
مقاييس Ambari
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| الخط الزمني (سجل التطبيق) | عقد رئيسية | 6188 | HTTP | واجهة مستخدم الويب لخدمة الخط الزمني |
| الخط الزمني (سجل التطبيق) | عقد رئيسية | 30200 | RPC | واجهة مستخدم الويب لخدمة الخط الزمني |
منافذ HBase
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| HMaster | عقد رئيسية | 16000 | ||
| واجهة مستخدم الويب لمعلومات HMaster | عقد رئيسية | 16010 | HTTP | منفذ واجهة مستخدم الويب لـ HBase Master |
| خادم المنطقة | جميع العُقد العاملة | 16020 | ||
| واجهة مستخدم ويب لمعلومات خادم المنطقة | جميع العُقد العاملة | 16030 | HTTP | منفذ واجهة مستخدم ويب لخادم HBase Region |
| 2181 | المنفذ الذي يستخدمه العملاء للاتصال بـ ZooKeeper |
منافذ Kafka
| الخدمة | العُقد | المنفذ | البروتوكول | الوصف |
|---|---|---|---|---|
| الوسيط | العُقد العاملة | 9092 | بروتوكول Kafka Wire | يُستخدم لاتصال العميل |
| عُقد ZooKeeper | 2181 | المنفذ الذي يستخدمه العملاء للاتصال بـ Zookeeper | ||
| وكيل REST | عُقد إدارة Kafka | 9400 | HTTPS | مواصفات Kafka REST |
منافذ Spark
| الخدمة | العُقد | المنفذ | البروتوكول | مسار URL | الوصف |
|---|---|---|---|---|---|
| خوادم Spark Thrift | عقد رئيسية | 10002 | Thrift | خدمة الاتصال ب Spark SQL (Thrift/JDBC) | |
| خادم Livy | عقد رئيسية | 8998 | HTTP | خدمة تشغيل العبارات والمهام والتطبيقات | |
| دفتر ملاحظات Jupyter | عقد رئيسية | 8001 | HTTP | موقع ويب Jupyter Notebook |
أمثلة:
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". في هذا المثال،10.0.0.11هو عنوان IP لعقدة الرأس الذي يستضيف خدمة Livy.