عرض مقاييس الحساب

توضح هذه المقالة كيفية استخدام أداة مقاييس الحوسبة الأصلية في واجهة مستخدم Azure Databricks لجمع الأجهزة الرئيسية ومقاييس Spark. أي حساب يستخدم Databricks Runtime 13.3 LTS وما فوق لديه حق الوصول إلى هذه المقاييس بشكل افتراضي.

تتوفر المقاييس في الوقت الفعلي تقريبا مع تأخير عادي أقل من دقيقة واحدة. يتم تخزين المقاييس في التخزين المدار بواسطة Azure Databricks، وليس في تخزين العميل.

كيف تختلف هذه المقاييس الجديدة عن Ganglia؟

تحتوي واجهة مستخدم مقاييس الحوسبة الجديدة على عرض أكثر شمولا لاستخدام موارد مجموعتك، بما في ذلك استهلاك Spark وعمليات Databricks الداخلية. في المقابل، تقيس واجهة مستخدم Ganglia استهلاك حاوية Spark فقط. قد يؤدي هذا الاختلاف إلى تناقضات في قيم القياس بين الواجهتين.

واجهة مستخدم مقاييس حساب الوصول

لعرض واجهة مستخدم مقاييس الحوسبة:

1. انقر فوق حساب في الشريط الجانبي.
2. انقر فوق مورد الحساب الذي تريد عرض المقاييس له.
3. انقر فوق علامة التبويب Metrics.

يتم عرض مقاييس الأجهزة بشكل افتراضي. لعرض مقاييس Spark، انقر فوق القائمة المنسدلة المسماة الأجهزة وحدد Spark. يمكنك أيضا تحديد وحدة معالجة الرسومات إذا كان المثيل ممكنا لوحدة معالجة الرسومات.

تصفية المقاييس حسب الفترة الزمنية

يمكنك عرض المقاييس التاريخية عن طريق تحديد نطاق زمني باستخدام عامل تصفية منتقي التاريخ. يتم جمع المقاييس كل دقيقة، بحيث يمكنك التصفية حسب أي نطاق من اليوم أو الساعة أو الدقيقة من آخر 30 يوما. انقر فوق أيقونة التقويم للتحديد من نطاقات البيانات المعرفة مسبقا، أو انقر داخل مربع النص لتعريف القيم المخصصة.

إشعار

يتم ضبط الفواصل الزمنية المعروضة في المخططات استنادا إلى طول الوقت الذي تعرضه. معظم المقاييس هي متوسطات استنادا إلى الفاصل الزمني الذي تعرضه حاليا.

يمكنك أيضا الحصول على أحدث المقاييس بالنقر فوق الزر تحديث .

عرض المقاييس على مستوى العقدة

يمكنك عرض مقاييس العقد الفردية بالنقر فوق القائمة المنسدلة Compute وتحديد العقدة التي تريد عرض المقاييس لها. لا تتوفر مقاييس وحدة معالجة الرسومات إلا على مستوى العقدة الفردية. لا تتوفر مقاييس Spark للعقد الفردية.

إشعار

إذا لم تحدد عقدة معينة، فسيتم حساب متوسط النتيجة عبر جميع العقد داخل نظام مجموعة (بما في ذلك برنامج التشغيل).

المخططات القياسية للأجهزة

تتوفر المخططات القياسية للأجهزة التالية لعرضها في واجهة مستخدم مقاييس الحوسبة:

• توزيع تحميل الخادم: يعرض هذا المخطط استخدام وحدة المعالجة المركزية خلال الدقيقة الماضية لكل عقدة.
• استخدام وحدة المعالجة المركزية: النسبة المئوية للوقت الذي أمضته وحدة المعالجة المركزية في كل وضع، استنادا إلى إجمالي تكلفة ثواني وحدة المعالجة المركزية. يتم حساب متوسط المقياس استنادا إلى أي فاصل زمني يتم عرضه في المخطط. فيما يلي الأوضاع المتعقبة:
  • الضيف: إذا كنت تقوم بتشغيل الأجهزة الظاهرية، فإن وحدة المعالجة المركزية التي تستخدمها تلك الأجهزة الظاهرية
  • iowait: الوقت المستغرق في انتظار الإدخال/إخراج
  • الخمول: الوقت الذي لم يكن لدى وحدة المعالجة المركزية أي شيء للقيام به
  • irq: الوقت المستغرق في طلبات المقاطعة
  • لطيفة: الوقت الذي تستخدمه العمليات التي لها لطيفة إيجابية، وهذا يعني أولوية أقل من المهام الأخرى
  • softirq: الوقت المستغرق في طلبات مقاطعة البرامج
  • سرقة: إذا كنت جهازا ظاهريا، فوقت "سرقت" أجهزة ظاهرية أخرى من وحدات المعالجة المركزية الخاصة بك
  • النظام: الوقت الذي يقضيه في النواة
  • المستخدم: الوقت الذي يقضيه في userland
• استخدام الذاكرة: إجمالي استخدام الذاكرة حسب كل وضع، يتم قياسه بالبايت ومتوسطه استنادا إلى أي فاصل زمني يتم عرضه في المخطط. يتم تعقب أنواع الاستخدام التالية:
  • المستخدم: الذاكرة المستخدمة (بما في ذلك الذاكرة المستخدمة بواسطة عمليات الخلفية التي تعمل على حساب)
  • مجاني: ذاكرة غير مستخدمة
  • المخزن المؤقت: الذاكرة المستخدمة بواسطة المخازن المؤقتة للنواة
  • ذاكرة التخزين المؤقت: الذاكرة المستخدمة بواسطة ذاكرة التخزين المؤقت لنظام الملفات على مستوى نظام التشغيل
• استخدام تبديل الذاكرة: إجمالي استخدام تبديل الذاكرة حسب كل وضع، ويتم قياسه بالبايت ومتوسطه استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• مساحة نظام الملفات الحرة: إجمالي استخدام نظام الملفات حسب كل نقطة تحميل، يتم قياسه بالبايت ومتوسطه استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• المستلمة من خلال الشبكة: عدد وحدات البايت المستلمة عبر الشبكة بواسطة كل جهاز، يتم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• المرسلة عبر الشبكة: عدد وحدات البايت التي يتم إرسالها عبر الشبكة بواسطة كل جهاز، ويتم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• عدد العقد النشطة: يظهر هذا عدد العقد النشطة في كل طابع زمني للحساب المحدد.

مخططات مقاييس Spark

تتوفر مخططات Spark القياسية التالية لعرضها في واجهة مستخدم مقاييس الحوسبة:

• توزيع تحميل الخادم: يعرض هذا المخطط استخدام وحدة المعالجة المركزية خلال الدقيقة الماضية لكل عقدة.
• المهام النشطة: العدد الإجمالي للمهام التي يتم تنفيذها في أي وقت محدد، ويتم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• إجمالي المهام الفاشلة: إجمالي عدد المهام التي فشلت في المنفذين، تم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• إجمالي المهام المكتملة: إجمالي عدد المهام التي تم إكمالها في المنفذين، والتي تم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• إجمالي عدد المهام: العدد الإجمالي لجميع المهام (قيد التشغيل والفشل والمكتملة) في المنفذين، يتم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• إجمالي قراءة التبديل العشوائي: الحجم الإجمالي لبيانات القراءة العشوائية، التي يتم قياسها بالبايت ومتوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط. Shuffle read يعني مجموع بيانات القراءة المتسلسلة على جميع المنفذين في بداية المرحلة.
• إجمالي كتابة التبديل العشوائي: الحجم الإجمالي لبيانات الكتابة العشوائية، التي يتم قياسها بالبايت ومتوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط. Shuffle Write هو مجموع جميع البيانات المتسلسلة المكتوبة على جميع المنفذين قبل الإرسال (عادة في نهاية المرحلة).
• إجمالي مدة المهمة: إجمالي الوقت المنقضي الذي أمضته JVM في تنفيذ المهام على المنفذين، ويتم قياسه بالثوان ومتوسطه استنادا إلى أي فاصل زمني يتم عرضه في المخطط.

المخططات المترية لوحدة معالجة الرسومات

تتوفر المخططات القياسية ل GPU التالية لعرضها في واجهة مستخدم مقاييس الحوسبة:

• توزيع تحميل الخادم: يعرض هذا المخطط استخدام وحدة المعالجة المركزية خلال الدقيقة الماضية لكل عقدة.
• استخدام أداة فك ترميز GPU: النسبة المئوية لاستخدام أداة فك ترميز GPU، التي تم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• استخدام أداة ترميز GPU: النسبة المئوية لاستخدام أداة ترميز GPU، التي تم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• وحدات بايت استخدام ذاكرة المخزن المؤقت لكل وحدة معالجة الرسومات: استخدام ذاكرة المخزن المؤقت للإطار، يتم قياسه بالبايت ومتوسطه استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• استخدام الذاكرة لكل وحدة معالجة الرسومات: النسبة المئوية لاستخدام ذاكرة وحدة معالجة الرسومات، يتم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.
• استخدام كل وحدة معالجة الرسومات: النسبة المئوية لاستخدام وحدة معالجة الرسومات، يتم حساب متوسطها استنادا إلى أي فاصل زمني يتم عرضه في المخطط.

استكشاف الأخطاء وإصلاحها

إذا رأيت مقاييس غير مكتملة أو مفقودة لفترة ما، فقد تكون إحدى المشكلات التالية:

• انقطاع في خدمة Databricks المسؤولة عن الاستعلام عن المقاييس وتخزينها.
• مشكلات الشبكة من جانب العميل.
• الحساب هو أو كان في حالة غير صحية.