مشاركة عبر

التنبؤ على نطاق واسع: العديد من النماذج والتدريب الموزع

  • مقالة

تتناول هذه المقالة تدريب نماذج التنبؤ على كميات كبيرة من البيانات التاريخية. يمكن العثور على إرشادات وأمثلة لنماذج تنبؤ التدريب في AutoML في مقالة التنبؤ بإعداد AutoML للسلسلة الزمنية .

يمكن أن تكون بيانات السلاسل الزمنية كبيرة بسبب عدد السلاسل في البيانات أو عدد الملاحظات التاريخية أو كليهما. تقوم العديد من النماذج والسلاسل الزمنية الهرمية، أو HTS، بتحجيم الحلول للسيناريو السابق، حيث تتكون البيانات من عدد كبير من السلاسل الزمنية. في هذه الحالات، يمكن أن يكون من المفيد لدقة النموذج وقابلية التوسع تقسيم البيانات إلى مجموعات وتدريب عدد كبير من النماذج المستقلة بالتوازي على المجموعات. وعلى العكس من ذلك، هناك سيناريوهات يكون فيها نموذج واحد أو عدد صغير من النماذج عالية السعة أفضل. يستهدف تدريب DNN الموزع هذه الحالة. نراجع المفاهيم حول هذه السيناريوهات في باقي المقالة.

العديد من النماذج

تمكنك العديد من مكونات النماذج في AutoML من تدريب ملايين النماذج وإدارتها بالتوازي. على سبيل المثال، افترض أن لديك بيانات مبيعات تاريخية لعدد كبير من المتاجر. يمكنك استخدام العديد من النماذج لبدء مهام تدريب AutoML المتوازية لكل متجر، كما في الرسم التخطيطي التالي:

رسم تخطيطي يوضح سير عمل AutoML العديد من النماذج.

يطبق مكون التدريب على العديد من النماذج مسح نموذج AutoML واختياره بشكل مستقل على كل متجر في هذا المثال. يساعد استقلال النموذج هذا على قابلية التوسع ويمكن أن يفيد دقة النموذج خاصة عندما يكون للمتاجر ديناميكيات مبيعات متباينة. ومع ذلك، قد ينتج عن نهج نموذج واحد تنبؤات أكثر دقة عندما تكون هناك ديناميكيات مبيعات شائعة. راجع قسم تدريب DNN الموزع للحصول على مزيد من التفاصيل حول هذه الحالة.

يمكنك تكوين تقسيم البيانات وإعدادات AutoML للنماذج ودرجة التوازي للعديد من مهام تدريب النماذج. للحصول على أمثلة، راجع قسم الدليل الخاص بنا حول العديد من مكونات النماذج.

التنبؤ بالسلاسل الزمنية الهرمية

من الشائع أن تحتوي السلاسل الزمنية في تطبيقات الأعمال على سمات متداخلة تشكل تسلسلا هرميا. غالبا ما تكون سمات كتالوج المنتجات والجغرافيا متداخلة، على سبيل المثال. خذ بعين الاعتبار مثالا حيث يحتوي التسلسل الهرمي على سمتين جغرافيتين، معرف الحالة والتخزين، وسمتين للمنتج، الفئة وSKU:

مثال على جدول بيانات التسلسل الزمني الهرمي.

يتم توضيح هذا التسلسل الهرمي في الرسم التخطيطي التالي:

رسم تخطيطي للتسلسل الهرمي للبيانات لمثال البيانات.

والأهم من ذلك، أن كميات المبيعات على مستوى الكائن الطرفي (SKU) تضيف ما يصل إلى كميات المبيعات المجمعة على مستوى الولاية وإجمالي مستويات المبيعات. تحتفظ أساليب التنبؤ الهرمي بخصائص التجميع هذه عند التنبؤ بالكمية المباعة في أي مستوى من التسلسل الهرمي. التنبؤات مع هذه الخاصية متسقة فيما يتعلق بالتسلسل الهرمي.

يدعم AutoML الميزات التالية للسلسلة الزمنية الهرمية (HTS):

  • التدريب على أي مستوى من التسلسل الهرمي. في بعض الحالات، قد تكون البيانات على مستوى الأوراق مزعجة، ولكن قد تكون التجميعات أكثر قابلية للتنبؤ.
  • استرداد تنبؤات النقطة على أي مستوى من التسلسل الهرمي. إذا كان مستوى التنبؤ "أقل" من مستوى التدريب، فسيتم تصنيف التنبؤات من مستوى التدريب عبر متوسط النسب التاريخية أو نسب المتوسطات التاريخية. يتم جمع تنبؤات مستوى التدريب وفقا لهيكل التجميع عندما يكون مستوى التنبؤ "أعلى" من مستوى التدريب.
  • استرداد التنبؤات الكمية/الاحتمالية للمستويات عند مستوى التدريب أو "أدناه". تدعم قدرات النمذجة الحالية تصنيف التنبؤات الاحتمالية.

يتم إنشاء مكونات HTS في AutoML على رأس العديد من النماذج، لذلك تشارك HTS الخصائص القابلة للتطوير للعديد من النماذج. للحصول على أمثلة، راجع قسم الدليل الخاص بنا حول مكونات HTS.

تدريب DNN الموزع (معاينة)

هام

تُعد هذه الميزة قيد الإصدار الأولي العام في الوقت الحالي. يجري توفير إصدار المعاينة هذا دون اتفاقية على مستوى الخدمة، ولا نوصي باستخدامه لأحمال عمل الإنتاج. بعض الميزات ربما لا تكون مدعمة أو بها بعض القدرات المقيدة.

لمزيد من المعلومات، راجع ⁧⁩شروط الاستخدام التكميلية لمعاينات Microsoft Azure⁧⁩.

قد تستفيد سيناريوهات البيانات التي تحتوي على كميات كبيرة من الملاحظات التاريخية و/أو أعداد كبيرة من السلاسل الزمنية ذات الصلة من نهج نموذج واحد قابل للتطوير. وفقا لذلك، يدعم AutoML التدريب الموزع والبحث عن النموذج على نماذج الشبكة الالتفافية الزمنية (TCN)، وهي نوع من الشبكة العصبية العميقة (DNN) لبيانات السلاسل الزمنية. لمزيد من المعلومات حول فئة نموذج TCN في AutoML، راجع مقالة DNN الخاصة بنا.

يحقق تدريب DNN الموزع قابلية التوسع باستخدام خوارزمية تقسيم البيانات التي تحترم حدود السلسلة الزمنية. يوضح الرسم التخطيطي التالي مثالا بسيطا بقسمين:

رسم تخطيطي مثال لقسم بيانات التدريب الموزع.

أثناء التدريب، يتم تحميل بيانات DNN على كل تحميل حساب فقط ما يحتاجونه لإكمال تكرار الانتشار الخلفي؛ لا تتم قراءة مجموعة البيانات بأكملها أبدا في الذاكرة. يتم توزيع الأقسام بشكل أكبر عبر مراكز حوسبة متعددة (عادة وحدات معالجة الرسومات) على عقد متعددة ربما لتسريع التدريب. يتم توفير التنسيق عبر الحسابات بواسطة إطار Horovod .

الخطوات التالية