ما هو التعلم الآلي التلقائي (AutoML)؟
ينطبق على:
Python SDK azure-ai-ml v2 (الحالي)
التعلم الآلي التلقائي، الذي يشار إليه أيضاً باسم ML التلقائي أو AutoML، هو عملية أتمتة المهام التكرارية التي تستغرق وقتاً طويلاً لتطوير نموذج التعلم الآلي. يسمح لعلماء البيانات والمحللين والمطورين ببناء نماذج التعلم الآلي من Microsoft Azure بمقياس وكفاءة وإنتاجية عالية مع الحفاظ على جودة النموذج. يعتمد Automated ML في التعلم الآلي من Azure على مدى تقدم قسم Microsoft Research.
- للعملاء ذوي الخبرة في التعليمات البرمجية، Azure التعلم الآلي Python SDK. ابدأ مع البرنامج التعليمي: تدريب نموذج الكشف عن الكائنات (معاينة) باستخدام AutoML وPython.
كيف يعمل AutoML؟
أثناء التدريب، يقوم Azure التعلم الآلي بإنشاء العديد من المسارات بالتوازي التي تجرب خوارزميات ومعلمات مختلفة لك. تتكرر الخدمة من خلال خوارزميات ML المقترنة بتحديدات الميزة، حيث كل تكرار ينتج نموذجاً مع درجة التدريب. كلما كانت درجة المقياس الذي تريد تحسينه أفضل، كان النموذج "مناسبا" لبياناتك بشكل أفضل. يتوقف بمجرد أن يصل إلى معايير الخروج المحددة في التجربة.
باستخدام التعلم الآلي من Azure، يمكنك تصميم وتشغيل تجارب التدريب الآلي على التعلم الآلي من خلال الخطوات التالية:
تحديد مشكلة التعلم الآلي التي يجب حلها: التصنيف أو التنبؤ أو الانحدار أو رؤية الكمبيوتر أو NLP.
اختر ما إذا كنت تريد تجربة التعليمات البرمجية أولا أو تجربة ويب استوديو بدون تعليمات برمجية: يمكن للمستخدمين الذين يفضلون تجربة التعليمات البرمجية أولا استخدام Azure التعلم الآلي SDKv2 أو Azure التعلم الآلي CLIv2. ابدأ مع البرنامج التعليمي: تدريب نموذج الكشف عن الكائنات باستخدام AutoML وPython. يمكن للمستخدمين الذين يفضلون تجربة محدودة/بدون تعليمات برمجية استخدام واجهة الويب في Azure التعلم الآلي studio في https://ml.azure.com. ابدأ مع البرنامج التعليمي: إنشاء نموذج تصنيف باستخدام التعلم الآلي التلقائي في Azure التعلم الآلي.
حدد مصدر بيانات التدريب المسماة: يمكنك إحضار بياناتك إلى Azure التعلم الآلي بعدة طرق مختلفة.
تكوين معلمات التعلم الآلي التلقائي التي تحدد عدد التكرارات عبر نماذج مختلفة، وإعدادات المعلمات الفائقة، والمعالجة المسبقة المتقدمة/ التمييز، والمقاييس التي يجب النظر إليها عند تحديد أفضل نموذج.
تقديم وظيفة التدريب.
مراجعة النتائج
يوضح الرسم التخطيطي التالي هذه العملية.
يمكنك أيضًا فحص معلومات الوظيفة المُسجَّلة، والتي تحتوي على مقاييس تم جمعها في أثناء الوظيفة. ينتج عن وظيفة التدريب كائن متسلسل Python (ملف .pkl) يحتوي على النموذج والمعالجة المُسبقة للبيانات.
بينما يكون بناء النموذج تلقائيًا، يمكنك أيضًا معرفة مدى أهمية الميزات أو ذات الصلة بالنماذج التي تم إنشاؤها.
متى تستخدم AutoML: التصنيف والانحدار والتنبؤ ورؤية الكمبيوتر وNLP
قم بتطبيق ML التلقائي عندما تريد أن يقوم التعلم الآلي من Azure بتدريب نموذج وضبطه لك باستخدام مقياس الهدف الذي تحدده. يعمل Automated ML على إضفاء الطابع الديمقراطي على عملية تطوير نموذج التعلم الآلي ويمكّن مستخدميه، بغض النظر عن خبرتهم في علوم البيانات، من تحديد مسار التعلم الآلي الشامل لأي مشكلة.
يمكن لمحترفي التعلم الآلي والمطورين عبر الصناعات استخدام التعلم الآلي المؤتمت من أجل:
- تنفيذ حلول ML دون معرفة برمجية واسعة
- توفير الوقت والموارد
- تطبيق أفضل ممارسات علم البيانات
- تقديم حل سريع للمشكلات
تصنيف
التصنيف هو نوع من التعلم الخاضع للإشراف حيث تتعلم النماذج استخدام بيانات التدريب، وتطبيق هذه التعلمات على البيانات الجديدة. يوفر التعلم الآلي من Azure ميزات خاصة بهذه المهام، مثل ميزات نص الشبكة العصبية العميقة للتصنيف. تعرف على مزيد من المعلومات حول خيارات استخدام السمات. يمكنك أيضا العثور على قائمة الخوارزميات التي يدعمها AutoML هنا.
الهدف الرئيسي لنماذج التصنيف هو التنبؤ بالفئات التي تندرج فيها البيانات الجديدة استنادا إلى التعلم من بيانات التدريب الخاصة بها. تتضمن أمثلة التصنيف الشائعة الكشف عن الاحتيال والتعرف على خط اليد واكتشاف الكائنات.
راجع مثالا على التصنيف والتعلم الآلي التلقائي في دفتر ملاحظات Python هذا: التسويق البنكي.
التراجع
على غرار التصنيف، تعد مهام الانحدار أيضاً مهمة تعلم شائعة خاضعة للإشراف. يقدم Azure التعلم الآلي تميزا خاصا بمشاكل الانحدار. تعرف على مزيد من المعلومات حول خيارات استخدام السمات. يمكنك أيضا العثور على قائمة الخوارزميات التي يدعمها AutoML هنا.
تختلف نماذج الانحدار عن التصنيف، حيث تكون قيم المخرجات المتوقعة مطلقة، وتتنبأ بقيم المخرجات الرقمية استنادًا إلى تنبؤات مستقلة. وفي حالة الانحدار، يتمثل الهدف في المساعدة على إنشاء علاقة بين تلك المتغيرات التنبؤية المستقلة عن طريق تقدير كيفية تأثير متغير واحد على المتغيرات الأخرى. على سبيل المثال، تعتمد أسعار السيارات على ميزات مثل نسبة استهلاك الوقود، وتصنيف السلامة، وما إلى ذلك.
راجع مثالا على الانحدار والتعلم الآلي التلقائي للحصول على تنبؤات في دفاتر ملاحظات Python هذه: أداء الأجهزة.
التنبؤ بالتسلسل الزمني
تعد توقعات البناء جزءاً لا يتجزأ من أي عمل، سواء كان ذلك في الإيرادات أو المخزون أو المبيعات أو طلب العملاء. يمكنك استخدام ML التلقائي للجمع بين التقنيات والأساليب والحصول على التنبؤ بالتسلسل الزمني عالي الجودة الموصى به. يمكنك العثور على قائمة الخوارزميات التي يدعمها AutoML هنا.
يتم التعامل مع تجربة التسلسل الزمني التلقائية كمشكلة انحدار متعدد المتغيرات. قيم السلاسل الزمنية السابقة "محورية" لتصبح المزيد من الأبعاد للمتراجع مع أدوات التنبؤ الأخرى. هذا النهج، على عكس أساليب السلسلة الزمنية الكلاسيكية، له ميزة دمج متغيرات سياقية متعددة وعلاقتها مع بعضها البعض في أثناء التدريب. يعلم التعلم الآلي المؤتمت نموذجًا فرديًا ولكن غالبًا ما يكون متفرعًا داخليًا لجميع العناصر في مجموعة البيانات وآفاق التنبؤ. وبالتالي يتوفر المزيد من البيانات لتقدير معلمات النموذج ويصبح التعميم على السلاسل غير المرئية ممكناً.
يتضمن تكوين التنبؤ المتقدم ما يلي:
- الكشف عن العطلة والتشخيص
- التسلسل الزمني ومتعلمي الشبكة العصبية العميقة (DNN) (Auto-ARIMA، وProphet، وForecastTCN)
- دعم العديد من النماذج من خلال التجميع
- التحقق المقطعي للأصل المتداول
- تأخيرات قابلة للتكوين
- ميزات تجميع نافذة التجميع
راجع مثالا للتنبؤ والتعلم الآلي التلقائي في دفتر ملاحظات Python هذا: الطلب على الطاقة.
رؤية الكمبيوتر
يتيح لك دعم مهام الرؤية الحاسوبية إنشاء نماذج مدربة على بيانات الصور بسهولة لسيناريوهات مثل تصنيف الصور واكتشاف الكائنات.
مع هذه الإمكانية، يمكنك:
- تكامل بسلاسة مع قدرة وضع العلامات على بيانات التعلم الآلي من Azure
- استخدام البيانات المسماة لإنشاء نماذج الصور
- قم بتحسين أداء النموذج من خلال تحديد خوارزمية النموذج وضبط المعلمات التي تُستخدم للتحكم في سلوك النموذج.
- قم بتنزيل النموذج الناتج أو نشره كخدمة ويب في التعلم الآلي من Microsoft Azure.
- التشغيل على نطاق واسع، والاستفادة من قدرات التعلم الآلي من Microsoft Azure MLOps والبنية الأساسية لـML.
يتم دعم تأليف نماذج AutoML لمهام الرؤية عبر Azure التعلم الآلي Python SDK. يمكن الوصول إلى وظائف ونماذج ومخرجات التجربة الناتجة من واجهة مستخدم استوديو التعلم الآلي من Azure.
تعرف على كيفية إعداد التدريب التلقائي لنماذج رؤية الكمبيوتر.
صورة من: http://cs231n.stanford.edu/slides/2021/lecture_15.pdf
يدعم التعلم الآلي التلقائي للصور مهام رؤية الكمبيوتر التالية:
| المهمة | الوصف |
|---|---|
| تصنيف الصور متعدد الفئات | المهام التي يتم فيها تصنيف صورة بتسمية واحدة فقط من مجموعة من الفئات - على سبيل المثال، يتم تصنيف كل صورة إما كصورة "قطة" أو "كلب" أو "بطة" |
| تصنيف الصور متعدد التسميات | المهام التي يمكن أن تحتوي فيها الصورة على تسمية واحدة أو أكثر من مجموعة من التسميات - على سبيل المثال، يمكن تسمية الصورة بكل من "القط" و"الكلب" |
| كشف الكائنات | مهام تحديد العناصر في صورة وتحديد موقع كل كائن بمربع إحاطة، على سبيل المثال، تحديد موقع جميع الكلاب والقطط في صورة ورسم مربع إحاطة حول كل منها. |
| تجزئة مثيل الصورة | مهام تحديد الكائنات في صورة على مستوى البكسل، ورسم مضلع حول كل كائن في الصورة. |
معالجة اللغة الطبيعية: NLP
يتيح لك دعم مهام معالجة اللغة الطبيعية (NLP) في التعلم الآلي المؤتمت إنشاء نماذج مدربة بسهولة على البيانات النصية لتصنيف النص وسيناريوهات التعرف على الكيان المسماة. يتم دعم تأليف نماذج NLP المدربة الآلية ML عبر التعلم الآلي من Azure Python SDK. يمكن الوصول إلى وظائف ونماذج ومخرجات التجربة الناتجة من واجهة مستخدم استوديو التعلم الآلي من Azure.
تدعم إمكانية NLP ما يلي:
- تدريب NLP للشبكة العصبية العميقة الشاملة مع أحدث نماذج BERT المدربة مسبقًا
- تكامل سلس مع تسمية بيانات التعلم الآلي من Azure
- استخدام البيانات المسماة لإنشاء نماذج NLP
- دعم متعدد اللغات مع 104 لغة
- تدريب موزع باستخدام Horovod
تعرف على كيفية إعداد تدريب AutoML لنماذج NLP.
بيانات التدريب، والتحقق من الصحة، والاختبار
باستخدام التعلم الآلي، يمكنك توفير بيانات التدريب لتدريب نماذج التعلم الآلي، ويمكنك تحديد نوع التحقق من صحة النموذج الذي يجب تنفيذه. يقوم التعلم الآلي المؤتمت بالتحقق من صحة النموذج كجزء من التدريب. أي أن التعلم الآلي الآلي يستخدم بيانات التحقق من الصحة لضبط المعلمات الفائقة للنموذج استنادا إلى الخوارزمية المطبقة للعثور على المجموعة التي تناسب بيانات التدريب على أفضل نحو. ومع ذلك، يتم استخدام نفس بيانات التحقق من الصحة لكل تكرار للضبط، ما يقدم تحيز تقييم النموذج نظرًا لأن النموذج يستمر في التحسين والاحتواء لبيانات التحقق من الصحة.
للمساعدة في تأكيد عدم تطبيق هذا التحيز على النموذج الموصى به النهائي، يدعم التعلم الآلي المؤتمت استخدام بيانات الاختبار لتقييم النموذج النهائي الذي يوصي به التعلم الآلي المؤتمت في نهاية تجربتك. عند توفير بيانات الاختبار كجزء من تكوين تجربة AutoML، يتم اختبار هذا النموذج الموصى به افتراضيًا في نهاية تجربتك (معاينة).
هام
اختبار النماذج الخاصة بك مع مجموعة بيانات اختبار لتقييم النماذج التي تم إنشاؤها هي ميزة معاينة. تعد هذه الإمكانية ميزة معاينة تجريبية، وقد تتغير في أي وقت.
تعرف على كيفية تكوين تجارب AutoML لاستخدام بيانات الاختبار (معاينة) مع SDK أو مع Azure Machine Learning studio.
هندسة الميزات
هندسة الميزات هي عملية استخدام معرفة المجال بالبيانات لإنشاء ميزات تساعد خوارزميات التعلم الآلي على التعلم بشكل أفضل. في التعلم الآلي من Azure، يتم تطبيق تقنيات التحجيم والتطبيع لتسهيل هندسة الميزات. بشكل جماعي، يشار إلى هذه التقنيات وهندسة الميزات باسم التمييز.
بالنسبة لتجارب التعلم الآلي المؤتمت، يتم تطبيق التمييز تلقائيًا، ولكن يمكن أيضًا تخصيصه استنادًا إلى بياناتك. تعرف على المزيد حول الميزات المضمنة (SDK v1) وكيف يساعد AutoML في منع البيانات الزائدة عن الملائمة وغير المتوازنة في نماذجك.
إشعار
تصبح خطوات التخصيص الآلي للتعلم الآلي (تطبيع الميزات، ومعالجة البيانات المفقودة، وتحويل النص إلى رقمي، وما إلى ذلك) جزءًا من النموذج الأساسي. عند استخدام النموذج للتنبؤات، يتم تطبيق نفس خطوات التخصيص المطبقة أثناء التدريب على بيانات الإدخال تلقائياً.
تخصيص التمييز
تتوفر أيضًا تقنيات هندسة ميزات إضافية مثل الترميز والتحويلات.
تمكين هذا الإعداد باستخدام:
Azure Machine Learning studio: تمكين التمييز التلقائي في قسم عرض التكوين الإضافيباستخدام هذه الخطوات.
Python SDK: حدد التمييز في كائن وظيفة AutoML. تعرف على مزيد من المعلومات حول تمكين استخدام السمات.
نماذج المجموعة
يدعم التعلم الآلي المؤتمت نماذج المجموعة، والتي يتم تمكينها افتراضيًا. يحسن التعلم الجماعية نتائج التعلم الآلي والأداء التنبؤي من خلال الجمع بين نماذج متعددة بدلاً من استخدام نماذج واحدة. تظهر تكرارات المجموعة كتكرارات نهائية لوظيفتك. يستخدم التعلم الآلي المؤتمت أساليب التصويت والتكديس للجمع بين النماذج:
- التصويت: يتنبأ استنادًا إلى المتوسط المرجح لاحتمالات الفئة المتوقعة (لمهام التصنيف) أو أهداف الانحدار المتوقعة (لمهام الانحدار).
- التكديس: يجمع التكديس بين النماذج غير المتجانسة ويدرب نموذج تعريف استنادًا إلى الإخراج من النماذج الفردية. نماذج التعريف الافتراضية الحالية هي LogisticRegression لمهام التصنيف وElasticNet لمهام الانحدار/التنبؤ.
تستخدم خوارزمية تحديد مجموعة Caruana مع تهيئة المجموعة التي تم فرزها لتحديد النماذج التي يجب استخدامها داخل المجموعة. على مستوى عالٍ، تهيئ هذه الخوارزمية المجموعة مع ما يصل إلى خمسة نماذج مع أفضل الدرجات الفردية، وتتحقق من أن هذه النماذج هي ضمن عتبة 5٪ من أفضل درجة لتجنب مجموعة أولية سيئة. ثم لكل تكرار مجموعة، تتم إضافة نموذج جديد إلى المجموعة الموجودة ويتم حساب النتيجة الناتجة. إذا حسن نموذج جديد درجة المجموعة الحالية، يتم تحديث المجموعة لتضمين النموذج الجديد.
راجع حزمة AutoML لتغيير إعدادات المجموعة الافتراضية في التعلم الآلي التلقائي.
AutoML و ONNX
باستخدام التعلم الآلي من Microsoft Azure، يمكنك استخدام التعلم الآلي لإنشاء نموذج Python وتحويله إلى تنسيق ONNX. بمجرد أن تكون النماذج بتنسيق ONNX، يمكن تشغيلها على أنظمة أساسية وأجهزة مختلفة. تعرف على المزيد عن تسريع نماذج التعلم الآلي باستخدام ONNX.
راجع كيفية التحويل إلى تنسيق ONNX في مثال دفتر ملاحظات Jupyter هذا. تعرف على الخوارزميات المدعومة في ONNX.
يدعم وقت تشغيل ONNX أيضًا C#، بحيث يمكنك استخدام النموذج المضمن تلقائيًا في تطبيقات C# دون الحاجة إلى إعادة الترميز أو أي من زمن انتقال الشبكة الذي تقدمه نقاط نهاية REST. تعرف على المزيد عن استخدام نموذج AutoML ONNX في تطبيق .NET مع ML.NET نماذج ONNX والاستدلال عليها باستخدام واجهة برمجة تطبيقات C# لوقت تشغيل ONNX.
الخطوات التالية
هناك موارد متعددة لتبدأ العمل باستخدام AutoML.
البرامج التعليمية/ الكيفية
البرامج التعليمية هي أمثلة تمهيدية شاملة لسيناريوهات AutoML.
للحصول على تجربة التعليمات البرمجية أولا، اتبع البرنامج التعليمي: تدريب نموذج الكشف عن الكائنات باستخدام AutoML وPython
للحصول على تجربة منخفضة أو بدون تعليمة برمجية، راجع البرنامج التعليمي: تدريب نموذج تصنيف بدون تعليمة برمجية AutoML في Azure Machine Learning studio.
توفر المقالات الإرشادية المزيد من التفاصيل حول الوظائف التي يوفرها التعلم الآلي التلقائي. على سبيل المثال،
تكوين إعدادات تجارب التدريب التلقائي
تعلم كيفية تدريب نماذج رؤية الكمبيوتر مع Python.
تعرف على كيفية عرض التعليمات البرمجية التي تم إنشاؤها من نماذج التعلم الآلي (SDK v1) الخاصة بك.
عينات دفتر ملاحظات Jupyter
راجع أمثلة التعليمات البرمجية التفصيلية وحالات الاستخدام في مستودع دفتر الملاحظات GitHub لعينات التعلم الآلي.
مرجع Python SDK
قم بتعميق خبرتك في أنماط تصميم SDK ومواصفات الفئة باستخدام الوثائق المرجعية لفئة وظيفة AutoML.
إشعار
كما تتوفر قدرات التعلم الآلي المؤتمت في حلول Microsoft الأخرى مثل ML.NETوHDInsightوPower BIوSQL Server