البرنامج التعليمي: تدريب نموذج التعلم الآلي دون تعليمة برمجية (مهملة)

يمكنك إثراء بياناتك في جداول Spark بنماذج التعلم الآلي الجديدة التي تقوم بتدريبها باستخدام التعلم الآلي التلقائي. في Azure Synapse Analytics، يمكنك تحديد جدول Spark في مساحة العمل لاستخدامه كمجموعة بيانات تدريبية لبناء نماذج التعلم الآلي، ويمكنك القيام بذلك في تجربة خالية من التعليمات البرمجية.

في هذا البرنامج التعليمي، ستتعلم كيفية تدريب نماذج التعلم الآلي باستخدام تجربة خالية من التعليمات البرمجية في Synapse Studio. يعد Synapse Studio إحدى ميزات Azure Synapse Analytics.

ستستخدم التعلم الآلي التلقائي في Azure Machine Learning، بدلاً من ترميز التجربة يدويًا. يعتمد نوع النموذج الذي تقوم بتدريبه على المشكلة التي تحاول حلها. في هذا البرنامج التعليمي، ستستخدم نموذج الانحدار للتنبؤ بأجور سيارات الأجرة من مجموعة بيانات سيارات الأجرة في مدينة نيويورك.

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

تحذير

• اعتبارا من 29 سبتمبر 2023، سيتوقف Azure Synapse عن الدعم الرسمي لوقت تشغيل Spark 2.4. بعد 29 سبتمبر 2023، لن نتناول أي تذاكر دعم تتعلق ب Spark 2.4. لن يكون هناك مسار إصدار في مكانه لإصلاحات الأخطاء أو الأمان ل Spark 2.4. استخدام Spark 2.4 بعد تاريخ قطع الدعم يتم على مسؤوليته الخاصة. ونثبط بشدة استمرار استخدامها بسبب مخاوف أمنية ووظائف محتملة.
• كجزء من عملية إهمال Apache Spark 2.4، نود إعلامك بأن AutoML في Azure Synapse Analytics سيتم إهماله أيضا. يتضمن ذلك كلا من واجهة التعليمات البرمجية المنخفضة وواجهات برمجة التطبيقات المستخدمة لإنشاء إصدارات AutoML التجريبية من خلال التعليمات البرمجية.
• يرجى ملاحظة أن وظيفة AutoML كانت متوفرة حصريا من خلال وقت تشغيل Spark 2.4.
• بالنسبة للعملاء الذين يرغبون في الاستمرار في الاستفادة من إمكانات AutoML، نوصي بحفظ بياناتك في حساب Azure Data Lake Storage Gen2 (ADLSg2). من هناك، يمكنك الوصول بسلاسة إلى تجربة AutoML من خلال Azure التعلم الآلي (AzureML). تتوفر هنا معلومات إضافية حول هذا الحل البديل.

المتطلبات الأساسية

• مساحة عمل Azure Synapse Analytics. تأكد من أنه يحتوي على حساب تخزين Azure Data Lake Storage Gen2 تم تكوينه ليكون التخزين الافتراضي. بالنسبة إلى نظام ملفات Data Lake Storage Gen2 الذي تعمل معه، تأكد من أنك مساهم بيانات Blob للتخزين.
• تجمع Apache Spark (الإصدار 2.4) في مساحة عمل Azure Synapse Analytics. للحصول على التفاصيل، راجع التشغيل السريع: إنشاء تجمع Apache Spark بلا خادم باستخدام Synapse Studio.
• خدمة مرتبطة من Azure Machine Learning في مساحة عمل Azure Synapse Analytics. للحصول على التفاصيل، راجع التشغيل السريع: إنشاء خدمة Azure التعلم الآلي مرتبطة جديدة في Azure Synapse Analytics.

سجِّل الدخول إلى مدخل Azure

قم بتسجيل الدخول إلى بوابة Azure.

إنشاء جدول Spark لمجموعة بيانات التدريب

ستحتاج في هذا البرنامج التعليمي إلى جدول Spark. يقوم دفتر الملاحظات التالي بإنشاء واحد:

1. قم بتنزيل دفتر الملاحظات Create-Spark-Table-NYCTaxi- Data.ipynb.

2. استيراد دفتر الملاحظات إلى Synapse Studio.

   

3. حدد تجمع Spark الذي تريد استخدامه، ثم حدد تشغيل الكل. تحصل هذه الخطوة على بيانات سيارات الأجرة في نيويورك من مجموعة البيانات المفتوحة وتحفظ البيانات في قاعدة بيانات Spark الافتراضية.

   

4. بعد اكتمال تشغيل دفتر الملاحظات، سترى جدول Spark جديدًا ضمن قاعدة بيانات Spark الافتراضية. من البيانات، ابحث عن الجدول المسمى nyc_taxi.

   

فتح معالج التعلم الآلي التلقائي

لفتح المعالج، انقر بزر الماوس الأيمن فوق جدول Spark الذي قمت بإنشائه في الخطوة السابقة. ثم حدد التعلم الآلي> تدريب نموذج جديد.

اختر نوع نموذج

حدد نوع نموذج التعلم الآلي للتجربة، بناءً على السؤال الذي تحاول الإجابة عنه. نظرا لأن القيمة التي تحاول التنبؤ بها رقمية (أسعار سيارات الأجرة)، حدد Regression هنا. بعد ذلك، حدد متابعة.

تكوين التجربة

1. توفير تفاصيل التكوين لإنشاء تجربة تعلم آلي يتم تشغيلها في Azure Machine Learning. تدرب عملية التشغيل هذه نماذج متعددة. يتم تسجيل أفضل نموذج من التشغيل الناجح في سجل نموذج Azure Machine Learning.

   

   • مساحة عمل Azure التعلم الآلي: مساحة عمل Azure التعلم الآلي مطلوبة لإنشاء تشغيل تجربة تعلم آلي تلقائي. تحتاج أيضا إلى ربط مساحة عمل Azure Synapse Analytics بمساحة عمل Azure التعلم الآلي باستخدام خدمة مرتبطة. بعد استيفاء جميع المتطلبات الأساسية، يمكنك تحديد مساحة عمل Azure Machine Learning التي تريد استخدامها لهذا التشغيل التلقائي.

   • اسم التجربة: حدد اسم التجربة. عند إرسال تشغيل آلي للتعلم التلقائي، فإنك تقدم اسمًا للتجربة. يتم تخزين معلومات التشغيل ضمن تلك التجربة في مساحة عمل Azure Machine Learning. تنشئ هذه التجربة تجربة جديدة بشكل افتراضي، وتقوم بإنشاء اسم مقترح؛ ولكن يمكنك أيضًا تقديم اسم تجربة حالية.

   • اسم أفضل نموذج: حدد اسم أفضل نموذج من التشغيل التلقائي. يُمنح أفضل نموذج هذا الاسم، ويحفظ في سجل نموذج Azure Machine Learning تلقائيًا بعد هذا التشغيل. يؤدي التشغيل التلقائي للتعلم الآلي إلى إنشاء العديد من نماذج التعلم الآلي. استنادًا إلى المقياس الأساسي الذي تحدده في خطوة لاحقة، يمكن مقارنة هذه النماذج، واختيار أفضل نموذج.

   • العمود الهدف: هذا هو ما سيتم تدريب النموذج على التنبؤ به. اختر العمود في مجموعة البيانات الذي يحتوي على البيانات التي تريد توقعها. في هذا البرنامج التعليمي، حدد العمود fareAmount الرقمي باعتباره العمود الهدف.

   • تجمع Spark: حدد تجمع Spark الذي تريد استخدامه لتشغيل التجربة التلقائية. يتم تشغيل الحسابات على التجمع الذي تحدده.

   • تفاصيل تكوين Spark: بالإضافة إلى تجمع Spark، لديك خيار توفير تفاصيل تكوين الجلسة.

2. حدد متابعة.

تكوين الطراز

نظرا لأنك حددت Regression كنوع النموذج الخاص بك في القسم السابق، تتوفر التكوينات التالية (تتوفر أيضا لنوع نموذج التصنيف ):

• المقياس الأساسي: أدخل المقياس الذي يقيس مدى جودة أداء النموذج. يمكنك استخدام هذا المقياس لمقارنة النماذج المختلفة التي تم إنشاؤها في التشغيل التلقائي، وتحديد النموذج الأفضل أداءً.

• وقت مهمة التدريب (ساعات): حدد الحد الأقصى لمقدار الوقت، بالساعات، لتجربة لتشغيل النماذج وتدريبها. لاحظ أنه يمكنك أيضا توفير قيم أقل من 1 (على سبيل المثال، 0.5).

• الحد الأقصى للتكرارات المتزامنة: اختر الحد الأقصى لعدد التكرارات التي تعمل بالتوازي.

• توافق نموذج ONNX: إذا قمت بتمكين هذا الخيار، يتم تحويل النماذج المدربة بواسطة التعلم الآلي التلقائي إلى تنسيق ONNX. هذا مهم بشكل خاص إذا كنت تريد استخدام النموذج للتسجيل في مجموعات SQL Azure Synapse Analytics.

كل هذه الإعدادات لها قيمة افتراضية يمكنك تخصيصها.

بدء عملية تشغيل

بعد الانتهاء من جميع التكوينات المطلوبة، يمكنك بدء التشغيل التلقائي. يمكنك اختيار إنشاء تشغيل مباشرة عن طريق تحديد Create run - يؤدي هذا إلى بدء التشغيل بدون تعليمة برمجية. بدلا من ذلك، إذا كنت تفضل التعليمات البرمجية، يمكنك تحديد فتح في دفتر الملاحظات - يؤدي ذلك إلى فتح دفتر ملاحظات يحتوي على التعليمات البرمجية التي تنشئ التشغيل حتى تتمكن من عرض التعليمات البرمجية وبدء التشغيل بنفسك.

إشعار

إذا حددت التنبؤ بالسلسلة الزمنية كنوع النموذج الخاص بك في القسم السابق، يجب إجراء تكوينات إضافية. لا يدعم التنبؤ أيضًا توافق نموذج ONNX.

إنشاء عملية تشغيل مباشرة

لبدء تشغيل التعلم الآلي التلقائي مباشرة، حدد إنشاء تشغيل. ترى إشعارًا يشير إلى بدء عملية التشغيل. ثم ترى إشعارًا آخر يشير إلى النجاح. يمكنك أيضًا التحقق من الحالة في Azure Machine Learning عن طريق تحديد الارتباط في الإشعار.

إنشاء عملية تشغيل من جهاز كمبيوتر محمول

لإنشاء دفتر ملاحظات، حدد فتح في دفتر الملاحظات. يمنحك هذا فرصة لإضافة الإعدادات، أو تعديل التعليمة البرمجية لعملية تشغيل التعلم الآلي التلقائي. عندما تكون مستعدا لتشغيل التعليمات البرمجية، حدد تشغيل الكل.

مراقبة عملية التشغيل

بعد إرسال التشغيل بنجاح، سترى ارتباطًا للتجربة قيد التشغيل في مساحة عمل Azure Machine Learning في إخراج دفتر الملاحظات. حدد الارتباط لمراقبة عملية التشغيل التلقائي في Azure Machine Learning.

الخطوات التالية

• البرنامج التعليمي: معالج تسجيل نموذج التعلم الآلي (معاينة) لتجمعات SQL المخصصة
• التشغيل السريع: إنشاء خدمة Azure التعلم الآلي مرتبطة جديدة في Azure Synapse Analytics
• قدرات التعلم الآلي في Azure Synapse Analytics