قدرات التعلم الآلي في Azure Synapse Analytics

  • مقالة

يقدم Azure Synapse Analytics قدرات مختلفة للتعلم الآلي. تُقدم هذه المقالة نظرة عامة حول كيفية تطبيق التعلم الآلي في سياق Azure Synapse.

تغطي هذه النظرة العامة القدرات المختلفة في Synapse المتعلقة بالتعلم الآلي، من منظور عملية علم البيانات.

قد تكون على دراية بماهية عملية علم البيانات النموذجية. إنها عملية معروفة، وتتبعها معظم مشاريع التعلم الآلي.

على مستوى عالٍ، تحتوي العملية على الخطوات التالية:

  • فهم الأعمال (لم يُناقش في هذه المقالة)
  • اكتساب البيانات وفهمها
  • النمذجة
  • نشر النموذج والتقييم

توضح هذه المقالة قدرات التعلم الآلي لتطبيق Azure Synapse في محركات تحليلات مختلفة، من منظور عملية علم البيانات. يتم تلخيص قدرات Azure Synapse التي يمكن أن تساعد في كل خطوة في عملية علم البيانات.

اكتساب البيانات وفهمها

تتألف معظم مشاريع التعلم الآلي من خطوات راسخة، وإحدى هذه الخطوات هي الوصول إلى البيانات وفهمها.

مصدر البيانات والمسارات

بفضل Azure Data Factory، وهو جزء متكامل أصلا من Azure Synapse، هناك مجموعة قوية من الأدوات المتاحة لاستيعاب البيانات وتدفقات تنسيق البيانات. يتيح لك ذلك إنشاء مسارات بيانات بسهولة للوصول إلى البيانات وتحويلها إلى تنسيق يمكن استخدامه في التعلم الآلي. تعرف على المزيد من تدفقات البيانات في Synapse.

إعداد البيانات واستكشافها/ ومرئياتها

جزء مهم من عملية التعلم الآلي هو فهم البيانات عن طريق الاستكشاف والمرئيات.

اعتمادًا على مكان تخزين البيانات، تقدم Synapse مجموعة من الأدوات المختلفة لاستكشافها وإعدادها للتحليلات والتعلم الآلي. واحدة من أسرع الطرق للبدء في استكشاف البيانات هي استخدام Apache Spark أو تجمعات SQL بلا خادم مباشرة عبر البيانات في Data Lake.

النمذجة

في Azure Synapse، يمكن إجراء نماذج التعلم الآلي للتدريب على Apache Spark Pools باستخدام أدوات مثل PySpark/Python أو Scala أو .NET.

تدريب النموذج على Spark Pools مع MLlib

يمكن تدريب نماذج التعلم الآلي بالاستعانة بمختلف الخوارزميات والمكتبات. يوفر Spark MLlib خوارزميات التعلم الآلي القابلة للتطوير التي يمكن أن تساعد في حل معظم مشكلات التعلم الآلي الكلاسيكية. للحصول على برنامج تعليمي عن كيفية تدريب نموذج باستخدام MLlib في Synapse، راجع إنشاء تطبيق للتعلم الآلي باستخدام Apache Spark MLlib وAzure Synapse Analytics.

بالإضافة إلى MLlib، يمكن أيضا استخدام المكتبات الشائعة مثل Scikit Learn لتطوير النماذج. راجع إدارة مكتبات Apache Spark في Azure Synapse Analytics للحصول على تفاصيل حول كيفية تثبيت المكتبات على تجمعات Synapse Spark.

تدريب النموذج مع Azure Machine Learning - التعلم الآلي

يُعد استخدام تعلم الآلة الآلي طريقة أخرى لتدريب نماذج التعلم الآلي لا تتطلب دراية كبيرة بالتعلم الآلي. التعلم الآلي التلقائي هو ميزة تقوم تلقائيا بتدريب مجموعة من نماذج التعلم الآلي وتسمح للمستخدم بتحديد أفضل نموذج استنادا إلى مقاييس محددة. بفضل التكامل السلس مع Azure التعلم الآلي من دفاتر ملاحظات Azure Synapse، يمكن للمستخدمين بسهولة الاستفادة من التعلم الآلي التلقائي في Synapse باستخدام مصادقة Microsoft Entra. وهذا يعني أنك تحتاج فقط إلى الإشارة إلى مساحة عملAzure Machine Learning، ولا تحتاج إلى إدخال أي بيانات اعتماد. يصف البرنامج التعليمي ⁩تدريب نموذج في Python باستخدام التعلم الآلي، كيفية تدريب النماذج باستخدام التعلم الآلي من Azure على التعلم الآلي المؤتمت على Synapse Spark Pools.

تحذير

  • اعتبارا من 29 سبتمبر 2023، سيتوقف Azure Synapse عن الدعم الرسمي لوقت تشغيل Spark 2.4. بعد 29 سبتمبر 2023، لن نتناول أي تذاكر دعم تتعلق ب Spark 2.4. لن يكون هناك مسار إصدار في مكانه لإصلاحات الأخطاء أو الأمان ل Spark 2.4. استخدام Spark 2.4 بعد تاريخ قطع الدعم يتم على مسؤوليته الخاصة. ونثبط بشدة استمرار استخدامها بسبب مخاوف أمنية ووظائف محتملة.
  • كجزء من عملية إهمال Apache Spark 2.4، نود إعلامك بأن AutoML في Azure Synapse Analytics سيتم إهماله أيضا. يتضمن ذلك كلا من واجهة التعليمات البرمجية المنخفضة وواجهات برمجة التطبيقات المستخدمة لإنشاء إصدارات AutoML التجريبية من خلال التعليمات البرمجية.
  • يرجى ملاحظة أن وظيفة AutoML كانت متوفرة حصريا من خلال وقت تشغيل Spark 2.4.
  • بالنسبة للعملاء الذين يرغبون في الاستمرار في الاستفادة من إمكانات AutoML، نوصي بحفظ بياناتك في حساب Azure Data Lake Storage Gen2 (ADLSg2). من هناك، يمكنك الوصول بسلاسة إلى تجربة AutoML من خلال Azure التعلم الآلي (AzureML). تتوفر هنا معلومات إضافية حول هذا الحل البديل.

نشر النموذج والتقييم

يمكن استخدام النماذج التي تم تدريبها بسهولة إما في Azure Synapse أو خارج Azure Synapse لتسجيل الدفعات. حاليًا في Synapse، يوجد طريقتان يمكنك من خلالهما تشغيل تسجيل الدفعات.

  • يمكنك استخدام الدالة TSQL PREDICT في تجمعات Synapse SQL لتشغيل تنبؤاتك مباشرة حيث توجد بياناتك. تتيح لك هذه الدالة القوية والقابلية للتحجيم إثراء بياناتك دون نقل أي بيانات من مستودع البيانات الخاص بك. تم تقديم تجربة جديدة لنموذج التعلم الآلي الموجه في Synapse Studio حيث يمكنك نشر نموذج ONNX من سجل نموذج Azure التعلم الآلي في Synapse SQL Pools لتسجيل الدفعات باستخدام PREDICT.

  • وتُعَد الاستفادة من Apache Spark Pools فيAzure Synapse خيار آخر لنماذج التعلم الآلي لتسجيل الدفعات في Azure Synapse. اعتمادًا على المكتبات المستخدمة لتدريب النماذج، يمكنك استخدام تجربة التعليمات البرمجية لتسجيل الدفعة.

SynapseML

SynapseML (المعروف سابقا باسم MMLSpark)، هي مكتبة مفتوحة المصدر تبسط إنشاء مسارات التعلم الآلي (التعلم الآلي من Microsoft Azure) القابلة للتطوير على نطاق واسع. وهو نظام بنائي من الأدوات المستخدمة لتوسيع إطار عمل Apache Spark في عدة اتجاهات جديدة. يوحد SynapseML العديد من أطر عمل التعلم الآلي الحالية وخوارزميات Microsoft الجديدة في واجهة برمجة تطبيقات واحدة قابلة للتطوير قابلة للاستخدام عبر Python وR وSca و.NET وJava. لمعرفة المزيد، راجع الميزات الرئيسية لـ SynapseML.

الخطوات التالية