نشر نماذج للاستدلال الدفعي والتنبؤ

توضح هذه المقالة كيفية نشر نماذج MLflow للاستدلال دون اتصال (دفعة وتدفق). توصي Databricks باستخدام MLflow لنشر نماذج التعلم الآلي للاستدلال الدفعي أو الدفق. للحصول على معلومات عامة حول العمل مع نماذج MLflow، راجع تسجيل نماذج MLflow وتحميلها وتسجيلها ونشرها.

للحصول على معلومات حول خدمة النموذج في الوقت الحقيقي على Azure Databricks، راجع خدمة النموذج مع Azure Databricks.

استخدام MLflow لاستدلال النموذج

يساعدك MLflow على إنشاء تعليمة برمجية للاستدلال الدفعي أو الدفق.

• في سجل نموذج MLflow، يمكنك تلقائيا إنشاء دفتر ملاحظات للاستدلال الدفعي أو الدفق عبر Delta Live Tables.
• في صفحة MLflow Run لنموذجك، يمكنك نسخ مقتطف التعليمات البرمجية الذي تم إنشاؤه للاستدلال على pandas أو Apache Spark DataFrames.

يمكنك أيضا تخصيص التعليمات البرمجية التي تم إنشاؤها بواسطة أي من الخيارات المذكورة أعلاه. راجع دفاتر الملاحظات التالية للحصول على أمثلة:

• يستخدم مثال استدلال النموذج نموذجا مدربا مع scikit-learn وتم تسجيله مسبقا في MLflow لإظهار كيفية تحميل نموذج واستخدامه لإجراء تنبؤات على البيانات بتنسيقات مختلفة. يوضح دفتر الملاحظات كيفية تطبيق النموذج كنموذج scikit-learn على Pandas DataFrame، وكيفية تطبيق النموذج ك PySpark UDF على Spark DataFrame.
• يوضح مثال MLflow Model Registry كيفية إنشاء نموذج وإدارته ونشره باستخدام Model Registry. في تلك الصفحة، يمكنك البحث عن .predict لتحديد أمثلة تنبؤات دون اتصال (دفعة).

إنشاء وظيفة Azure Databricks

لتشغيل تنبؤات الدفعات أو الدفق كوظيفة، قم بإنشاء دفتر ملاحظات أو JAR يتضمن التعليمات البرمجية المستخدمة لتنفيذ التنبؤات. ثم قم بتنفيذ دفتر الملاحظات أو JAR كوظيفة Azure Databricks. يمكن تشغيل المهام إما على الفور أو على جدول زمني.

استدلال الدفق

من سجل نموذج MLflow، يمكنك تلقائيا إنشاء دفتر ملاحظات يدمج استدلال MLflow PySpark UDF مع Delta Live Tables.

يمكنك أيضا تعديل دفتر ملاحظات الاستدلال الذي تم إنشاؤه لاستخدام Apache Spark Structured Streaming API. راجع البنية الأساسية لبرنامج ربط العمليات التجارية Apache Spark MLlib ومثال Structured Streaming.

الاستدلال باستخدام نماذج التعلم العميق

للحصول على معلومات حول أمثلة واستدلال نموذج التعلم العميق على Azure Databricks، راجع المقالات التالية:

• سير عمل استدلال نموذج التعلم العميق
• دليل ضبط أداء الاستدلال لنموذج التعلم العميق
• الحلول المرجعية

الاستدلال مع نماذج MLlib وXGBoost4J

للاستدلال على نموذج قابل للتطوير باستخدام نماذج MLlib وXGBoost4J، استخدم الأساليب الأصلية transform لإجراء الاستدلال مباشرة على Spark DataFrames. تتضمن دفاتر ملاحظات MLlib المثال خطوات الاستدلال.

تخصيص استنتاج النموذج وتحسينه

عند استخدام واجهات برمجة تطبيقات MLflow لتشغيل الاستدلال على Spark DataFrames، يمكنك تحميل النموذج ك Spark UDF وتطبيقه على نطاق واسع باستخدام الحوسبة الموزعة.

يمكنك تخصيص النموذج الخاص بك لإضافة المعالجة المسبقة أو المعالجة اللاحقة وتحسين الأداء الحسابي للنماذج الكبيرة. خيار جيد لتخصيص النماذج هو MLflow pyfunc API، والذي يسمح لك بتضمين نموذج بمنطق مخصص.

إذا كنت بحاجة إلى إجراء المزيد من التخصيص، يمكنك تضمين نموذج التعلم الآلي يدويا في Pandas UDF أو Pandas Iterator UDF. راجع أمثلة التعلم العميق.

بالنسبة لمجموعات البيانات الأصغر، يمكنك أيضا استخدام إجراءات استدلال النموذج الأصلي التي توفرها المكتبة.

• مثال على استدلال النموذج
• سير عمل استدلال نموذج التعلم العميق
• دليل ضبط أداء الاستدلال لنموذج التعلم العميق