الاستدلال الدفعي باستخدام معدل النقل المقدم لواجهة برمجة تطبيقات نموذج الأساس
توفر هذه المقالة مثالا لدفتر الملاحظات الذي يقوم بإجراء استدلال دفعي على نقطة نهاية معدل النقل المتوفرة باستخدام واجهات برمجة تطبيقات نموذج الأساس. كما يتضمن مثالا لدفتر الملاحظات لتحديد التزامن الأمثل لنقطة النهاية الخاصة بك استنادا إلى حمل عمل الاستدلال الدفعي.
المتطلبات
- مساحة عمل في منطقة تدعم واجهات برمجة التطبيقات لنموذج الأساس.
- Databricks Runtime 14.3 ML LTS أو أعلى.
تشغيل الاستدلال الدفعي
بشكل عام، يتضمن إعداد الاستدلال الدفعي 3 خطوات:
- إعداد نموذج البيانات وإعداد نقطة نهاية قياسية.
- قم بتشغيل اختبار تحميل مع عينة البيانات على نقطة النهاية القياسية لتحديد تكوين نقطة النهاية المثالي.
- إنشاء نقطة النهاية لاستخدامها للاستدلال الدفعي وإرسال طلبات الاستدلال الدفعي.
يقوم دفتر الملاحظات المثال بإعداد الاستدلال الدفعي ويستخدم نموذج Meta Llama 3.1 70B وPySpark لإنجاز ما يلي:
- عينة من بيانات الإدخال لإنشاء مجموعة بيانات تمثيلية
- إنشاء نقطة نهاية معيارية باستخدام النموذج المختار
- اختبار التحميل لنقطة النهاية القياسية باستخدام نموذج البيانات لتحديد زمن الانتقال والتزامن
- إنشاء نقطة نهاية معدل النقل المقدمة للاستدلال الدفعي نظرا لنتائج اختبار التحميل
- إنشاء طلبات الدفعة وإرسالها إلى نقطة نهاية استنتاج الدفعة
استنتاج الدفعة مع دفتر ملاحظات نقطة نهاية معدل النقل المقدم
تحديد التزامن الأمثل لحمل عمل الاستدلال الدفعي
يوفر دفتر الملاحظات التالي أداة بديلة لاختبار التحميل لنقطة النهاية القياسية باستخدام PySpark.