مشاركة عبر


مراقبة جودة النموذج وصحة نقطة النهاية

يوفر الفسيفساء الذكاء الاصطناعي Model Serving أدوات متقدمة لمراقبة جودة وصحة النماذج وعمليات توزيعها. الجدول التالي هو نظرة عامة على كل أداة مراقبة متاحة.

الأداة الوصف الغرض الوصول
سجلات الخدمة يلتقط stdout ويتدفق stderr من نقطة نهاية خدمة النموذج. مفيد لتصحيح الأخطاء أثناء نشر النموذج. استخدم print(..., flush=true) للعرض الفوري في السجلات. يمكن الوصول إليه باستخدام علامة التبويب Logs في واجهة مستخدم الخدمة. يتم دفق السجلات في الوقت الفعلي ويمكن تصديرها من خلال واجهة برمجة التطبيقات.
إنشاء سجلات يعرض الإخراج من العملية التي تنشئ تلقائيا بيئة Python جاهزة للإنتاج لنقطة نهاية خدمة النموذج. مفيد لتشخيص مشكلات توزيع النموذج والتبعية. متوفر عند إكمال بناء خدمة النموذج ضمن Build logs في علامة التبويب Logs . يمكن تصدير السجلات من خلال واجهة برمجة التطبيقات.
مقاييس صحة نقطة النهاية يوفر رؤى حول مقاييس البنية الأساسية مثل زمن الانتقال ومعدل الطلب ومعدل الخطأ واستخدام وحدة المعالجة المركزية واستخدام الذاكرة. مهم لفهم أداء وصحة البنية التحتية التي تخدم. متوفر بشكل افتراضي في واجهة مستخدم العرض لآخر 14 يوما. يمكن أيضا دفق البيانات إلى أدوات إمكانية المراقبة في الوقت الفعلي.
جداول الاستدلال يسجل تلقائيا طلبات التنبؤ عبر الإنترنت والاستجابات في جداول Delta التي يديرها كتالوج Unity. استخدم هذه الأداة لمراقبة جودة النموذج أو استجاباته وتصحيحها، أو إنشاء مجموعات بيانات التدريب، أو إجراء عمليات تدقيق التوافق. يمكن تمكين نقاط النهاية الحالية والجديدة لخدمة النموذج باستخدام نقرة واحدة في واجهة المستخدم أو واجهة برمجة التطبيقات.

الموارد الإضافية