مشاركة عبر

تتبع MLflow للوكلاء

  • مقالة

هام

هذه الميزة في المعاينة العامة.

توضح هذه المقالة تتبع MLflow والسيناريوهات التي يكون فيها مفيدا لتقييم تطبيقات الذكاء الاصطناعي التوليدية في نظام الذكاء الاصطناعي الخاص بك.

في تطوير البرامج، يتضمن التتبع تسجيل تسلسلات الأحداث مثل جلسات المستخدم أو تدفقات الطلب. في سياق أنظمة الذكاء الاصطناعي، غالبا ما يشير التتبع إلى التفاعلات التي لديك مع نظام الذكاء الاصطناعي. قد يبدو مثال تتبع نظام الذكاء الاصطناعي مثل وضع علامة على المدخلات والمعلمات لتطبيق RAG الذي يتضمن رسالة مستخدم مع مطالبة، والبحث عن متجه، وواجهة مع نموذج الذكاء الاصطناعي التوليدي.

ما هو تتبع MLflow؟

باستخدام تتبع MLflow، يمكنك تسجيل التتبعات وتحليلها ومقارنتها عبر إصدارات مختلفة من تطبيقات الذكاء الاصطناعي التوليدية. يسمح لك بتصحيح أخطاء التعليمات البرمجية ل Python الذكاء الاصطناعي التوليدية وتتبع المدخلات والاستجابات، مما يساعد في اكتشاف الظروف أو المعلمات التي تساهم في الأداء الضعيف للتطبيق الخاص بك. يتم دمج MLflow Tracing بإحكام مع أدوات Databricks والبنية الأساسية، ما يسمح لك بتخزين وعرض جميع آثارك في دفاتر ملاحظات Databricks أو واجهة مستخدم تجربة MLflow أثناء تشغيل التعليمات البرمجية الخاصة بك.

عند تطوير أنظمة الذكاء الاصطناعي على Databricks باستخدام LangChain أو PyFunc، يسمح لك MLflow Tracing برؤية جميع الأحداث والمخرجات الوسيطة من كل خطوة من وكيلك. يمكنك بسهولة رؤية المطالبات، والنماذج والمستردات التي تم استخدامها، والمستندات التي تم استردادها لزيادة الاستجابة، والمدة التي استغرقتها الأشياء، والإخراج النهائي. لذلك، إذا كان النموذج الخاص بك هلوسات، يمكنك فحص بسرعة كل خطوة أدت إلى الهلوسة.

لماذا تستخدم تتبع MLflow؟

يوفر MLflow Tracing المزايا التالية لمساعدتك في تتبع سير عمل التطوير الخاص بك.

  • أداة تصور التتبع التفاعلي والتحقيق لتشخيص المشكلات في التطوير.
  • تحقق من أن قوالب المطالبة وعلامات الحماية تنتج نتائج معقولة.
  • استكشاف وتقليل تأثير زمن الانتقال لأطر العمل المختلفة والنماذج وأحجام المجموعات وممارسات تطوير البرامج.
  • قياس تكاليف التطبيق عن طريق تتبع استخدام الرمز المميز بواسطة نماذج مختلفة.
  • إنشاء مجموعات بيانات قياسية ("ذهبية") لتقييم أداء الإصدارات المختلفة.
  • قم بتخزين التتبعات للمراجعة والتقييم دون اتصال. يتطلب هذا نقطة نهاية خدمة تم تكوينها لاستخدام جداول الاستدلال.

تثبيت تتبع MLflow

يتوفر تتبع MLflow في إصدارات MLflow 2.13.0 والإصدارات الأحدث.

بدلا من ذلك، يمكنك %pip install databricks-agents تثبيت أحدث إصدار من databricks-agents ذلك يتضمن إصدار MLflow متوافقا.

استخدام تتبع MLflow

يمكنك استخدام تتبع MLflow في أحمال عمل تطوير العامل بالطرق التالية:

إضافة تتبعات إلى وكلائك

يوفر تتبع MLflow طريقتين مختلفتين لاستخدام التتبعات مع تطبيق الذكاء الاصطناعي التوليدي مع التتبعات. راجع إضافة تتبعات إلى وكلائك.

API ‏‏الوصف
واجهات برمجة التطبيقات بطلاقة (مستحسن) واجهات برمجة التطبيقات ذات التعليمات البرمجية المنخفضة للأجهزة الذكاء الاصطناعي الأنظمة دون القلق بشأن بنية شجرة التتبع. يحدد MLflow بنية الشجرة الأصل-التابعة المناسبة (امتدادات) استنادا إلى مكدس Python.
واجهات برمجة تطبيقات عميل MLflow ينفذ MLflowClient واجهات برمجة تطبيقات أكثر دقة وأمانا لمؤشرات الترابط لحالات الاستخدام المتقدمة. لا تدير واجهات برمجة التطبيقات هذه العلاقة بين الأصل والتابع للامتدادات، لذلك تحتاج إلى تحديدها يدويا لإنشاء بنية التتبع المطلوبة. يتطلب هذا المزيد من التعليمات البرمجية ولكنه يمنحك تحكما أفضل في دورة حياة التتبع، خاصة لحالات الاستخدام متعددة مؤشرات الترابط.

يوصى به لحالات الاستخدام التي تتطلب المزيد من التحكم، مثل التطبيقات متعددة مؤشرات الترابط أو الأجهزة المستندة إلى رد الاتصال.

للحصول على أمثلة على مرجع واجهة برمجة التطبيقات ورمزها، راجع وثائق MLflow.

تمكين جداول الاستدلال لجمع التتبعات

لتسجيل التتبعات في جدول استدلال، يجب تعيين ENABLE_MLFLOW_TRACING متغير البيئة في تكوين نقطة نهاية العرض إلى True. راجع إضافة متغيرات بيئة نص عادي. إذا قمت بنشر عاملك باستخدام deploy() واجهة برمجة التطبيقات، يتم تسجيل التتبعات تلقائيا في جدول استدلال. راجع نشر عامل باستخدام deploy().

إشعار

قد يؤدي تمكين التتبع إلى بعض النفقات العامة لسرعة استجابة نقطة النهاية، خاصة عندما يكون حجم التتبع لكل طلب استدلال كبيرا. لا تضمن Databricks أي اتفاقية على مستوى الخدمة (SLA) لتأثير زمن الانتقال الفعلي على نقطة نهاية النموذج، لأنها تعتمد بشكل كبير على البيئة وتنفيذ النموذج. توصي Databricks باختبار أداء نقطة النهاية واكتساب رؤى حول حمل التتبع قبل النشر إلى تطبيق إنتاج.

يوفر الجدول التالي إشارة تقريبية للتأثير على زمن انتقال الاستدلال لأحجام تتبع مختلفة.

حجم التتبع لكل طلب التأثير على زمن الانتقال (مللي ثانية)
~10 كيلوبايت ~ 1 مللي ثانية
~ 1 ميغابايت 50 ~ 100 مللي ثانية
10 ميغابايت 150 مللي ثانية ~

القيود

  • يتوفر تتبع MLflow في دفاتر ملاحظات Databricks ووظائف دفتر الملاحظات وخدمة النموذج.

  • قد لا يدعم التسجيل التلقائي في LangChain جميع واجهات برمجة التطبيقات للتنبؤ LangChain. يرجى الرجوع إلى وثائق MLflow للحصول على القائمة الكاملة لواجهات برمجة التطبيقات المدعومة.