فهم عمليات توزيع النموذج
النشر هو مكون تشغيلي أساسي في LLMOps. بمجرد تطوير نماذج اللغة وتقييمها، تحتاج إلى اتخاذ قرارات نشر عملية فريدة من نوعها ل LLMs. هناك ثلاثة نهج رئيسية لتفعيل LLMs: هيكلة المطالبات بإعادة الاستخدام، وتنسيق مهام سير عمل الذكاء الاصطناعي المعقدة، وتقديم نماذج للمستخدمين النهائيين. دعونا نستكشف هذه.
كيفية هيكلة المطالبات
بادئ ذي بدء ، تتمثل إحدى الطرق الرئيسية في المطالبات الهندسية. المطالبات الهندسية هي مطالبات مصممة بعناية توجه LLM لإنشاء الإخراج المطلوب. عند تخزين هذه المطالبات كقوالب، يمكنك إعادة استخدامها عبر تطبيقات مختلفة، ما يضمن الاتساق والكفاءة في عملية النشر.
كيفية تنسيق مهام سير عمل الذكاء الاصطناعي المعقدة
نهج قوي آخر هو استخدام السلاسل. تسمح أدوات مثل LangChain و LlamaIndex بإنشاء سلاسل، وهي سلسلة من العمليات التي تعالج البيانات وتحولها من خلال مراحل مختلفة. باستخدام LLMs في نقاط مختلفة داخل هذه السلاسل، يمكنك تحقيق قدرات متطورة لمعالجة البيانات وتحويلها.
كيفية تقديم نماذج للمستخدمين النهائيين
عندما تعمل مع LLMs ، فإنك تعمل بشكل شائع مع نماذج مدربة مسبقا. يتم تدريب هذه النماذج مسبقا على مجموعات البيانات الكبيرة ويمكن استخدامها خارج الصندوق للتطبيقات المختلفة. فهي توفر طريقة سريعة وسهلة لنشر الذكاء الاصطناعي التوليدية دون الحاجة إلى تدريب مكثف.
للوصول إلى النماذج المدربة مسبقا، لديك خياران:
- النماذج الأساسية المستضافة داخليا أو ذاتية الاستضافة: النماذج التي تتم استضافتها داخل مؤسستك، والتي توفر لك المزيد من التحكم والتخصيص لتخصيص النموذج وفقا لاحتياجاتك المحددة.
- موفرو النماذج الخاصة الخارجية: النماذج المقدمة من خلال استدعاءات واجهة برمجة التطبيقات من قبل، على سبيل المثال، Azure OpenAI، والتي تسمح لك بدمج قدرات الذكاء الاصطناعي المتقدمة دون الحاجة إلى بنية أساسية واسعة النطاق، ما يجعلها خيارا مناسبا وفعالا من حيث التكلفة.
Tip
تعرف على المزيد حول نماذج الأساس المستضافة ذاتيا مثل DBRX من Databricks وموفري النماذج الخارجيين مثل Azure OpenAI.
عندما تريد دمج LLM في بيئة إنتاج، مما يجعلها متاحة للمستخدمين النهائيين أو الأنظمة الأخرى لإنشاء تنبؤات أو إكمالات، تحتاج إلى نشر النموذج الخاص بك.
هناك أربع استراتيجيات للتوزيع:
- الدفعة: إنشاء عمليات الإكمال وتخزينها في جدول مدخلات النص أو المطالبات. على سبيل المثال، لتلخيص التقارير المالية وإنشاء رؤى.
- البث: قم بإنشاء عمليات الإكمال وتخزينها على دفعات صغيرة من المدخلات النصية أو المطالبات أثناء معالجتها. على سبيل المثال، لتخصيص الرسائل التسويقية.
- الوقت الحقيقي: إنشاء عمليات الإكمال بشكل غير متزامن في الوقت الفعلي على إدخال فردي أو موجه على سبيل المثال، لروبوتات الدردشة المستخدمة في خدمة العملاء.
- مضمن أو حافة: انشر النموذج على الأجهزة المحلية أو الخوادم الطرفية لتوفير استجابات بزمن انتقال منخفض وقدرات غير متصلة. على سبيل المثال، لتعديل درجة حرارة تكييف الهواء في سيارة باستخدام الأمر الصوتي.
Note
يعد نشر Edge (على الجهاز) أمرا صعبا مع LLMs بسبب متطلبات المساحة. إذا كنت ترغب في نشر نموذج لغة على الحافة، فقد ترغب في استكشاف نماذج اللغات الصغيرة (SLMs) مثل نماذج Phi-3.