حدد نموذج الذكاء الاصطناعي التوليدي الصحيح

مكتمل

تخيل أنك مطور وأنت تبني تطبيقا ذكيا. تحتاج إلى اختيار نموذج للتكامل مع تطبيقك لجعله ذكيا. أثناء استكشاف العديد من النماذج المتاحة المختلفة التي يمكن استخدامها الذكاء الاصطناعي التوليدية، فإنك تواجه مفارقة الاختيار، وتغمرك العدد الهائل من الخيارات للاختيار من بينها.

للعثور على أفضل نموذج لتطبيقك، يمكنك استخدام نهج منظم من خلال طرح الأسئلة التالية على نفسك:

• هل يمكن الذكاء الاصطناعي حل حالة الاستخدام؟
• كيف يمكنني تحديد أفضل نموذج لحالة الاستخدام الخاصة بي؟
• هل يمكنني توسيع نطاق لأحمال العمل في العالم الحقيقي؟

دعونا نستكشف كل سؤال من هذه الأسئلة.

هل يمكن الذكاء الاصطناعي حل حالة الاستخدام؟

في الوقت الحاضر لدينا الآلاف من نماذج اللغة للاختيار من بينها. يتمثل التحدي الرئيسي في فهم ما إذا كان هناك نموذج يلبي احتياجاتك والإجابة على السؤال: هل يمكن الذكاء الاصطناعي حل حالة الاستخدام الخاصة بي؟

لبدء الإجابة عن هذا السؤال، تحتاج إلى اكتشاف نموذج وتصفيته ونشره. يمكنك استكشاف نماذج اللغات المتوفرة من خلال ثلاثة كتالوجات مختلفة:

• Face Hugging Face: كتالوج واسع من النماذج مفتوحة المصدر عبر مجالات مختلفة.
• GitHub: الوصول إلى نماذج متنوعة عبر GitHub Marketplace وGitHub Copilot.
• مايكروسوفت فاوندري: كتالوج شامل بأدوات قوية للنشر.

على الرغم من أنه يمكنك استخدام كل من هذه الكتالوجات لاستكشاف النماذج، إلا أن كتالوج النماذج في Microsoft Foundry يجعل من السهل استكشاف ونشر نموذج لبناء النموذج الأولي الخاص بك، مع تقديم أفضل مجموعة من النماذج.

دعونا نستكشف النماذج المتاحة من خلال كتالوج نماذج Microsoft Foundry.

الاختيار بين نماذج اللغات الكبيرة والصغيرة

أولا وقبل كل شيء، لديك خيار بين نماذج اللغات الكبيرة (LLMs) ونماذج اللغة الصغيرة (SLMs).

تعد LLMs مثل GPT-4 و Mistral Large و Llama3 70B و Llama 405B و Command R+ نماذج الذكاء الاصطناعي قوية مصممة للمهام التي تتطلب المنطق العميق وإنشاء المحتوى المعقد وفهم السياق الواسع.

تعد SLMs مثل Phi3 ونماذج Mistral OSS وLaama3 8B فعالة وفعالة من حيث التكلفة، بينما لا تزال تتعامل مع العديد من مهام معالجة اللغة الطبيعية الشائعة (NLP). إنها مثالية للتشغيل على الأجهزة ذات الواجهة السفلية أو أجهزة الحافة، حيث تكون التكلفة والسرعة أكثر أهمية من تعقيد النموذج.

التركيز على طريقة أو مهمة أو أداة

تعرف نماذج اللغة مثل GPT-4 و Mistral Large أيضا باسم إكمال الدردشة النماذج، المصممة لإنشاء استجابات متسقة ومناسبة للسياق تستند إلى النص. عندما تحتاج إلى مستويات أعلى من الأداء في المهام المعقدة مثل الرياضيات والترميز والعلوم والاستراتيجية والخدمات اللوجستية، يمكنك أيضا استخدام المنطق نماذج مثل DeepSeek-R1 وo1.

بالإضافة إلى الذكاء الاصطناعي المستندة إلى النص، بعض النماذجمتعددة الوسائط، مما يعني أنها يمكنها معالجة الصور والصوت وأنواع البيانات الأخرى إلى جانب النص. نماذج مثل GPT-4o وPhi3-vision قادرة على تحليل وإنشاء كل من النصوص والصور. تكون النماذج متعددة الوسائط مفيدة عندما يحتاج تطبيقك إلى معالجة الصور وفهمها، كما هو الحال في رؤية الكمبيوتر أو تحليل المستندات. أو عندما تريد إنشاء تطبيق الذكاء الاصطناعي يتفاعل مع المحتوى المرئي، مثل مدرس رقمي يشرح الصور أو المخططات.

إذا كانت حالة الاستخدام تتضمن إنشاء صور، فإن أدوات مثل DALL· يمكن ل E 3 الذكاء الاصطناعي الاستقرار إنشاء مرئيات واقعية من مطالبات النص. تعد نماذج إنشاء الصور رائعة لتصميم المواد التسويقية أو الرسوم التوضيحية أو الفن الرقمي.

مجموعة أخرى من النماذج الخاصة بالمهمة هي تضمين النماذج مثل Ada و Cohere. تحول نماذج التضمين النص إلى تمثيلات رقمية وتستخدم لتحسين صلة البحث من خلال فهم المعنى الدلالي. غالبا ما يتم تنفيذ هذه النماذج في سيناريوهات استرداد الجيل المعزز (RAG) لتحسين محركات التوصيات من خلال ربط محتوى مماثل.

عندما تريد إنشاء تطبيق يتفاعل مع أدوات البرامج الأخرى ديناميكيا، يمكنك إضافة استدعاء وظيفة ودعم JSON . تسمح هذه الإمكانات للنماذج الذكاء الاصطناعي بالعمل بكفاءة مع البيانات المنظمة، ما يجعلها مفيدة لأتمتة استدعاءات واجهة برمجة التطبيقات واستعلامات قاعدة البيانات ومعالجة البيانات المنظمة.

متخصص في النماذج الإقليمية والنماذج الخاصة بالمجال

تم تصميم نماذج معينة للغات أو مناطق أو صناعات معينة. يمكن أن تتفوق هذه النماذج على الذكاء الاصطناعي التوليدية للأغراض العامة في مجالاتها الخاصة. على سبيل المثال:

• Core42 JAIS هي لغة LLM باللغة العربية، مما يجعلها الخيار الأفضل للتطبيقات التي تستهدف المستخدمين الناطقين باللغة العربية.
• تركز Mistral Large بشدة على اللغات الأوروبية، ما يضمن دقة لغوية أفضل للتطبيقات متعددة اللغات.
• تتخصص Nixtla TimeGEN-1 في التنبؤ بالسلاسل الزمنية، مما يجعلها مثالية للتنبؤات المالية وتحسين سلسلة التوريد والتنبؤ بالطلب.

إذا كان لمشروعك احتياجات إقليمية أو لغوية أو خاصة بالصناعة، يمكن أن توفر هذه النماذج نتائج أكثر صلة من الذكاء الاصطناعي للأغراض العامة.

موازنة المرونة والأداء مع النماذج المفتوحة مقابل النماذج الخاصة

تحتاج أيضا إلى تحديد ما إذا كنت ستستخدم نماذج مفتوحة المصدر أو نماذج خاصة، لكل منها مزاياها الخاصة.

نماذج الملكية هي الأفضل للأداء المتطور واستخدام المؤسسات. يقدم Azure نماذج مثل GPT-4 من OpenAI و Mistral Large و Cohere Command R+، والتي توفر قدرات الذكاء الاصطناعي رائدة في الصناعة. هذه النماذج مثالية للشركات التي تحتاج إلى الأمان والدعم والدقة العالية على مستوى المؤسسة.

النماذج مفتوحة المصدر هي الأفضل للمرونة وكفاءة التكلفة. هناك مئات النماذج مفتوحة المصدر المتوفرة في كتالوج نماذج Microsoft Foundry من Hugging Face، ونماذج من Meta وDatabricks وSnowflake وNvidia. تمنح النماذج المفتوحة المطورين مزيدا من التحكم، ما يسمح بالضبط الدقيق والتخصيص والنشر المحلي.

أي نموذج تختاره، يمكنك استخدام كتالوج نماذج Microsoft Foundry. يفي استخدام النماذج من خلال كتالوج النموذج بمتطلبات المؤسسة الرئيسية للاستخدام:

• البيانات والخصوصية: يمكنك تحديد ما يحدث لبياناتك.
• الأمان والتوافق: الأمان المضمن.
• الذكاء الاصطناعي المسؤول وسلامة المحتوى: التقييمات وسلامة المحتوى.

الآن أنت تعرف نماذج اللغة المتوفرة لك، يجب أن يكون لديك فهم ما إذا كان الذكاء الاصطناعي يمكنه بالفعل حل حالة الاستخدام الخاصة بك. إذا كنت تعتقد أن نموذج اللغة سيثري التطبيق الخاص بك، فستحتاج بعد ذلك إلى تحديد النموذج المحدد الذي تريد نشره ودمجه.

كيف يمكنني تحديد أفضل نموذج لحالة الاستخدام الخاصة بي؟

لتحديد أفضل نموذج لغة لحالة الاستخدام، تحتاج إلى تحديد المعايير التي تستخدمها لتصفية النماذج. المعايير هي الخصائص الضرورية التي تحددها للنموذج. أربع خصائص يمكنك مراعاتها هي:

• نوع المهمة: ما نوع المهمة التي تحتاج إلى تنفيذ النموذج؟ هل يتضمن فهم النص فقط أو الصوت أو الفيديو أو طرائق متعددة؟
• الدقة: هل النموذج الأساسي جيد بما يكفي أم أنك بحاجة إلى نموذج دقيق يتم تدريبه على مهارة أو مجموعة بيانات محددة؟
• الانفتاح: هل تريد أن تكون قادرا على ضبط النموذج بنفسك؟
• التوزيع: هل تريد نشر النموذج محليا، أو على نقطة نهاية بلا خادم، أم تريد إدارة البنية الأساسية للتوزيع؟

لقد استكشفت بالفعل الأنواع المختلفة من النماذج المتوفرة في القسم السابق. الآن، دعونا نستكشف بمزيد من التفصيل كيف يمكن أن تكون الدقة والأداء عوامل تصفية مهمة عند اختيار نموذج.

تصفية النماذج للدقة

في الذكاء الاصطناعي التوليدية، تشير الدقة إلى دقة النموذج في إنشاء مخرجات صحيحة وذو صلة. وهو يقيس نسبة النتائج الإيجابية الحقيقية (المخرجات الصحيحة) بين جميع المخرجات التي تم إنشاؤها. الدقة العالية تعني نتائج أقل غير ذات صلة أو غير صحيحة، ما يجعل النموذج أكثر موثوقية.

عند دمج نموذج لغة في تطبيق، يمكنك الاختيار بين نموذج أساسي أو نموذج دقيق. يتم تدريب النموذج الأساسي، مثل GPT-4، مسبقا على مجموعة بيانات كبيرة ويمكنه التعامل مع مهام مختلفة ولكن يمكن أن يفتقر إلى الدقة لمجالات محددة. يمكن أن تحسن تقنيات مثل الهندسة الفورية هذا، ولكن في بعض الأحيان يكون الضبط الدقيق ضروريا.

يتم تدريب نموذج دقيق بشكل أكبر على مجموعة بيانات أصغر خاصة بالمهمة لتحسين دقتها وقدرتها على توليد مخرجات ذات صلة لتطبيقات محددة. يمكنك إما استخدام نموذج دقيق أو ضبط نموذج بنفسك.

تصفية النماذج للأداء

يمكنك تقييم أداء النموذج الخاص بك في مراحل مختلفة، باستخدام نهج التقييم المختلفة.

عندما تستكشف النماذج من خلال كتالوج نماذج Microsoft Foundry، يمكنك استخدام معايير النماذج لمقارنة المقاييس المتاحة للجمهور مثل التماسك والدقة عبر النماذج ومجموعات البيانات. يمكن أن تساعدك هذه المعايير في مرحلة الاستكشاف الأولية، ولكنها لا تقدم سوى القليل من المعلومات حول كيفية أداء النموذج في حالة الاستخدام الخاصة بك.

المعيار	وصف
دقة	مقارنة النص الذي تم إنشاؤه بواسطة النموذج مع الإجابة الصحيحة وفقا لمجموعة البيانات. تكون النتيجة واحدة إذا تطابق النص الذي تم إنشاؤه مع الإجابة تماما، وصفر بخلاف ذلك.
الاتساق	يقيس ما إذا كان إخراج النموذج يتدفق بسلاسة، ويقرأ بشكل طبيعي، ويشبه اللغة التي يشبهها الإنسان.
Fluency	يقيم مدى التزام النص الذي تم إنشاؤه بالقواعد النحوية والهياكل التركيبية والاستخدام المناسب للمفردات، ما يؤدي إلى استجابات صحيحة لغويا وطبيعية.
تشابه GPT	يحدد التشابه الدلالي بين جملة الحقيقة الأساسية (أو المستند) وجملة التنبؤ التي تم إنشاؤها بواسطة نموذج الذكاء الاصطناعي.

لتقييم كيفية أداء نموذج محدد فيما يتعلق بمتطلباتك المحددة، يمكنك التفكير في اليدوي أو تقييمات التلقائية. تسمح لك التقييمات اليدوية بتقييم استجابات النموذج الخاص بك. تتضمن التقييمات التلقائية مقاييس التعلم الآلي التقليدية والمقاييس بمساعدة الذكاء الاصطناعي التي يتم حسابها وإنشاءها لك.

عند تقييم أداء النموذج، من الشائع البدء بالتقييمات اليدوية، حيث إنها تقيم بسرعة جودة استجابات النموذج. للمقارنات الأكثر منهجية، تقدم التقييمات التلقائية باستخدام مقاييس مثل الدقة والاسترجاع ودرجة F1 استنادا إلى الحقيقة الأساسية الخاصة بك نهجا أسرع وقابلا للتطوير وأكثر موضوعية.

هل يمكنني توسيع نطاق لأحمال العمل في العالم الحقيقي؟

لقد حددت نموذجا لحالة الاستخدام الخاصة بك وقمت ببناء نموذج أولي بنجاح. الآن، تحتاج إلى فهم كيفية توسيع نطاق أحمال العمل في العالم الحقيقي.

عندما تعمل مع Microsoft Foundry، تعد البوابة أداة رائعة لاستكشاف النماذج وبناء التعليمات والنماذج الأولية. عند التحضير للإنتاج، تحتاج إلى الانتقال إلى التفكير في التعليمات البرمجية أولا والنظر في دورة حياة التطوير الشاملة.

في الأقسام التالية، ستتعرف على دورة الحياة الكاملة الشاملة والأدوات والأطر التي يمكنك استخدامها لتوسيع نطاق تطبيقك.