نماذج GitHub Copilot للغات الكبيرة (LLMs)

مكتمل

يتم تشغيل GitHub Copilot بواسطة نماذج اللغات الكبيرة (LLMs) لمساعدتك في كتابة التعليمات البرمجية بسلاسة. في هذه الوحدة، نركز على فهم تكامل وتأثير LLMs في GitHub Copilot. دعونا نراجع المواضيع التالية:

• ما هي LLMs؟
• دور LLMs في GitHub Copilot والمطالبة
• ضبط LLMs
• ضبط LoRA

ما هي LLMs؟

نماذج اللغة الكبيرة (LLMs) هي نماذج ذكاء اصطناعي مصممة ومدربة لفهم اللغة البشرية وتوليدها ومعالجتها. هذه النماذج متأصلة مع القدرة على التعامل مع مجموعة واسعة من المهام التي تتضمن نصا، وذلك بفضل كمية كبيرة من البيانات النصية التي تم تدريبهم عليها. فيما يلي بعض الجوانب الأساسية التي يجب فهمها حول LLMs:

حجم بيانات التدريب

تتعرض LLMs لكميات هائلة من النصوص من مصادر متنوعة. هذا التعرض يزودهم بفهم واسع للغة والسياق والتشابكات المتضمنة في أشكال مختلفة من الاتصال.

الفهم السياقي

وهي تتفوق في إنشاء نص مترابط وملائم سياقيا. إن قدرتها على فهم السياق تسمح لها بتقديم مساهمات ذات مغزى، كتكتمل الجمل أو الفقرات أو حتى إنشاء مستندات كاملة ملائمة للسياق.

التعلم الآلي والتكامل الذكاء الاصطناعي

تقوم LLMs على مبادئ التعلم الآلي والذكاء الاصطناعي. إنها شبكات عصبية مع الملايين، أو حتى المليارات، من المعلمات التي يتم ضبطها أثناء عملية التدريب لفهم النص والتنبؤ به بفعالية.

براعه

لا تقتصر هذه النماذج على نوع معين من النص أو اللغة. يمكن تصميمها وضبطها لأداء مهام متخصصة، ما يجعلها متعددة الاستخدامات وقابلة للتطبيق عبر مختلف المجالات واللغات.

دور LLMs في GitHub Copilot والمطالبة

يستخدم GitHub Copilot LLMs لتوفير اقتراحات التعليمات البرمجية المدركة للسياق. لا تأخذ LLM في الاعتبار الملف الحالي فحسب، بل أيضا الملفات وعلامات التبويب المفتوحة الأخرى في IDE لإنشاء إكمال تعليمات برمجية دقيقة وملائمة. يضمن هذا النهج الديناميكي اقتراحات مخصصة، ما يحسن إنتاجيتك.

ضبط LLMs

الضبط الدقيق هو عملية هامة تسمح لنا بتخصيص نماذج لغة كبيرة مدربة مسبقا (LLMs) لمهام أو مجالات محددة. وهو يتضمن تدريب النموذج على مجموعة بيانات أصغر خاصة بالمهمة، تعرف باسم مجموعة البيانات الهدف، مع استخدام المعرفة والمعلمات المكتسبة من مجموعة بيانات كبيرة مدربة مسبقا، ويشار إليها باسم النموذج المصدر.

يعد الضبط الدقيق أمرا ضروريا لتكييف LLMs لمهام محددة، وتعزيز أدائها. ومع ذلك، اتخذ GitHub خطوة أخرى باستخدام طريقة ضبط LoRA الدقيقة، والتي نناقشها بعد ذلك.

ضبط LoRA

الضبط الكامل التقليدي يعني تدريب جميع أجزاء الشبكة العصبية، والتي يمكن أن تكون بطيئة وموثوقة بشكل كبير على الموارد. ولكن الضبط الدقيق لورا (منخفضة الرتبة التكيف) هو بديل ذكي. يتم استخدامه لجعل نماذج اللغة الكبيرة المدربة مسبقا (LLMs) تعمل بشكل أفضل لمهام محددة دون إعادة جميع التدريبات.

إليك كيفية عمل LoRA:

• تضيف LoRA أجزاء أصغر قابلة للتدريب إلى كل طبقة من النموذج المدرب مسبقا، بدلا من تغيير كل شيء.
• يظل النموذج الأصلي كما هو، مما يوفر الوقت والموارد.

ما هو رائع في LoRA:

• يتفوق على أساليب التكيف الأخرى مثل المحولات وضبط البادئة.
• إنه مثل الحصول على نتائج رائعة مع عدد أقل من الأجزاء المتحركة.

بعبارات بسيطة، يتعلق ضبط LoRA بالعمل بشكل أكثر ذكاء، وليس أصعب، لجعل LLMs أفضل لمتطلبات الترميز الخاصة بك عند استخدام Copilot.