نماذج اللغات الكبيرة (LLMs) على Databricks

يجعل Azure Databricks من السهل الوصول إلى نماذج اللغات الكبيرة المتاحة للجمهور والبناء منها.

يتضمن وقت تشغيل Databricks التعلم الآلي مكتبات مثل Hugging Face Transformers وLangChain التي تسمح لك بدمج النماذج المدربة مسبقا أو المكتبات الأخرى مفتوحة المصدر في سير العمل الخاص بك. من هنا، يمكنك الاستفادة من إمكانات النظام الأساسي Azure Databricks لضبط LLMs باستخدام بياناتك الخاصة لتحسين أداء المجال.

بالإضافة إلى ذلك، يوفر Azure Databricks وظائف مضمنة لمستخدمي SQL للوصول إلى LLMs وتجربتها مثل Azure OpenAI وOpenAI باستخدام وظائف الذكاء الاصطناعي.

ضبط نموذج الأساس

هام

هذه الميزة في المعاينة العامة. تواصل مع فريق حساب Databricks للتسجيل في المعاينة العامة.

إن ضبط نموذج الأساس (الآن جزء من تدريب نموذج الفسيفساء الذكاء الاصطناعي) هو واجهة بسيطة لمكدس تدريب Databricks لإجراء ضبط كامل للنموذج.

يمكنك القيام بما يلي باستخدام ضبط نموذج الأساس:

• ضبط نموذج ببياناتك المخصصة، مع حفظ نقاط التحقق في MLflow. يمكنك الاحتفاظ بالتحكم الكامل في النموذج الدقيق.
• تسجيل النموذج تلقائيا في كتالوج Unity، ما يسمح بالنشر السهل مع خدمة النموذج.
• ضبط نموذج كامل مملوك عن طريق تحميل أوزان نموذج تم ضبطه مسبقا.

راجع ضبط نموذج الأساس.

Hugging Face Transformers

مع معانقة محولات الوجه على Databricks يمكنك توسيع نطاق تطبيقات دفعة معالجة اللغة الطبيعية (NLP) وضبط النماذج لتطبيقات نموذج اللغات الكبيرة.

تأتي مكتبة Hugging Face transformers مثبتة مسبقا على Databricks Runtime 10.4 LTS ML وما فوق. تعمل العديد من نماذج NLP الشائعة بشكل أفضل على أجهزة GPU، لذلك قد تحصل على أفضل أداء باستخدام أجهزة GPU الحديثة ما لم تستخدم نموذجا محسنا خصيصا للاستخدام على وحدات المعالجة المركزية.

• ما المقصود ب Hugging Face Transformers؟
• ضبط نماذج Hugging Face لوحدة معالجة الرسومات واحدة

DSPy

يقوم DSPy بأتمتة ضبط المطالبة عن طريق ترجمة توقيعات اللغة الطبيعية المعرفة من قبل المستخدم إلى إرشادات كاملة وأمثلة قليلة اللقطات.

راجع إنشاء تطبيقات genAI باستخدام DSPy على Azure Databricks للحصول على أمثلة حول كيفية استخدام DSPy.

LangChain

يتوفر LangChain كنكهة MLflow تجريبية تسمح لعملاء LangChain للاستفادة من الأدوات القوية وقدرات تتبع التجارب ل MLflow مباشرة من بيئة Azure Databricks.

LangChain هو إطار عمل برمجي مصمم للمساعدة في إنشاء تطبيقات تستخدم نماذج اللغات الكبيرة (LLMs) ودمجها مع البيانات الخارجية لتحقيق المزيد من سياق التدريب ل LLMs الخاصة بك.

يتضمن langchain Databricks Runtime ML في Databricks Runtime 13.1 ML وما فوق.

تعرف على تكاملات LangChain المحددة ل Databricks.

الذكاء الاصطناعي الدالات

هام

هذه الميزة في المعاينة العامة.

وظائف الذكاء الاصطناعي هي دالات SQL مضمنة تسمح لمستخدمي SQL بما يلي:

• استخدم واجهات برمجة تطبيقات نموذج Databricks Foundation لإكمال مهام مختلفة على بيانات شركتك.
• الوصول إلى نماذج خارجية مثل GPT-4 من OpenAI وتجربتها.
• نماذج الاستعلام التي تستضيفها الفسيفساء الذكاء الاصطناعي نقاط نهاية خدمة النموذج من استعلامات SQL.