تدريب نموذج الفسيفساء الذكاء الاصطناعي للنماذج الأساسية

مقالة
09/26/2024

هام

هذه الميزة موجودة في المعاينة العامة في المناطق التالية: centralusوeastus2eastusnorthcentralus.westus

باستخدام Mosaic الذكاء الاصطناعي Model Training (المعروف سابقا ب Foundation Model Training)، يمكنك استخدام بياناتك الخاصة لتخصيص نموذج أساسي لتحسين أدائه لتطبيقك المحدد. من خلال إجراء ضبط كامل للمعلمات أو التدريب المستمر لنموذج أساسي، يمكنك تدريب النموذج الخاص بك باستخدام بيانات ووقت وموارد حساب أقل بكثير من تدريب نموذج من البداية.

مع Databricks لديك كل شيء في نظام أساسي واحد: بياناتك الخاصة لاستخدامها للتدريب، والنموذج الأساسي للتدريب، ونقاط التحقق المحفوظة في MLflow، والنموذج المسجل في كتالوج Unity وجاهز للتوزيع.

راجع البرنامج التعليمي: إنشاء وتوزيع تشغيل تدريب نموذج الفسيفساء الذكاء الاصطناعي لمعرفة كيفية إنشاء تشغيل باستخدام واجهة برمجة تطبيقات تدريب نموذج الفسيفساء الذكاء الاصطناعي، ثم مراجعة النتائج ونشر النموذج باستخدام واجهة مستخدم Databricks والفسيفساء الذكاء الاصطناعي خدمة النموذج.

ما هو تدريب نموذج الفسيفساء الذكاء الاصطناعي؟

يتيح لك تدريب نموذج الفسيفساء الذكاء الاصطناعي استخدام واجهة برمجة تطبيقات Databricks أو واجهة المستخدم لضبط نموذج أساسي أو تدريبه بشكل أكبر.

باستخدام تدريب نموذج الذكاء الاصطناعي الفسيفساء، يمكنك:

تدريب نموذج باستخدام بياناتك المخصصة، مع نقاط التحقق المحفوظة في MLflow. يمكنك الاحتفاظ بالتحكم الكامل في النموذج المدرب.
تسجيل النموذج تلقائيا في كتالوج Unity، ما يسمح بالنشر السهل مع خدمة النموذج.
قم بتدريب نموذج كامل مملوك عن طريق تحميل أوزان نموذج مدرب مسبقا.

توصي Databricks بتجربة تدريب نموذج الفسيفساء الذكاء الاصطناعي إذا:

لقد جربت القليل من التعلم وتريد نتائج أفضل.
لقد جربت الهندسة السريعة على نموذج موجود وتريد نتائج أفضل.
تريد الملكية الكاملة على نموذج مخصص لخصوصية البيانات.
أنت حساس لزمن الانتقال أو حساس للتكلفة وتريد استخدام نموذج أصغر وأرخص مع البيانات الخاصة بالمهمة.

المهام المدعومة

يدعم تدريب نموذج الفسيفساء الذكاء الاصطناعي حالات الاستخدام التالية:

إكمال الدردشة: المهمة الموصى بها. تدريب النموذج الخاص بك على سجلات الدردشة بين مستخدم ومساعد الذكاء الاصطناعي. يمكن استخدام هذا التنسيق لكل من سجلات الدردشة الفعلية، وكتهيئة قياسية للإجابة على الأسئلة ونص المحادثة. يتم تنسيق النص تلقائيا في التنسيق المناسب للنموذج المحدد. راجع مثال قوالب الدردشة في وثائق HuggingFace للحصول على مزيد من المعلومات حول القالب.
الضبط الدقيق الخاضع للإشراف: تدريب النموذج الخاص بك على بيانات الاستجابة السريعة المنظمة. استخدم هذا لتكييف النموذج الخاص بك مع مهمة جديدة، أو تغيير نمط الاستجابة الخاص به، أو إضافة قدرات اتباع التعليمات. لا تطبق هذه المهمة تلقائيا أي تنسيق على بياناتك، ويوصى بها فقط عند الحاجة إلى تنسيق بيانات مخصص.
التدريب المسبق المستمر: تدريب النموذج الخاص بك باستخدام بيانات نصية إضافية. استخدم هذا لإضافة معرفة جديدة إلى نموذج أو تركيز نموذج على مجال معين.

المتطلبات

مساحة عمل Databricks في إحدى مناطق Azure التالية: centralusأو eastusnorthcentraluseastus2westus.
تم تثبيت واجهات برمجة تطبيقات تدريب نموذج الفسيفساء الذكاء الاصطناعي باستخدام pip install databricks_genai.
Databricks Runtime 12.2 LTS ML أو أعلى إذا كانت بياناتك في جدول Delta.

راجع إعداد البيانات لنموذج الذكاء الاصطناعي الفسيفساء للحصول على معلومات حول تنسيقات بيانات الإدخال المطلوبة.

حجم البيانات الموصى به لتدريب النموذج

توصي Databricks بالتدريب في البداية باستخدام فترة واحدة إلى أربع فترات. بعد تقييم النموذج الذي تم ضبطه بدقة، إذا كنت تريد أن تكون مخرجات النموذج أكثر تشابها مع بيانات التدريب الخاصة بك، يمكنك البدء في متابعة التدريب باستخدام فترة واحدة إلى فترين إضافيتين.

إذا انخفض أداء النموذج بشكل كبير في المهام غير الممثلة في بيانات الضبط الدقيقة الخاصة بك، أو إذا بدا أن النموذج يقوم بإخراج نسخ دقيقة من بيانات الضبط الدقيقة الخاصة بك، توصي Databricks بتقليص عدد فترات التدريب.

للضبط الدقيق الخاضع للإشراف وإكمال الدردشة، يجب توفير رموز مميزة كافية لطول سياق كامل واحد على الأقل للنموذج. على سبيل المثال، 4096 رمزا مميزا ل meta-llama/Llama-2-7b-chat-hf أو 32768 رمزا مميزا ل mistralai/Mistral-7B-v0.1.

للحصول على التدريب المسبق المستمر، توصي Databricks بحد أدنى 1.5 مليون رمز مميز للحصول على نموذج عالي الجودة يتعلم بياناتك المخصصة.

النماذج المدعومة

يسرد الجدول التالي النماذج المدعومة. للحصول على أحدث النماذج المدعومة وأطوال السياق المقترنة بها، استخدم الدالة get_models() .


from databricks.model_training import foundation_model

foundation_model.get_models()

هام

تم ترخيص Meta Llama 3.2 بموجب ترخيص مجتمع LLAMA 3.2، ومنصة Meta لحقوق النشر ©، وشركة. كافة الحقوق محفوظة. يتحمل العملاء مسؤولية ضمان امتثالهم لشروط هذا الترخيص ونهج الاستخدام المقبول ل Llama 3.2.

تم ترخيص Meta Llama 3.1 بموجب ترخيص مجتمع LLAMA 3.1، ومنصة Meta لحقوق النشر ©، وشركة. كافة الحقوق محفوظة. يتحمل العملاء مسؤولية ضمان الامتثال لتراخيص النموذج المعمول بها.

تم ترخيص Llama 3 بموجب ترخيص مجتمع LLAMA 3، ومنصة Meta ل حقوق النشر ©، وشركة. كافة الحقوق محفوظة. يتحمل العملاء مسؤولية ضمان الامتثال لتراخيص النموذج المعمول بها.

يتم توفير DBRX بموجب وتخضع لترخيص Databricks Open Model، Copyright © Databricks، Inc. كافة الحقوق محفوظة. يتحمل العملاء مسؤولية ضمان الامتثال لتراخيص النموذج المعمول بها، بما في ذلك نهج الاستخدام المقبول ل Databricks.

النموذج	الحد الأقصى لطول السياق	ملاحظات
`databricks/dbrx-base`	32768
`databricks/dbrx-instruct`	32768
`meta-llama/Llama-3.2-1B`	131072
`meta-llama/Llama-3.2-1B-Instruct`	131072
`meta-llama/Llama-3.2-3B`	131072
`meta-llama/Llama-3.2-3B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-405B`	131072
`meta-llama/Meta-Llama-3.1-405B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-70B`	131072
`meta-llama/Meta-Llama-3.1-70B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-8B`	131072
`meta-llama/Meta-Llama-3.1-8B-Instruct`	131072
`meta-llama/Meta-Llama-3-70B`	8192	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Meta-Llama-3-70B-Instruct`	8192	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Meta-Llama-3-8B`	8192	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Meta-Llama-3-8B-Instruct`	8192	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Llama-2-7b-hf`	4096	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Llama-2-13b-hf`	4096	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Llama-2-70b-hf`	4096	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Llama-2-7b-chat-hf`	4096	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Llama-2-13b-chat-hf`	4096	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`meta-llama/Llama-2-70b-chat-hf`	4096	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-7b-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-13b-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-34b-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-7b-Instruct-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-13b-Instruct-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-34b-Instruct-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-7b-Python-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-13b-Python-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`codellama/CodeLlama-34b-Python-hf`	16384	بعد 13 ديسمبر 2024، لن يتم دعم هذا النموذج بعد الآن. راجع النماذج المتوقفة للاستبدال الموصى به.
`mistralai/Mistral-7B-v0.1`	32768
`mistralai/Mistral-7B-Instruct-v0.2`	32768
`mistralai/Mixtral-8x7B-v0.1`	32768

استخدام تدريب نموذج الذكاء الاصطناعي الفسيفساء

يمكن الوصول إلى تدريب نموذج الفسيفساء الذكاء الاصطناعي باستخدام databricks_genai SDK. يقوم المثال التالي بإنشاء وتشغيل تشغيل تدريب يستخدم البيانات من وحدات تخزين كتالوج Unity. راجع إنشاء تشغيل تدريب باستخدام واجهة برمجة تطبيقات تدريب نموذج الفسيفساء الذكاء الاصطناعي للحصول على تفاصيل التكوين.

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

راجع دفتر الملاحظات التجريبي للضبط الدقيق للتعليمات: التعرف على الكيان المسمى للحصول على مثال لضبط التعليمات الذي يستعرض إعداد البيانات وتكوين تشغيل التدريب الدقيق ونشره.

القيود

مجموعات البيانات الكبيرة (10B+ الرموز المميزة) غير مدعومة بسبب توفر الحساب.
للتدريب المسبق المستمر، تقتصر أحمال العمل على ملفات 60-256 ميغابايت. قد تتسبب الملفات التي يزيد حجمها عن 1 غيغابايت في أوقات معالجة أطول.
تسعى Databricks جاهدة لجعل أحدث النماذج الحديثة متاحة للتخصيص باستخدام تدريب نموذج الفسيفساء الذكاء الاصطناعي. مع توفر نماذج جديدة، قد تتم إزالة القدرة على الوصول إلى النماذج القديمة من واجهة برمجة التطبيقات أو واجهة المستخدم، أو قد يتم إهمال النماذج القديمة، أو تحديث النماذج المدعومة. راجع نهج صيانة نماذج الذكاء الاصطناعي التوليدية.
يدعم تدريب نموذج الفسيفساء الذكاء الاصطناعي فقط تدريب النموذج لمساحات عمل Azure باستخدام التخزين خلف Private Link.
- يتم حاليا دعم قراءة البيانات فقط من التخزين خلف Private Link في eastus2 .
إذا كان لديك جدران حماية ممكنة على حساب Azure Data Lake Storage الذي يخزن بياناتك في كتالوج Unity، فأنت بحاجة إلى السماح بنسبة استخدام الشبكة من مجموعات مستوى البيانات بلا خادم Databricks من أجل استخدام تدريب نموذج الذكاء الاصطناعي الفسيفساء. تواصل مع فريق حساب Databricks للحصول على مزيد من المعلومات والحلول المخصصة الممكنة.

مشاركة عبر