ما المقصود ب Hugging Face Transformers؟
توفر هذه المقالة مقدمة عن معانقة محولات الوجه على Azure Databricks. وهو يتضمن إرشادات حول سبب استخدام Hugging Face Transformers وكيفية تثبيته على مجموعتك.
خلفية لمحولات الوجه المعانقة
معانقة محولات الوجه هو إطار عمل مفتوح المصدر للتعلم العميق الذي تم إنشاؤه بواسطة Hugging Face. ويوفر واجهات برمجة التطبيقات والأدوات لتنزيل أحدث النماذج المدربة مسبقا وضبطها بشكل أكبر لتحقيق أقصى قدر من الأداء. تدعم هذه النماذج المهام الشائعة في طرائق مختلفة، مثل معالجة اللغة الطبيعية ورؤية الكمبيوتر والصوت والتطبيقات متعددة الوسائط.
إشعار
يتضمن Databricks Runtime for التعلم الآلي معانقة Face transformers في Databricks Runtime 10.4 LTS ML وما فوق، ويتضمن معانقة مجموعات بيانات Face وتسريعها وتقييمها في Databricks Runtime 13.0 ML وما فوق.
للتحقق من إصدار Hugging Face المضمن في إصدار Databricks Runtime ML الذي تم تكوينه، راجع قسم مكتبات Python على ملاحظات الإصدار ذات الصلة.
لماذا تستخدم معانقة محولات الوجه؟
بالنسبة للعديد من التطبيقات، مثل تحليل المشاعر وتلخيص النص، تعمل النماذج المدربة مسبقا بشكل جيد دون أي تدريب إضافي على النموذج.
تقوم البنية الأساسية لبرنامج ربط العمليات التجارية Face Transformers بتضمين أفضل الممارسات واختيار نماذج افتراضية لمهام مختلفة، ما يجعل من السهل البدء. تسهل البنية الأساسية لبرنامج ربط العمليات التجارية استخدام وحدات معالجة الرسومات عند توفرها وتسمح بتجميع العناصر المرسلة إلى وحدة معالجة الرسومات للحصول على أداء أفضل لمعدل النقل.
يوفر عناق الوجه:
- مركز نموذج يحتوي على العديد من النماذج المدربة مسبقا.
- 🤗 مكتبة المحولات التي تدعم تنزيل هذه النماذج واستخدامها لتطبيقات NLP والضبط الدقيق. من الشائع أن تحتاج إلى كل من الرمز المميز ونموذج لمهام معالجة اللغة الطبيعية.
- 🤗 مسارات المحولات التي تحتوي على واجهة بسيطة لمعظم مهام معالجة اللغة الطبيعية.
تثبيت transformers
إذا كان إصدار Databricks Runtime على مجموعتك لا يتضمن Hugging Facetransformers، يمكنك تثبيت أحدث مكتبة Hugging Face transformers كمكتبة Databricks PyPI.
%pip install transformers
تثبيت تبعيات النموذج
قد يكون للنماذج المختلفة تبعيات مختلفة. توصي Databricks باستخدام ٪pip magic commands لتثبيت هذه التبعيات حسب الحاجة.
فيما يلي تبعيات شائعة:
librosa: يدعم فك ترميز الملفات الصوتية.soundfile: مطلوب أثناء إنشاء بعض مجموعات البيانات الصوتية.bitsandbytes: مطلوب عند استخدامload_in_8bit=True.SentencePiece: يستخدم كرمز مميز لنماذج NLP.timm: مطلوب من قبل DetrForSegmentation.
تدريب عقدة واحدة
لاختبار وترحيل مهام سير العمل أحادية الجهاز، استخدم نظام مجموعة عقدة واحدة.
موارد إضافية
تتضمن المقالات التالية أمثلة على دفاتر الملاحظات وإرشادات حول كيفية استخدام Hugging Face transformers لضبط نموذج اللغة الكبيرة (LLM) واستدلال النموذج على Azure Databricks.