الذكاء الاصطناعي التعلم الآلي على Databricks
توضح هذه المقالة الأدوات التي يوفرها Azure Databricks لمساعدتك في إنشاء ومراقبة مهام سير عمل الذكاء الاصطناعي وML. يوضح الرسم التخطيطي كيفية عمل هذه المكونات معا لمساعدتك في تنفيذ عملية تطوير النموذج ونشره.
لماذا تستخدم Databricks للتعلم الآلي والتعلم العميق؟
باستخدام Azure Databricks، يمكنك تنفيذ دورة حياة التعلم الآلي الكاملة على نظام أساسي واحد مع حوكمة شاملة في جميع أنحاء مسار التعلم الآلي. يتضمن Azure Databricks الأدوات المضمنة التالية لدعم سير عمل التعلم الآلي:
- كتالوج Unity للحوكمة والاكتشاف وتعيين الإصدار والتحكم في الوصول للبيانات والميزات والنماذج والوظائف.
- Lakehouse Monitoring لمراقبة البيانات.
- هندسة الميزات وتقديم الخدمات.
- دعم دورة حياة النموذج:
- Databricks AutoML للتدريب التلقائي على النموذج.
- MLflow لتتبع تطوير النموذج.
- كتالوج Unity لإدارة النموذج.
- خدمة نموذج Databricks لخدمة نموذج ذات قابلية وصول عالية وزمن انتقال منخفض. يتضمن ذلك نشر LLMs باستخدام:
- واجهات برمجة تطبيقات نموذج الأساس التي تسمح لك بالوصول إلى أحدث النماذج المفتوحة والاستعلام عنها من نقطة نهاية الخدمة.
- النماذج الخارجية التي تسمح لك بالوصول إلى النماذج المستضافة خارج Databricks.
- Lakehouse Monitoring لتتبع جودة تنبؤ النموذج والانجراف.
- مهام سير عمل Databricks لسير العمل التلقائي وخطوط أنابيب ETL الجاهزة للإنتاج.
- مجلدات Databricks Git لإدارة التعليمات البرمجية وتكامل Git.
التعلم العميق على Databricks
قد يكون تكوين البنية الأساسية لتطبيقات التعلم العميق أمرا صعبا.
يهتم وقت تشغيل Databricks ل التعلم الآلي بذلك نيابة عنك، مع مجموعات تحتوي على إصدارات متوافقة مضمنة من مكتبات التعلم العميق الأكثر شيوعا مثل TensorFlow وPyTorch وKeras، والمكتبات الداعمة مثل Petastorm وHyperopt وHorovod. تتضمن مجموعات التعلم الآلي من Databricks Runtime أيضا دعم GPU المكون مسبقا مع برامج التشغيل والمكتبات الداعمة. كما أنه يدعم مكتبات مثل Ray لموازاة معالجة الحوسبة لتوسيع نطاق مهام سير عمل التعلم الآلي وتطبيقات الذكاء الاصطناعي.
تتضمن مجموعات التعلم الآلي من Databricks Runtime أيضا دعم GPU المكون مسبقا مع برامج التشغيل والمكتبات الداعمة. تتيح خدمة نموذج Databricks إنشاء نقاط نهاية GPU قابلة للتطوير لنماذج التعلم العميق دون تكوين إضافي.
بالنسبة لتطبيقات التعلم الآلي، توصي Databricks باستخدام نظام مجموعة يقوم بتشغيل Databricks Runtime التعلم الآلي. راجع إنشاء نظام مجموعة باستخدام Databricks Runtime ML.
للبدء في التعلم العميق على Databricks، راجع:
- أفضل الممارسات للتعلم العميق على Azure Databricks
- التعلم العميق على Databricks
- حلول مرجعية للتعلم العميق
نماذج اللغات الكبيرة (LLMs) الذكاء الاصطناعي التوليدية على Databricks
يتضمن وقت تشغيل Databricks التعلم الآلي مكتبات مثل Hugging Face Transformers وLangChain التي تسمح لك بدمج النماذج المدربة مسبقا أو المكتبات الأخرى مفتوحة المصدر في سير العمل الخاص بك. يسهل تكامل Databricks MLflow استخدام خدمة تتبع MLflow مع مسارات المحولات والنماذج ومكونات المعالجة. بالإضافة إلى ذلك، يمكنك دمج نماذج أو حلول OpenAI من شركاء مثل John Snow Labs في مهام سير عمل Azure Databricks.
باستخدام Azure Databricks، يمكنك تخصيص LLM على بياناتك لمهمتك المحددة. بدعم من مصدر مفتوح الأدوات، مثل Hugging Face و DeepSpeed، يمكنك أخذ مؤسسة LLM بكفاءة وتدريبها باستخدام بياناتك الخاصة لتحسين دقتها لمجالك وعبء العمل المحددين. يمكنك بعد ذلك الاستفادة من LLM المخصص في تطبيقات الذكاء الاصطناعي التوليدية.
بالإضافة إلى ذلك، يوفر Databricks واجهات برمجة تطبيقات نموذج الأساس والنماذج الخارجية التي تسمح لك بالوصول إلى أحدث النماذج المفتوحة والاستعلام عنها من نقطة نهاية الخدمة. باستخدام واجهات برمجة التطبيقات لنموذج الأساس، يمكن للمطورين إنشاء تطبيقات بسرعة وسهولة تستفيد من نموذج الذكاء الاصطناعي توليدي عالي الجودة دون الحفاظ على توزيع النموذج الخاص بهم.
بالنسبة لمستخدمي SQL، يوفر Databricks وظائف الذكاء الاصطناعي يمكن لمحللي بيانات SQL استخدامها للوصول إلى نماذج LLM، بما في ذلك من OpenAI، مباشرة داخل مسارات البيانات ومهام سير العمل الخاصة بهم. راجع الذكاء الاصطناعي Functions على Azure Databricks.
وقت تشغيل Databricks التعلم الآلي
يعمل Databricks Runtime for التعلم الآلي (Databricks Runtime ML) على أتمتة إنشاء نظام مجموعة مع بنية أساسية للتعلم الآلي والتعلم العميق تم إنشاؤها مسبقا بما في ذلك مكتبات التعلم الآلي وDL الأكثر شيوعا. للحصول على القائمة الكاملة للمكتبات في كل إصدار من Databricks Runtime ML، راجع ملاحظات الإصدار.
للوصول إلى البيانات في كتالوج Unity لسير عمل التعلم الآلي، يجب أن يكون وضع الوصول لنظام المجموعة مستخدما واحدا (معينا). المجموعات المشتركة غير متوافقة مع وقت تشغيل Databricks التعلم الآلي. بالإضافة إلى ذلك، Databricks Runtime ML غير مدعوم على مجموعات TableACLs أو المجموعات مع spark.databricks.pyspark.enableProcessIsolation config تعيين إلى true.
إنشاء نظام مجموعة باستخدام Databricks Runtime ML
عند إنشاء نظام مجموعة، حدد إصدار Databricks Runtime ML من القائمة المنسدلة Databricks runtime version. تتوفر أوقات تشغيل التعلم الآلي الممكنة من وحدة المعالجة المركزية (CPU) وGPU.
إذا حددت مجموعة من القائمة المنسدلة في دفتر الملاحظات، يظهر إصدار Databricks Runtime على يمين اسم نظام المجموعة:
إذا حددت وقت تشغيل التعلم الآلي الذي يدعم GPU، فستتم مطالبتك بتحديد نوع برنامج تشغيل متوافق ونوع عامل. تظهر أنواع المثيلات غير المتوافقة باللون الرمادي في القائمة المنسدلة. يتم سرد أنواع المثيلات الممكنة لوحدة معالجة الرسومات ضمن التسمية المسرعة لوحدة معالجة الرسومات .
إشعار
للوصول إلى البيانات في كتالوج Unity لسير عمل التعلم الآلي، يجب أن يكون وضع الوصول لنظام المجموعة مستخدما واحدا (معينا). المجموعات المشتركة غير متوافقة مع وقت تشغيل Databricks التعلم الآلي.
المكتبات المضمنة في Databricks Runtime ML
يتضمن التعلم الآلي من Databricks Runtime مجموعة متنوعة من مكتبات التعلم الآلي الشائعة. يتم تحديث المكتبات مع كل إصدار لتضمين ميزات وإصلاحات جديدة.
قامت Databricks بتعيين مجموعة فرعية من المكتبات المدعومة كمكتبات من المستوى الأعلى. بالنسبة لهذه المكتبات، يوفر Databricks إيقاع تحديث أسرع، يتم التحديث إلى أحدث إصدارات الحزمة مع كل إصدار وقت تشغيل (منع تعارضات التبعية). يوفر Databricks أيضا دعما متقدما واختبارا وتحسينات مضمنة لمكتبات المستوى الأعلى.
للحصول على قائمة كاملة من المستوى الأعلى والمكتبات الأخرى المقدمة، راجع ملاحظات الإصدار الخاصة ب Databricks Runtime ML.
الخطوات التالية
للبدء، راجع:
للحصول على سير عمل MLOps موصى به على التعلم الآلي Databricks، راجع:
للتعرف على ميزات التعلم الآلي Databricks الرئيسية، راجع: