إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
الآن يدعم Azure Synapse Analytics مجموعات Apache Spark المتسارعة باستخدام وحدات معالجة الرسومات (GPUs).
عند استخدام NVIDIA GPUs يمكن لعلماء ومهندسي البيانات تقليل الوقت اللازم لتشغيل البنيات الأساسية لبرنامج ربط العمليات التجارية لتكامل البيانات وتسجيل نماذج التعلم الآلي والمزيد. يوضح هذا المقال كيفية إنشاء التجمعات المسرعة بواسطة GPU واستخدامها مع Azure Synapse Analytics. يوضح هذا المقال أيضًا تفاصيل برامج تشغيل GPU والمكتبات المثبتة مسبقًا كجزء من وقت التشغيل المتسارع بـ GPU.
إشعار
تم الآن إهمال المعاينة الممكنة ل Azure Synapse GPU.
إنشاء تجمع مسرع بواسطة GPU
لتبسيط عملية إنشاء وإدارة التجمعات، يهتم Azure Synapse بالتثبيت المسبق للمكتبات منخفضة المستوى وإعداد جميع متطلبات الشبكات المعقدة بين عقد الحساب. يسمح هذا التكامل للمستخدمين بالبدء في استخدام مجموعات GPU المسرعة في غضون بضع دقائق فحسب.
إشعار
- من الممكن إنشاء التجمعات المسرعة من GPU في مساحات العمل الموجودة في شرق الولايات المتحدة وشرق أستراليا وشمال أوروبا.
- لا تتوفر التجمعات المسرعة بواسطة وحدة معالجة الرسومات إلا مع وقت تشغيل Apache Spark 3.
وقت التشغيل المسرع من GPU
برنامج تشغيل الجهاز NVIDIA GPU وCUDA وcuDNN
الآن يقدم Azure Synapse Analytics تجمعات Apache Spark المسرعة من GPU، والتي تتضمن مكتبات وتكوينات NVIDIA المختلفة. بشكل افتراضي يعمل Azure Synapse Analytics على تثبيت برنامج تشغيل NVIDIA والمكتبات المطلوبة لاستخدام GPUs على برنامج تشغيل Spark ومثيلات العاملين:
- CUDA 11.2
- libnccl2=2.8.4
- libnccl-dev=2.8.4
- libcudnn8=8.1.1
- libcudnn8-dev=8.1.1
إشعار
يحتوي هذا البرنامج على كود المصدر المقدم من جانب شركة NVIDIA. وعلى وجه التحديد لدعم المجموعات المسرعة من GPU وتتضمن مجموعات Azure Synapse Apache Spark تعليمات برمجية من عينات CUDA.
اتفاقية ترخيص المستخدم النهائي لـ NVIDIA (EULA)
عندما تحدد خيار الأجهزة المسرعة من GPU في Synapse Spark فإنك توافق ضمنيًا على الشروط والأحكام الموضحة في NVIDIA EULA فيما يتعلق بما يأتي:
- CUDA 11.2: EULA :: CUDA Toolkit Documentation (nvidia.com)
- libnccl2=2.8.4: nccl/LICENSE.txt في الشكل الرئيسي · NVIDIA/nccl (github.com)
- libnccl-dev=2.8.4: nccl/LICENSE.txt في master · NVIDIA/nccl (github.com)
- libcudnn8=8.1.1: Software License Agreement :: NVIDIA Deep Learning cuDNN Documentation
- libcudnn8-dev=8.1.1: Software License Agreement :: NVIDIA Deep Learning cuDNN Documentation
- مكتبات CUDA وNCCL وcuDNN واتفاقية ترخيص المستخدم النهائي لـNVIDIA (مع ملحق NCCL) لمكتبة NCCL
تسريع أحمال العمل ETL
من خلال الدعم المضمن ل RAPIDS Accelerator الخاص ب NVIDIA ل Apache Spark، يمكن أن توفر تجمعات Spark المسرعة بواسطة GPU في Azure Synapse تحسينات أداء كبيرة مقارنة بمقاييس التحليل القياسية دون الحاجة إلى أي تغييرات في التعليمات البرمجية. تم إنشاء هذه الحزمة على رأس NVIDIA CUDA وUCX وتمكن عمليات SQL وDataFrame وSpark المتسارعة من وحدة معالجة الرسومات. نظرا لعدم وجود تغييرات في التعليمات البرمجية المطلوبة للاستفادة من هذه التسارعات، يمكن للمستخدمين أيضا تسريع مسارات البيانات الخاصة بهم التي تعتمد على Delta Lake ل Linux Foundation أو فهرسة Hyperspace من Microsoft.
لتعلم المزيد حول كيفية استخدام مسرع NVIDIA RAPIDS مع تجمع GPU المتسارع في Azure Synapse Analytics، تفضل بزيارة هذا الدليل حول كيفية تحسين الأداء باستخدام RAPIDS.
تدريب نماذج التعلم العميق
في الأغلب تكون نماذج التعلم العميق كثيفة البيانات والحساب. لهذا السبب غالبا ما تسرع المؤسسات عملية التدريب الخاصة بها باستخدام المجموعات الممكنة من GPU. في Azure Synapse Analytics، يمكن للمؤسسات إنشاء نماذج باستخدام أطر عمل مثل TensorFlow وPyTorch. بعد ذلك، بإمكان المستخدمين توسيع نطاق نماذج التعلم العميق الخاصة بهم باستخدام Horovod وPetastorm.
لمعرفة المزيد حول كيفية تدريب نماذج التعلم العميق الموزعة، قم بزيارة الأدلة التالية: - البرنامج التعليمي: التدريب الموزع باستخدام Horovod وTensorFlow - Tutorial: التدريب الموزع باستخدام Horovod وPyTorch
التحسين من أحمال عمل تسجيل نقاط التعلم الآلي
يعتمد الكثير من المؤسسات على مهام تسجيل الدفعات الكبيرة لتنفيذها بشكل متكرر خلال نوافذ زمنية ضيقة. لتحقيق وظائف تسجيل الدفعات المحسنة، يمكنك أيضا استخدام تجمعات Spark المسرعة بواسطة وحدة معالجة الرسومات مع مكتبة طيور الطنان من Microsoft. باستخدام Hummingbird، يمكن للمستخدمين أخذ نماذج التعلم الآلي التقليدية المستندة إلى الشجرة وتجميعها في حسابات tensor. يتيح Hummingbird للمستخدمين بعد ذلك الاستفادة بسلاسة من تسريع الأجهزة الأصلية وأطر عمل الشبكة العصبية لتسريع تسجيل نموذج التعلم الآلي الخاص بهم دون الحاجة إلى إعادة كتابة نماذجهم.