استخدم نموذج التعلم العميق من Microsoft Cognitive Toolkit مع مجموعة Azure HDInsight Spark
في هذا المقال، نُفذت الخطوات التالية.
تشغيل برنامج نصي مخصص لتثبيت Microsoft Cognitive Toolkit على مجموعة Azure HDInsight Spark.
تحميل دفتر ملاحظات Jupyter إلى مجموعة Apache Spark لمعرفة كيفية تطبيق نموذج التعلم العميق لـ Microsoft Cognitive Toolkit المدرب على الملفات الموجودة في حساب تخزين Azure Blob باستخدام واجهة برمجة تطبيقات Spark Python (PySpark)
المتطلبات الأساسية
مجموعة Apache Spark على HDInsight. راجع إنشاء مجموعة Apache Spark .
الإلمام باستخدام Jupyter Notebooks مع Spark على HDInsight. لمزيد من المعلومات، راجع تحميل البيانات وتشغيل الاستعلامات باستخدام Apache Spark على HDInsight.
كيف يتدفق هذا الحل؟
يقسم هذا الحل بين هذه المقالة ودفتر ملاحظات Jupyter الذي حملته كجزء من هذه المقالة. في هذه المقالة، نُفذت الخطوات التالية:
- تشغيل إجراء برنامج نصي على مجموعة HDInsight Spark لتثبيت حزم Microsoft Cognitive Toolkit و Python.
- تحميل دفتر Jupyter الذي يشغل الحل إلى مجموعة HDInsight Spark.
تتم تغطية الخطوات التالية المتبقية في دفتر Jupyter.
- تحميل صور نموذج في مجموعة بيانات موزعة مرنة من Spark أو RDD.
- تحميل الوحدات وتحديد الإعدادات المسبقة.
- تحميل مجموعة البيانات محليًا على المجموعة Spark.
- تحويل مجموعة البيانات إلى RDD.
- تسجيل الصور باستخدام نموذج مجموعة أدوات معرفية مدرب.
- قم بتحميل نموذج مجموعة الأدوات المعرفية المدرب إلى مجموعة Spark.
- تعريف الدالات التي ستستخدمها العقد العاملة.
- تسجيل الصور على عقد عاملة.
- تقييم دقة النموذج.
تثبيت Microsoft Cognitive Toolkit
يمكنك تثبيت Microsoft Cognitive Toolkit على مجموعة Spark باستخدام إجراء البرنامج النصي. يستخدم إجراء البرنامج النصي البرامج النصية المخصصة لتثبيت المكونات على الكتلة غير المتوفرة بشكل افتراضي. يمكنك استخدام البرنامج النصي المخصص من مدخل Microsoft Azure باستخدام HDInsight .NET SDK أو باستخدام Azure PowerShell. يمكنك أيضًا استخدام البرنامج النصي لتثبيت مجموعة الأدوات إما كجزء من إنشاء نظام المجموعة أو بعد المجموعة قيد التشغيل.
في هذه المقالة، نستخدم المدخل لتثبيت مجموعة الأدوات، بعد إنشاء المجموعة. للحصول على طرق أخرى لتشغيل البرنامج النصي المخصص، راجع تخصيص مجموعات HDInsight باستخدام إجراءات البرنامج النصي.
استخدام مدخل Microsoft Azure
للحصول على إرشادات حول كيفية استخدام مدخل Microsoft Azure لتشغيل إجراء البرنامج النصي، راجع تخصيص مجموعات HDInsight باستخدام إجراءات البرنامج النصي. تأكد من توفير الإدخالات التالية لتثبيت Microsoft Cognitive Toolkit. استخدم القيم التالية لإجراءات البرنامج النصي:
الخاصية | القيمة |
---|---|
نوع البرنامج النصي | - مخصص |
الاسم | تثبيت MCT |
عنوان URI النصي Bash | https://raw.githubusercontent.com/Azure-Samples/hdinsight-pyspark-cntk-integration/master/cntk-install.sh |
نوع (أنواع) العقدة: | رئيس، عامل |
المعلمات | بلا |
تحميل دفتر Jupyter إلى مجموعة Azure HDInsight Spark
لاستخدام Microsoft Cognitive Toolkit مع مجموعة Azure HDInsight Spark يجب تحميل دفتر الملاحظات Jupyter CNTK_model_scoring_on_Spark_walkthrough.ipynb إلى المجموعة HDInsight Azure Spark. يتوفر دفتر الملاحظات هذا على GitHub في https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.
تحميل وإلغاء الضغط https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.
من متصفح ويب، انتقل إلى
https://CLUSTERNAME.azurehdinsight.net/jupyter
، حيثCLUSTERNAME
هو اسم نظام المجموعة.من دفتر Jupyter، حدد تحميل في الزاوية العلوية اليمنى ثم انتقل إلى ملف التحميل وحدد
CNTK_model_scoring_on_Spark_walkthrough.ipynb
.حدد زر تحميل مرة أخرى.
بعد تحميل دفتر الملاحظات، انقر فوق اسم دفتر الملاحظات ثم اتبع الإرشادات الموجودة في دفتر الملاحظات نفسه حول كيفية تحميل مجموعة بيانات وتنفيذ المقالة.
(راجع أيضًا )
السيناريوهات
- Apache Spark مع المعلومات المهنية: إجراء تحليل تفاعلي للبيانات باستخدام Spark in HDInsight مع أدوات المعلومات المهنية
- Apache Spark مع التعلم الآلي: استخدام Spark في HDInsight لتحليل درجة حرارة المبنى باستخدام بيانات HVAC
- Apache Spark مع التعلم الآلي: استخدم Spark في HDInsight للتنبؤ بنتائج فحص الأغذية
- تحليل سجل موقع الويب باستخدام Apache Spark في HDInsight
- تحليل بيانات قياس البيانات عن بُعد لتطبيق Application Insight باستخدام Apache Spark في HDInsight
إنشاء التطبيقات وتشغيلها
الأدوات والملحقات
- استخدم HDInsight Tools Plugin لـ IntelliJ IDEA لإنشاء وإرسال تطبيقات Spark Scala
- استخدم HDInsight Tools Plugin لـ IntelliJ IDEA لتصحيح أخطاء تطبيقات Apache Spark عن بُعد
- استخدام دفاتر ملاحظات Apache Zeppelin مع نظام مجموعة Apache Spark على HDInsight
- تتوفر Kernels لـ Jupyter Notebook في مجموعة Apache Spark لـ HDInsight
- استخدام الحزم الخارجية مع دفاتر ملاحظات Jupyter
- تثبيت Jupyter على جهاز الكمبيوتر الخاص بك، والاتصال بنظام مجموعة HDInsight Spark