مشاركة عبر

استخدم نموذج التعلم العميق من Microsoft Cognitive Toolkit مع مجموعة Azure HDInsight Spark

  • مقالة

في هذا المقال، نُفذت الخطوات التالية.

  1. تشغيل برنامج نصي مخصص لتثبيت Microsoft Cognitive Toolkit على مجموعة Azure HDInsight Spark.

  2. تحميل دفتر ملاحظات Jupyter إلى مجموعة Apache Spark لمعرفة كيفية تطبيق نموذج التعلم العميق لـ Microsoft Cognitive Toolkit المدرب على الملفات الموجودة في حساب تخزين Azure Blob باستخدام واجهة برمجة تطبيقات Spark Python (PySpark)

المتطلبات الأساسية

كيف يتدفق هذا الحل؟

يقسم هذا الحل بين هذه المقالة ودفتر ملاحظات Jupyter الذي حملته كجزء من هذه المقالة. في هذه المقالة، نُفذت الخطوات التالية:

  • تشغيل إجراء برنامج نصي على مجموعة HDInsight Spark لتثبيت حزم Microsoft Cognitive Toolkit و Python.
  • تحميل دفتر Jupyter الذي يشغل الحل إلى مجموعة HDInsight Spark.

تتم تغطية الخطوات التالية المتبقية في دفتر Jupyter.

  • تحميل صور نموذج في مجموعة بيانات موزعة مرنة من Spark أو RDD.
    • تحميل الوحدات وتحديد الإعدادات المسبقة.
    • تحميل مجموعة البيانات محليًا على المجموعة Spark.
    • تحويل مجموعة البيانات إلى RDD.
  • تسجيل الصور باستخدام نموذج مجموعة أدوات معرفية مدرب.
    • قم بتحميل نموذج مجموعة الأدوات المعرفية المدرب إلى مجموعة Spark.
    • تعريف الدالات التي ستستخدمها العقد العاملة.
    • تسجيل الصور على عقد عاملة.
    • تقييم دقة النموذج.

تثبيت Microsoft Cognitive Toolkit

يمكنك تثبيت Microsoft Cognitive Toolkit على مجموعة Spark باستخدام إجراء البرنامج النصي. يستخدم إجراء البرنامج النصي البرامج النصية المخصصة لتثبيت المكونات على الكتلة غير المتوفرة بشكل افتراضي. يمكنك استخدام البرنامج النصي المخصص من مدخل Microsoft Azure باستخدام HDInsight .NET SDK أو باستخدام Azure PowerShell. يمكنك أيضًا استخدام البرنامج النصي لتثبيت مجموعة الأدوات إما كجزء من إنشاء نظام المجموعة أو بعد المجموعة قيد التشغيل.

في هذه المقالة، نستخدم المدخل لتثبيت مجموعة الأدوات، بعد إنشاء المجموعة. للحصول على طرق أخرى لتشغيل البرنامج النصي المخصص، راجع تخصيص مجموعات HDInsight باستخدام إجراءات البرنامج النصي.

استخدام مدخل Microsoft Azure

للحصول على إرشادات حول كيفية استخدام مدخل Microsoft Azure لتشغيل إجراء البرنامج النصي، راجع تخصيص مجموعات HDInsight باستخدام إجراءات البرنامج النصي. تأكد من توفير الإدخالات التالية لتثبيت Microsoft Cognitive Toolkit. استخدم القيم التالية لإجراءات البرنامج النصي:

الخاصية القيمة
نوع البرنامج النصي - مخصص
الاسم تثبيت MCT
عنوان URI النصي Bash https://raw.githubusercontent.com/Azure-Samples/hdinsight-pyspark-cntk-integration/master/cntk-install.sh
نوع (أنواع) العقدة: رئيس، عامل
المعلمات بلا

تحميل دفتر Jupyter إلى مجموعة Azure HDInsight Spark

لاستخدام Microsoft Cognitive Toolkit مع مجموعة Azure HDInsight Spark يجب تحميل دفتر الملاحظات Jupyter CNTK_model_scoring_on_Spark_walkthrough.ipynb إلى المجموعة HDInsight Azure Spark. يتوفر دفتر الملاحظات هذا على GitHub في https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.

  1. تحميل وإلغاء الضغط https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.

  2. من متصفح ويب، انتقل إلى https://CLUSTERNAME.azurehdinsight.net/jupyter، حيث CLUSTERNAME هو اسم نظام المجموعة.

  3. من دفتر Jupyter، حدد تحميل في الزاوية العلوية اليمنى ثم انتقل إلى ملف التحميل وحدد CNTK_model_scoring_on_Spark_walkthrough.ipynb.

    Upload Jupyter Notebook to Azure HDInsight Spark cluster.

  4. حدد زر تحميل مرة أخرى.

  5. بعد تحميل دفتر الملاحظات، انقر فوق اسم دفتر الملاحظات ثم اتبع الإرشادات الموجودة في دفتر الملاحظات نفسه حول كيفية تحميل مجموعة بيانات وتنفيذ المقالة.

(راجع أيضًا )

السيناريوهات

إنشاء التطبيقات وتشغيلها

الأدوات والملحقات

إدارة الموارد