A Microsoft Cognitive Toolkit mélytanulási modell használata az Azure HDInsight Spark-fürttel
Ebben a cikkben a következő lépéseket kell elvégeznie.
Futtasson egy egyéni szkriptet a Microsoft Cognitive Toolkit Azure HDInsight Spark-fürtön való telepítéséhez.
Töltsön fel egy Jupyter-jegyzetfüzetet az Apache Spark-fürtbe , és ismerje meg, hogyan alkalmazhat betanított Microsoft Cognitive Toolkit mélytanulási modellt egy Azure Blob Storage-fiók fájljaira a Spark Python API (PySpark) használatával.
Előfeltételek
Apache Spark-fürt megléte a HDInsightban. Lásd: Apache Spark-fürt létrehozása.
A Jupyter-notebookok és a HDInsighton futó Spark használatának ismerete. További információ: Adatok betöltése és lekérdezések futtatása az Apache Spark on HDInsight használatával.
Hogyan halad ez a megoldás?
Ez a megoldás a cikk és a cikk részeként feltöltött Jupyter Notebook között oszlik meg. Ebben a cikkben a következő lépéseket hajtja végre:
- Futtasson egy szkriptműveletet egy HDInsight Spark-fürtön a Microsoft Cognitive Toolkit és Python-csomagok telepítéséhez.
- Töltse fel a megoldást futtató Jupyter Notebookot a HDInsight Spark-fürtre.
A jupyter notebook a következő további lépéseket ismerteti.
- Mintaképek betöltése sparkos rugalmas elosztott adatkészletbe vagy RDD-be.
- Modulok betöltése és előre beállított beállítások definiálása.
- Töltse le az adathalmazt helyileg a Spark-fürtön.
- Konvertálja az adathalmazt RDD-vé.
- A képek pontszáma betanított Cognitive Toolkit-modellel.
- Töltse le a betanított Cognitive Toolkit-modellt a Spark-fürtre.
- Definiálja a feldolgozó csomópontok által használandó függvényeket.
- A munkavégző csomópontokon lévő képek pontszáma.
- Modell pontosságának kiértékelése.
A Microsoft Cognitive Toolkit telepítése
A Microsoft Cognitive Toolkit szkriptművelettel telepíthető Spark-fürtökre. A szkriptművelet egyéni szkriptekkel telepíti az alapértelmezés szerint nem elérhető összetevőket a fürtre. Az egyéni szkriptet az Azure Portalról, a HDInsight .NET SDK-val vagy az Azure PowerShell használatával használhatja. A szkripttel telepítheti az eszközkészletet a fürtlétrehozás részeként, vagy a fürt üzembe helyezése után is.
Ebben a cikkben a portál használatával telepítjük az eszközkészletet a fürt létrehozása után. Az egyéni szkript futtatásának egyéb módjai: HDInsight-fürtök testreszabása szkriptművelettel.
Az Azure Portal használatával
A szkriptműveletek futtatásához az Azure Portal használatával kapcsolatos útmutatásért lásd : HDInsight-fürtök testreszabása szkriptművelettel. Győződjön meg arról, hogy a Microsoft Cognitive Toolkit telepítéséhez a következő bemeneteket adja meg. A szkriptművelethez használja a következő értékeket:
| Tulajdonság | Érték |
|---|---|
| Szkript típusa | -Egyéni |
| Név | Az MCT telepítése |
| Bash-szkript URI | https://raw.githubusercontent.com/Azure-Samples/hdinsight-pyspark-cntk-integration/master/cntk-install.sh |
| Csomópont típusa(i): | Vezető, feldolgozó |
| Paraméterek | Egyik sem |
A Jupyter Notebook feltöltése az Azure HDInsight Spark-fürtbe
A Microsoft Cognitive Toolkit azure HDInsight Spark-fürttel való használatához be kell töltenie a Jupyter Notebook CNTK_model_scoring_on_Spark_walkthrough.ipynb-t az Azure HDInsight Spark-fürtbe. Ez a jegyzetfüzet a GitHubon érhető el a következő címen https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration: .
Töltse le és bontsa https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integrationki a fájlt.
Egy webböngészőben keresse meg
https://CLUSTERNAME.azurehdinsight.net/jupyterCLUSTERNAMEa fürt nevét.A Jupyter Notebookban válassza a Feltöltés lehetőséget a jobb felső sarokban, majd lépjen a letöltéshez, és válassza ki a fájlt
CNTK_model_scoring_on_Spark_walkthrough.ipynb.
Válassza ismét a Feltöltés lehetőséget.
A jegyzetfüzet feltöltése után kattintson a jegyzetfüzet nevére, majd kövesse a jegyzetfüzetben található utasításokat az adatkészlet betöltésére és a cikk végrehajtására vonatkozóan.
Lásd még
Forgatókönyvek
- Apache Spark bi-val: Interaktív adatelemzés végrehajtása a Spark in HDInsight használatával BI-eszközökkel
- Apache Spark gépi Tanulás: A Spark használata a HDInsightban az épülethőmérséklet HVAC-adatokkal történő elemzéséhez
- Apache Spark gépi Tanulás: A Spark használata a HDInsightban az élelmiszer-ellenőrzési eredmények előrejelzéséhez
- Webhelynapló-elemzés az Apache Spark használatával a HDInsightban
- Az Application Insights telemetriai adatelemzése az Apache Spark használatával a HDInsightban
Alkalmazások létrehozása és futtatása
- Önálló alkalmazás létrehozása a Scala használatával
- Feladatok távoli futtatása Apache Spark-fürtön az Apache Livy használatával
Eszközök és bővítmények
- Az IntelliJ IDEA HDInsight-eszközei beépülő moduljának használata Spark Scala-alkalmazások létrehozásához és elküldéséhez
- Az Apache Spark-alkalmazások távoli hibakereséséhez használja a HDInsight Tools beépülő modult az IntelliJ IDEA-hoz
- Apache Zeppelin-jegyzetfüzetek használata Apache Spark-fürttel a HDInsighton
- A HDInsighthoz készült Apache Spark-fürtben elérhető Jupyter Notebook-kernelek
- Külső csomagok használata Jupyter Notebookokkal
- A Jupyter telepítése a számítógépre, majd csatlakozás egy HDInsight Spark-fürthöz