Megosztás a következőn keresztül:

Csapat Adattudomány folyamat adatszakértőknek

  • Cikk

Ez a cikk útmutatást nyújt az Azure-technológiákkal végzett átfogó adatelemzési megoldások megvalósításakor meghatározott célkitűzésekhez. Végigvezetjük a következőn:

  • Az elemzési számítási feladatok ismertetése.
  • A Team Adattudomány Process (TDSP) használata.
  • Az Azure Machine Tanulás használata.
  • Az adatátvitel és a tárolás alapjainak megismerése.
  • Adatforrás dokumentációja.
  • Elemzésfeldolgozási eszközök használata.

Ezek a képzési anyagok a Team Adattudomány Process (TDSP) és a Microsoft nyílt forráskódú szoftvereihez és eszközkészleteihez kapcsolódnak, amelyek segítenek az adatelemzési megoldások megvalósításában, végrehajtásában és megvalósításában.

Lecke útvonala

Az alábbi táblázatban szereplő elemeket használhatja saját öntanulásához. Olvassa el a Leírást az elérési út követéséhez, válassza ki a témakört a tanulmányi hivatkozások megtekintéséhez, és a Tudáspróba használatával ellenőrizze készségeit.

Cél Téma Leírás Tudásteszt
Analitikus projektek fejlesztésének folyamatainak megismerése Bevezetés a csapat Adattudomány folyamatába Kezdjük a TDSP áttekintésével. Ez a folyamat végigvezeti egy elemzési projekt minden lépésén. A folyamatról és annak implementálásáról az alábbi szakaszokban olvashat bővebben. Tekintse át és töltse le a TDSP-projektszerkezet összetevőit a projekt helyi gépére .
Rugalmas fejlesztés A TDSP számos különböző programozási módszertannal működik jól. Ebben a Tanulás pathban agilis szoftverfejlesztést használunk. Olvassa el a "Mi az Agile Development?" és "Building Agile Culture" című cikkeket, amelyek az Agile használatának alapjait ismertetik. Ezen a webhelyen további referenciák is találhatók, amelyekről bővebben is olvashat. A munkatársak folyamatos integrációjának és folyamatos kézbesítésének (CI/CD) ismertetése.
DevOps adatelemzéshez A fejlesztői műveletek (DevOps) olyan személyeket, folyamatokat és platformokat foglalnak magukba, amelyekkel egy projekten keresztül dolgozhat, és a megoldást integrálhatja a szervezet szabványos informatikai rendszerébe. Ez az integráció elengedhetetlen a bevezetéshez, a biztonsághoz és a biztonsághoz. Ebben az online kurzusban megismerheti a DevOps-gyakorlatokat, és megismerheti a rendelkezésre álló eszközlánc-lehetőségek némelyikét. Készítsen 30 perces bemutatót a technikai közönségnek arról, hogy a DevOps hogyan nélkülözhetetlen az elemzési projektekhez.
Az adattárolás és -feldolgozás technológiáinak megismerése Microsoft business analytics és AI Ebben a Tanulás elérési úton néhány olyan technológiára összpontosítunk, amelyekkel elemzési megoldást hozhat létre, de a Microsoftnak még sok más funkciója van. A lehetőségek megismeréséhez fontos áttekinteni a Microsoft Azure-ban elérhető platformokat és funkciókat, az Azure Stacket és a helyszíni beállításokat. Tekintse át ezt az erőforrást, és ismerje meg az elemzési kérdések megválaszolásához rendelkezésre álló különféle eszközöket. Töltse le és tekintse át a bemutató anyagát ebből a műhelyből.
Betanítási, fejlesztési és éles környezetek beállítása és konfigurálása Microsoft Azure Most hozzunk létre egy fiókot a Microsoft Azure-ban a betanításhoz, és tanuljuk meg, hogyan hozhat létre fejlesztési és tesztelési környezeteket. Ezek az ingyenes betanítási források az első lépések. Végezze el a kezdő és a köztesútvonalat. Ha nem rendelkezik Azure-fiókkal, hozzon létre egyet. Jelentkezzen be az Azure Portalra, és hozzon létre egy erőforráscsoportot a betanításhoz.
Az Azure parancssori felülete (CLI) Az Azure-ral többféleképpen is dolgozhat, a grafikus eszközöktől, például a Visual Studio Code-tól és a Visual Studiótól kezdve az olyan webes felületekig, mint az Azure Portal, valamint a parancssorból, például az Azure PowerShell-parancsoktól és függvényektől. Ebben a cikkben bemutatjuk a parancssori felületet, amelyet helyileg használhat a munkaállomásán, a Windowsban és más operációs rendszerekben, valamint az Azure Portalon. Állítsa be alapértelmezett előfizetését az Azure CLI-vel.
Azure Storage Szüksége van egy helyre az adatok tárolásához. Ebben a cikkben megismerheti az Azure Storage lehetőségeit, a tárfiókok létrehozását, valamint az adatok felhőbe másolását vagy áthelyezését. További információért olvassa el ezt a bevezetést. Hozzon létre egy Storage-fiókot a betanítási erőforráscsoportban, hozzon létre egy tárolót egy blobobjektumhoz, és töltsön fel és töltsön le adatokat.
Microsoft Entra ID A Microsoft Entra ID képezi az alkalmazás biztonságossá tételének alapját. Ebben a cikkben többet is megtudhat a fiókokról, a jogosultságokról és az engedélyekről. Az Active Directory és a biztonság összetett témakörök, ezért olvassa el ezt az erőforrást az alapok megértéséhez. Adjon hozzá egy felhasználót a Microsoft Entra-azonosítóhoz. MEGJEGYZÉS: Előfordulhat, hogy nem rendelkezik engedélyekkel ehhez a művelethez, ha nem Ön az előfizetés rendszergazdája. Ha ez a helyzet, tekintse át ezt az oktatóanyagot, és tudjon meg többet.
Az Azure Adattudomány PyTorch virtuális gépe Az adatelemzési eszközök helyileg több operációs rendszeren is telepíthetők. A PyTorch Adattudomány virtuális gépe azonban tartalmazza az összes szükséges eszközt és rengeteg projektmintát, amellyel dolgozhat. Ebben a cikkben többet is megtudhat a PyTorch Adattudomány virtuális gépéről, és arról, hogyan dolgozhat a példákon. Ez az erőforrás bemutatja a PyTorch Adattudomány virtuális gépét, azt, hogyan hozhat létre egyet, és néhány lehetőséget a kód fejlesztésére. Emellett tartalmazza a képzési terv elvégzéséhez szükséges összes szoftvert, ezért győződjön meg arról, hogy a témakörhöz tartozó tudásanyagot is elvégezte. Hozzon létre egy Adattudomány virtuális gépet a PyTorch számára, és dolgozzon legalább egy laboron.
Az adatelemzési megoldásokhoz szükséges eszközök és technológiák telepítése és megismerése A Git használata Ahhoz, hogy a DevOps-folyamatot a TDSP-vel követhessük, verziókövetési rendszerrel kell rendelkeznünk. A gépi Tanulás a Gitet, egy népszerű nyílt forráskódú elosztott adattárrendszert használja. Ebben a cikkben többet is megtudhat a Git és a GitHub központi adattárának telepítéséről, konfigurálásáról és használatáról. Klónozza ezt a GitHub-projektet a képzési terv projektstruktúrájához.
Visual Studio Code A Visual Studio Code egy platformfüggetlen integrált fejlesztési környezet (IDE), amelyet több nyelvvel és Azure-eszközökkel is használhat. Ezzel az egyetlen környezettel hozhatja létre a teljes megoldást. Első lépésként tekintse meg ezeket a bevezető videókat. Telepítse a Visual Studio Code-ot, és dolgozzon a Visual Studio Code funkcióin az interaktív szerkesztőtéren.
Programozás Pythonnal Ebben a megoldásban a Pythont, az adatelemzés egyik legnépszerűbb nyelvét használjuk. Ez a cikk az analitikus kód Pythonnal való írásának alapjait és a további információkhoz szükséges erőforrásokat ismerteti. A hivatkozás 1–9. szakaszában végezze el a munkát, majd ellenőrizze tudását. Adjon hozzá egy entitást egy Azure-táblához a Python használatával.
A Jupyter Notebook használata A jegyzetfüzetek használatával be lehet vezetni a szöveget és a kódot ugyanabban a dokumentumban. A gépi Tanulás működnek a jegyzetfüzetekkel, ezért érdemes megérteni a használatukat. Olvassa el ezt az oktatóanyagot, és próbálja ki a tudáspróba szakaszban. Nyissa meg a Jupyter weblapját, és válassza az Üdvözli a Python.ipynb lehetőséget. Az oldalon található példákon keresztül haladva.
Gépi tanulás A fejlett elemzési megoldások létrehozása magában foglalja az adatok gépi tanulással történő használatát, amely az AI-vel és a mély tanulással való munka alapját is képezi. Ez a kurzus a gépi tanulásról tanít. Az adatelemzéssel kapcsolatos átfogó tanfolyamért tekintse meg ezt a minősítést. Erőforrás keresése gépi tanulási algoritmusokon. (Tipp: Keresés az "Azure Machine Learning-algoritmus csalási lapja" kifejezésben)
scikit-learn A scikit-learn eszközökkel adatelemzési feladatokat végezhet a Pythonban. Ezt a keretrendszert a megoldásunkban használjuk. Ez a cikk az alapokat ismerteti, és ismerteti, hogy hol tudhat meg többet. Az Írisz-adatkészlet használatával őrizze meg az SVM-modellt a Pickle használatával.
A Docker használata A Docker egy elosztott platform, amellyel alkalmazásokat hozhat létre, szállíthat és futtathat, és gyakran használják a gépi tanulásban. Ez a cikk a technológia alapjait ismerteti, és ismerteti, hogy hol találhat további információkat. Nyissa meg a Visual Studio Code-ot, és telepítse a Docker-bővítményt. Hozzon létre egy egyszerű Node Docker-tárolót.
Azure HDInsight A HDInsight egy nyílt forráskódú Hadoop-infrastruktúra, amely szolgáltatásként érhető el az Azure-ban. A gépi tanulási algoritmusok nagy adatkészleteket tartalmazhatnak, és a HDInsight használatával nagy méretű adatokat tárolhat, továbbíthat és feldolgozhat. Ez a cikk a HDInsighttal való munkát ismerteti. Hozzon létre egy kis HDInsight-fürtöt. A HiveQL-utasítások használatával oszlopokat vetíthet egy /example/data/sample.log fájlba. Másik lehetőségként elvégezheti ezt a tudáspróba elvégzését a helyi rendszerben.
Adatfeldolgozási folyamat létrehozása üzleti követelményekből A TDSP-t követő kérdés meghatározása A telepített és konfigurált fejlesztői környezet, valamint a technológiák és folyamatok megértése miatt itt az ideje, hogy a TDSP használatával mindent összefogjunk az elemzés elvégzéséhez. Először meg kell határoznunk a kérdést, ki kell választanunk az adatforrásokat és a TDSP többi lépését. Tartsa szem előtt a DevOps-folyamatot, miközben dolgozunk ezen a folyamaton. Ebből a cikkből megtudhatja, hogyan veheti át a szervezet követelményeit, és hogyan hozhat létre adatfolyam-térképet az alkalmazáson keresztül a megoldás TDSP használatával történő definiálásához. Keresse meg az erőforrást az "5 adatelemzési kérdés" területen, és írja le a szervezet által e területeken esetleg felmerülő kérdéseket. Mely algoritmusokra kell összpontosítania erre a kérdésre?
Prediktív megoldás létrehozása a Machine Tanulás használatával Machine Learning A gépi Tanulás AI-t használ az adatszervezéshez és a funkciófejlesztéshez, kezeli a kísérleteket és nyomon követi a modellfuttatásokat. Egyetlen környezetet használ, és a legtöbb függvény helyileg vagy az Azure-ban is futtatható. A kísérletek létrehozásához használhatja a PyTorch-keretrendszert, a TensorFlow-keretrendszert vagy más keretrendszereket. Ebben a cikkben a folyamat teljes példájára összpontosítunk, az eddig tanultak alapján.
Eredmények megjelenítése a Power BI-ban Power BI A Power BI egy adatvizualizációs eszköz. Több platformon is elérhető, például webeszközökön, mobileszközökön és asztali számítógépeken. Ebben a cikkben megtudhatja, hogyan használhatja a létrehozott megoldás kimenetét az Azure Storage eredményeinek elérésével és vizualizációk Power BI használatával történő létrehozásával. Végezze el ezt az oktatóanyagot a Power BI-ban. Ezután csatlakoztassa a Power BI-t a kísérletfuttatásban létrehozott blob CSV-hez.
A megoldás figyelése Application Insights A végső megoldás monitorozásához több eszköz is használható. Az alkalmazás Elemzések megkönnyíti a beépített monitorozás integrálását a megoldásba. Alkalmazásfigyelési Elemzések beállítása.
Azure Monitor-naplók Egy másik módszer az alkalmazás monitorozására, ha integrálja azt a DevOps-folyamatba. Az Azure Monitor-naplók számos funkcióval segítik a elemzési megoldások monitorozását az üzembe helyezésük után. Végezze el ezt az oktatóanyagot az Azure Monitor-naplók használatáról.
A képzési terv befejezése Gratulálunk! Elvégezte ezt a képzési tervet.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések

Folytassa AI-útját az AI-tanulási központban.