Gépi Tanulás műveletek lejárati modellje

Azure Machine Learning

Ennek az érettségi modellnek az a célja, hogy tisztázza a Gépi Tanulás Műveletek (MLOps) alapelveit és gyakorlatait. Az érettségi modell egy éles szintű gépi tanulási alkalmazáskörnyezet létrehozásának és működtetésének folyamatos javulását mutatja. Metrikaként használhatja a gépi tanulási éles környezet és a hozzá kapcsolódó folyamatok érettségének méréséhez szükséges progresszív követelmények meghatározásához.

Érettségi modell

Az MLOps fejlettségi modell segít tisztázni a sikeres MLOps-környezet futtatásához szükséges fejlesztési műveletek (DevOps) alapelveit és gyakorlatait. Célja, hogy azonosítsa a meglévő szervezet ilyen környezet megvalósítására tett kísérletében jelentkező hiányosságokat. Ez a módszer azt is megmutatja, hogyan növelheti MLOps-képességeit növekményesen, nem pedig egy teljesen érett környezet követelményeivel. Útmutatóként használhatja a következőkhöz:

Becsülje meg a munka hatókörét az új előjegyzésekhez.
Reális sikerkritériumok létrehozása.
Azonosítsa azokat a termékeket, amelyek átadása az előjegyzés befejezésekor lesz.

A legtöbb érettségi modellhez hasonlóan az MLOps érettségi modell is minőségileg értékeli az embereket/kultúrát, folyamatokat/struktúrákat és objektumokat/technológiát. Az érettségi szint növekedésével annak valószínűsége nő, hogy az incidensek vagy hibák a fejlesztési és gyártási folyamatok minőségének javulásához vezetnek.

Az MLOps fejlettségi modell a műszaki képességek öt szintjét foglalja magában:

Level	Leírás	Legfontosabb tudnivalók	Technológia
0	Nincs MLOps	Nehéz kezelni a gépi tanulási modellek teljes életciklusát A csapatok eltérőek, és a kiadások fájdalmasak A legtöbb rendszer "fekete dobozként" létezik, kevés visszajelzés az üzembe helyezés során/után	Manuális buildek és üzembe helyezések Modell és alkalmazás manuális tesztelése A modell teljesítményének központosított nyomon követése nem A modell betanítása manuális
0	DevOps, de mlOps nélkül	A kiadások kevésbé fájdalmasak, mint a No MLOps, de minden új modellhez a Data Teamre támaszkodnak Továbbra is korlátozott visszajelzés arról, hogy egy modell milyen jól teljesít az éles környezetben Nehezen követhető/reprodukálható eredmények	Automatizált buildek Alkalmazáskód automatizált tesztelése
2	Automatizált betanítás	A betanítási környezet teljes mértékben felügyelt és nyomon követhető Könnyen reprodukálható modell A kiadások manuálisak, de alacsony súrlódásúak	Automatizált modell betanítása A modell betanítási teljesítményének központosított nyomon követése Modellkezelés
3	Automatizált modell üzembe helyezése	A kiadások alacsony súrlódásúak és automatikusak Teljes nyomon követhetőség az üzembe helyezéstől az eredeti adatokig Teljes felügyelt környezet: tesztgyártás > betanítása >	A modell teljesítményének integrált A/B-tesztelése az üzembe helyezéshez Automatizált tesztek az összes kódhoz A modell betanítási teljesítményének központosított nyomon követése
4	Teljes MLOps automatizált műveletek	Teljes rendszer automatizált és könnyen monitorozott Az éles rendszerek tájékoztatást nyújtanak arról, hogyan fejleszthet és bizonyos esetekben automatikusan fejleszthet új modelleket Nulla állásidős rendszer megközelítése	Automatizált modell betanítása és tesztelése Részletes, központosított metrikák az üzembe helyezett modellből

Az alábbi táblázatok az adott folyamat érettségi szintjének részletes jellemzőit azonosítják. A modell tovább fejlődik. Ez a verzió legutóbb 2020 januárjában lett frissítve.

0. szint: Nincs MLOps

Személyek	Modell létrehozása	Modellkiadás	Alkalmazásintegráció
Adattudósok: silózott, nem rendszeres kommunikáció a nagyobb csapattal Adatmérnökök (ha léteznek): silózott, nem rendszeres kommunikációban a nagyobb csapattal Szoftvermérnökök: silózott, a modell távoli fogadása a többi csapattagtól	Manuálisan gyűjtött adatok A számítás valószínűleg nem felügyelt A kísérleteket nem lehet előre nyomon követni A végeredmény lehet egy olyan modellfájl, amely manuálisan van átadva bemenetekkel/kimenetekkel	Manuális folyamat Előfordulhat, hogy a pontozószkript a kísérletek után manuálisan jön létre, nem pedig verzióvezérelt Csak adatelemző vagy adatszakértő által kezelt kiadás	Nagy mértékben támaszkodik az adatelemző szakértelemre a megvalósításhoz Manuális kiadások minden alkalommal

1. szint: DevOps no MLOps

Személyek	Modell létrehozása	Modellkiadás	Alkalmazásintegráció
Adattudósok: silózott, nem rendszeres kommunikáció a nagyobb csapattal Adatmérnökök (ha léteznek): silózott, nem a nagyobb csapattal való rendszeres kommunikációban Szoftvermérnökök: silózott, a modell távoli fogadása a többi csapattagtól	Az adatfolyam automatikusan gyűjti az adatokat A számítás kezelése vagy kezelése nem történik meg A kísérleteket nem lehet előre nyomon követni A végeredmény lehet egy olyan modellfájl, amely manuálisan van átadva bemenetekkel/kimenetekkel	Manuális folyamat Előfordulhat, hogy a pontozószkript a kísérletek után manuálisan jön létre, valószínűleg verzióvezérelt Átadják a szoftvermérnököknek	Alapszintű integrációs tesztek léteznek a modellhez Nagymértékben támaszkodik az adattudósok szakértelmére a modell implementálásához Automatikus kiadások Az alkalmazáskód egységtesztekkel rendelkezik

2. szint: Automatizált képzés

Személyek	Modell létrehozása	Modellkiadás	Alkalmazásintegráció
Adattudósok: Közvetlenül az adatmérnökökkel együttműködve megismételhető szkriptekká/feladatokká alakíthatja a kísérletezési kódot Adatmérnökök: Adattudósok használata Szoftvermérnökök: silózott, a modell távoli fogadása a többi csapattagtól	Az adatfolyam automatikusan gyűjti az adatokat Felügyelt számítás A kísérlet eredményei nyomon követve A betanítási kód és az eredményként kapott modellek egyaránt verzióvezéreltek	Manuális kiadás A pontozószkript tesztekkel vezérelhető verziójú Szoftvermérnöki csapat által felügyelt kiadás	Alapszintű integrációs tesztek léteznek a modellhez Nagymértékben támaszkodik az adattudósok szakértelmére a modell implementálásához Az alkalmazáskód egységtesztekkel rendelkezik

3. szint: Automatizált modell üzembe helyezése

Személyek	Modell létrehozása	Modellkiadás	Alkalmazásintegráció
Adattudósok: Közvetlenül az adatmérnökökkel együttműködve megismételhető szkriptekká/feladatokká alakíthatja a kísérletezési kódot Adatmérnökök: Adattudósok és szoftvermérnökök együttműködése bemenetek/kimenetek kezeléséhez Szoftvermérnökök: Az adatmérnökökkel együttműködve automatizálható a modell integrálása az alkalmazáskódba	Az adatfolyam automatikusan gyűjti az adatokat Felügyelt számítás A kísérlet eredményei nyomon követve A betanítási kód és az eredményként kapott modellek egyaránt verzióvezéreltek	Automatikus kiadás A pontozószkript tesztekkel vezérelhető verziójú Folyamatos kézbesítési (CI/CD) folyamat által felügyelt kiadás	Egység- és integrációs tesztek minden modellkiadáshoz Kevésbé támaszkodik az adattudósok szakértelmére a modell implementálásához Az alkalmazáskód egység-/integrációs tesztekkel rendelkezik

4. szint: Teljes MLOps automatizált újratanítás

Személyek	Modell létrehozása	Modellkiadás	Alkalmazásintegráció
Adattudósok: Közvetlenül az adatmérnökökkel együttműködve megismételhető szkriptekká/feladatokká alakíthatja a kísérletezési kódot. Szoftvermérnökökkel való együttműködés az adatmérnökök jelölőinek azonosításához Adatmérnökök: Adattudósok és szoftvermérnökök együttműködése bemenetek/kimenetek kezeléséhez Szoftvermérnökök: Adatmérnökökkel együttműködve automatizálhatja a modellek alkalmazáskódba való integrálását. Üzembe helyezés utáni metrikák összegyűjtése	Az adatfolyam automatikusan gyűjti az adatokat Az újratanítás automatikusan aktiválódik az éles metrikák alapján Felügyelt számítás A kísérlet eredményei nyomon követve A betanítási kód és az eredményként kapott modellek egyaránt verzióvezéreltek	Automatikus kiadás A pontozási szkript tesztekkel vezérelhető verziójú Folyamatos integráció és CI/CD-folyamat által felügyelt kiadás	Egység- és integrációs tesztek minden modellkiadáshoz Kevésbé támaszkodik az adattudósok szakértelmére a modell implementálásához Az alkalmazáskód egység-/integrációs tesztekkel rendelkezik

Megosztás a következőn keresztül:

Gépi Tanulás műveletek lejárati modellje

Érettségi modell

0. szint: Nincs MLOps

1. szint: DevOps no MLOps

2. szint: Automatizált képzés

3. szint: Automatizált modell üzembe helyezése

4. szint: Teljes MLOps automatizált újratanítás

Következő lépések

Visszajelzés

További források

Megosztás a következőn keresztül:

Gépi Tanulás műveletek lejárati modellje

Érettségi modell

0. szint: Nincs MLOps

1. szint: DevOps no MLOps

2. szint: Automatizált képzés

3. szint: Automatizált modell üzembe helyezése

4. szint: Teljes MLOps automatizált újratanítás

Következő lépések

Kapcsolódó erőforrások

Visszajelzés

További források