Ennek az érettségi modellnek az a célja, hogy tisztázza a Gépi Tanulás Műveletek (MLOps) alapelveit és gyakorlatait. Az érettségi modell egy éles szintű gépi tanulási alkalmazáskörnyezet létrehozásának és működtetésének folyamatos javulását mutatja. Metrikaként használhatja a gépi tanulási éles környezet és a hozzá kapcsolódó folyamatok érettségének méréséhez szükséges progresszív követelmények meghatározásához.
Érettségi modell
Az MLOps fejlettségi modell segít tisztázni a sikeres MLOps-környezet futtatásához szükséges fejlesztési műveletek (DevOps) alapelveit és gyakorlatait. Célja, hogy azonosítsa a meglévő szervezet ilyen környezet megvalósítására tett kísérletében jelentkező hiányosságokat. Ez a módszer azt is megmutatja, hogyan növelheti MLOps-képességeit növekményesen, nem pedig egy teljesen érett környezet követelményeivel. Útmutatóként használhatja a következőkhöz:
Becsülje meg a munka hatókörét az új előjegyzésekhez.
Reális sikerkritériumok létrehozása.
Azonosítsa azokat a termékeket, amelyek átadása az előjegyzés befejezésekor lesz.
A legtöbb érettségi modellhez hasonlóan az MLOps érettségi modell is minőségileg értékeli az embereket/kultúrát, folyamatokat/struktúrákat és objektumokat/technológiát. Az érettségi szint növekedésével annak valószínűsége nő, hogy az incidensek vagy hibák a fejlesztési és gyártási folyamatok minőségének javulásához vezetnek.
Az MLOps fejlettségi modell a műszaki képességek öt szintjét foglalja magában:
Level |
Leírás |
Legfontosabb tudnivalók |
Technológia |
0 |
Nincs MLOps |
- Nehéz kezelni a gépi tanulási modellek teljes életciklusát
- A csapatok eltérőek, és a kiadások fájdalmasak
- A legtöbb rendszer "fekete dobozként" létezik, kevés visszajelzés az üzembe helyezés során/után
|
- Manuális buildek és üzembe helyezések
- Modell és alkalmazás manuális tesztelése
- A modell teljesítményének központosított nyomon követése nem
- A modell betanítása manuális
|
0 |
DevOps, de mlOps nélkül |
- A kiadások kevésbé fájdalmasak, mint a No MLOps, de minden új modellhez a Data Teamre támaszkodnak
- Továbbra is korlátozott visszajelzés arról, hogy egy modell milyen jól teljesít az éles környezetben
- Nehezen követhető/reprodukálható eredmények
|
- Automatizált buildek
- Alkalmazáskód automatizált tesztelése
|
2 |
Automatizált betanítás |
- A betanítási környezet teljes mértékben felügyelt és nyomon követhető
- Könnyen reprodukálható modell
- A kiadások manuálisak, de alacsony súrlódásúak
|
- Automatizált modell betanítása
- A modell betanítási teljesítményének központosított nyomon követése
- Modellkezelés
|
3 |
Automatizált modell üzembe helyezése |
- A kiadások alacsony súrlódásúak és automatikusak
- Teljes nyomon követhetőség az üzembe helyezéstől az eredeti adatokig
- Teljes felügyelt környezet: tesztgyártás > betanítása >
|
- A modell teljesítményének integrált A/B-tesztelése az üzembe helyezéshez
- Automatizált tesztek az összes kódhoz
- A modell betanítási teljesítményének központosított nyomon követése
|
4 |
Teljes MLOps automatizált műveletek |
- Teljes rendszer automatizált és könnyen monitorozott
- Az éles rendszerek tájékoztatást nyújtanak arról, hogyan fejleszthet és bizonyos esetekben automatikusan fejleszthet új modelleket
- Nulla állásidős rendszer megközelítése
|
- Automatizált modell betanítása és tesztelése
- Részletes, központosított metrikák az üzembe helyezett modellből
|
Az alábbi táblázatok az adott folyamat érettségi szintjének részletes jellemzőit azonosítják. A modell tovább fejlődik. Ez a verzió legutóbb 2020 januárjában lett frissítve.
0. szint: Nincs MLOps
Személyek |
Modell létrehozása |
Modellkiadás |
Alkalmazásintegráció |
- Adattudósok: silózott, nem rendszeres kommunikáció a nagyobb csapattal
- Adatmérnökök (ha léteznek): silózott, nem rendszeres kommunikációban a nagyobb csapattal
- Szoftvermérnökök: silózott, a modell távoli fogadása a többi csapattagtól
|
- Manuálisan gyűjtött adatok
- A számítás valószínűleg nem felügyelt
- A kísérleteket nem lehet előre nyomon követni
- A végeredmény lehet egy olyan modellfájl, amely manuálisan van átadva bemenetekkel/kimenetekkel
|
- Manuális folyamat
- Előfordulhat, hogy a pontozószkript a kísérletek után manuálisan jön létre, nem pedig verzióvezérelt
- Csak adatelemző vagy adatszakértő által kezelt kiadás
|
- Nagy mértékben támaszkodik az adatelemző szakértelemre a megvalósításhoz
- Manuális kiadások minden alkalommal
|
1. szint: DevOps no MLOps
Személyek |
Modell létrehozása |
Modellkiadás |
Alkalmazásintegráció |
- Adattudósok: silózott, nem rendszeres kommunikáció a nagyobb csapattal
- Adatmérnökök (ha léteznek): silózott, nem a nagyobb csapattal való rendszeres kommunikációban
- Szoftvermérnökök: silózott, a modell távoli fogadása a többi csapattagtól
|
- Az adatfolyam automatikusan gyűjti az adatokat
- A számítás kezelése vagy kezelése nem történik meg
- A kísérleteket nem lehet előre nyomon követni
- A végeredmény lehet egy olyan modellfájl, amely manuálisan van átadva bemenetekkel/kimenetekkel
|
- Manuális folyamat
- Előfordulhat, hogy a pontozószkript a kísérletek után manuálisan jön létre, valószínűleg verzióvezérelt
- Átadják a szoftvermérnököknek
|
- Alapszintű integrációs tesztek léteznek a modellhez
- Nagymértékben támaszkodik az adattudósok szakértelmére a modell implementálásához
- Automatikus kiadások
- Az alkalmazáskód egységtesztekkel rendelkezik
|
2. szint: Automatizált képzés
Személyek |
Modell létrehozása |
Modellkiadás |
Alkalmazásintegráció |
- Adattudósok: Közvetlenül az adatmérnökökkel együttműködve megismételhető szkriptekká/feladatokká alakíthatja a kísérletezési kódot
- Adatmérnökök: Adattudósok használata
- Szoftvermérnökök: silózott, a modell távoli fogadása a többi csapattagtól
|
- Az adatfolyam automatikusan gyűjti az adatokat
- Felügyelt számítás
- A kísérlet eredményei nyomon követve
- A betanítási kód és az eredményként kapott modellek egyaránt verzióvezéreltek
|
- Manuális kiadás
- A pontozószkript tesztekkel vezérelhető verziójú
- Szoftvermérnöki csapat által felügyelt kiadás
|
- Alapszintű integrációs tesztek léteznek a modellhez
- Nagymértékben támaszkodik az adattudósok szakértelmére a modell implementálásához
- Az alkalmazáskód egységtesztekkel rendelkezik
|
3. szint: Automatizált modell üzembe helyezése
Személyek |
Modell létrehozása |
Modellkiadás |
Alkalmazásintegráció |
- Adattudósok: Közvetlenül az adatmérnökökkel együttműködve megismételhető szkriptekká/feladatokká alakíthatja a kísérletezési kódot
- Adatmérnökök: Adattudósok és szoftvermérnökök együttműködése bemenetek/kimenetek kezeléséhez
- Szoftvermérnökök: Az adatmérnökökkel együttműködve automatizálható a modell integrálása az alkalmazáskódba
|
- Az adatfolyam automatikusan gyűjti az adatokat
- Felügyelt számítás
- A kísérlet eredményei nyomon követve
- A betanítási kód és az eredményként kapott modellek egyaránt verzióvezéreltek
|
- Automatikus kiadás
- A pontozószkript tesztekkel vezérelhető verziójú
- Folyamatos kézbesítési (CI/CD) folyamat által felügyelt kiadás
|
- Egység- és integrációs tesztek minden modellkiadáshoz
- Kevésbé támaszkodik az adattudósok szakértelmére a modell implementálásához
- Az alkalmazáskód egység-/integrációs tesztekkel rendelkezik
|
4. szint: Teljes MLOps automatizált újratanítás
Személyek |
Modell létrehozása |
Modellkiadás |
Alkalmazásintegráció |
- Adattudósok: Közvetlenül az adatmérnökökkel együttműködve megismételhető szkriptekká/feladatokká alakíthatja a kísérletezési kódot. Szoftvermérnökökkel való együttműködés az adatmérnökök jelölőinek azonosításához
- Adatmérnökök: Adattudósok és szoftvermérnökök együttműködése bemenetek/kimenetek kezeléséhez
- Szoftvermérnökök: Adatmérnökökkel együttműködve automatizálhatja a modellek alkalmazáskódba való integrálását. Üzembe helyezés utáni metrikák összegyűjtése
|
- Az adatfolyam automatikusan gyűjti az adatokat
- Az újratanítás automatikusan aktiválódik az éles metrikák alapján
- Felügyelt számítás
- A kísérlet eredményei nyomon követve
- A betanítási kód és az eredményként kapott modellek egyaránt verzióvezéreltek
|
- Automatikus kiadás
- A pontozási szkript tesztekkel vezérelhető verziójú
- Folyamatos integráció és CI/CD-folyamat által felügyelt kiadás
|
- Egység- és integrációs tesztek minden modellkiadáshoz
- Kevésbé támaszkodik az adattudósok szakértelmére a modell implementálásához
- Az alkalmazáskód egység-/integrációs tesztekkel rendelkezik
|
Következő lépések