Účelem tohoto modelu vyspělosti je pomoct objasnit principy a postupy strojového učení (Machine Learning Operations). Model vyspělosti ukazuje průběžné zlepšování při vytváření a provozu prostředí aplikace strojového učení na úrovni produkčního prostředí. Můžete ho použít jako metriku pro stanovení progresivních požadavků potřebných k měření vyspělosti produkčního prostředí strojového učení a souvisejících procesů.
Model splatnosti
Model vyspělosti MLOps pomáhá objasnit principy a postupy vývojového provozu (DevOps) nezbytné ke spuštění úspěšného prostředí MLOps. Cílem je identifikovat mezery v pokusu stávající organizace o implementaci takového prostředí. Je to také způsob, jak vám ukázat, jak zvýšit možnosti MLOps v přírůstcích, a ne zahltit vás požadavky plně vyspělého prostředí. Použijte ho jako vodítko k:
Odhad rozsahu práce pro nové rezervace
Nastavte realistická kritéria úspěchu.
Identifikujte dodávky, které předáte na závěr rezervace.
Stejně jako u většiny modelů vyspělosti model vyspělosti MLOps kvalitativní posuzuje lidi/kulturu, procesy/struktury a objekty/technologie. S rostoucí úrovní vyspělosti se pravděpodobnost zvyšuje, že incidenty nebo chyby vedou ke zlepšení kvality vývojových a produkčních procesů.
Model vyspělosti MLOps zahrnuje pět úrovní technických schopností:
| Level |
Popis |
Nejzajímavější body |
Technologie |
| 0 |
Bez MLOps |
- Obtížné spravovat celý životní cyklus modelu strojového učení
- Týmy jsou různorodé a vydání jsou bolestné.
- Většina systémů existuje jako "černá skříňka", malá zpětná vazba během nasazení nebo po nasazení
|
- Ruční sestavení a nasazení
- Ruční testování modelu a aplikace
- Žádné centralizované sledování výkonu modelu
- Trénování modelu je ruční
|
| 0 |
DevOps, ale žádné MLOps |
- Vydání jsou méně bolestivá než žádná MLOps, ale spoléhají na datový tým pro každý nový model.
- Stále omezená zpětná vazba na to, jak dobře model funguje v produkčním prostředí
- Obtížné trasování a reprodukování výsledků
|
- Automatizované buildy
- Automatizované testy kódu aplikace
|
| 2 |
Automatizované trénování |
- Trénovací prostředí je plně spravované a trasovatelné
- Snadný reprodukování modelu
- Verze jsou ruční, ale nízké tření
|
- Automatizované trénování modelů
- Centralizované sledování výkonu trénování modelů
- Správa modelů
|
| 3 |
Automatizované nasazení modelu |
- Uvolnění je nízké tření a automatické
- Úplná sledovatelnost z nasazení zpět do původních dat
- Spravované celé prostředí: trénování > > produkčního prostředí
|
- Integrované testování A/B výkonu modelu pro nasazení
- Automatizované testy pro veškerý kód
- Centralizované sledování výkonu trénování modelů
|
| 4 |
Úplné automatizované operace MLOps |
- Plně automatizovaný a snadno monitorovaný systém
- Produkční systémy poskytují informace o tom, jak zlepšit a v některých případech automaticky vylepšovat s novými modely.
- Přístup k systému nulového výpadku
|
- Automatizované trénování a testování modelů
- Podrobná centralizovaná metrika z nasazeného modelu
|
Tabulky, které následují, identifikují podrobné charakteristiky pro danou úroveň vyspělosti procesu. Model se bude dále vyvíjet. Tato verze byla naposledy aktualizována v lednu 2020.
Úroveň 0: Žádné MLOps
| Lidé |
Vytvoření modelu |
Vydání modelu |
Integrace aplikací |
- Datoví vědci: sila, ne v pravidelné komunikaci s větším týmem
- Datoví inženýři (pokud existují): sila, ne v pravidelné komunikaci s větším týmem
- Softwaroví inženýři: sila, vzdáleně přijímají model od ostatních členů týmu.
|
- Data shromážděná ručně
- Výpočetní prostředky se pravděpodobně nespravuje
- Experimenty nejsou předvídatelně sledovány
- Konečným výsledkem může být ruční předání jednoho souboru modelu se vstupy/výstupy.
|
- Ruční proces
- Bodovací skript může být ručně vytvořen dobře po experimentech, ne řízený verzí.
- Vydání zpracovávané datovým vědcem nebo datovým inženýrem
|
- Do značné míry závislé na odborných znalostech datových vědců při implementaci
- Ruční vydání pokaždé
|
Úroveň 1: DevOps bez MLOps
| Lidé |
Vytvoření modelu |
Vydání modelu |
Integrace aplikací |
- Datoví vědci: sila, ne v pravidelné komunikaci s větším týmem
- Datoví inženýři (pokud existují): sila, ne v pravidelné komunikaci s větším týmem
- Softwaroví inženýři: sila, vzdáleně přijímají model od ostatních členů týmu.
|
- Datový kanál shromažďuje data automaticky.
- Výpočetní prostředky jsou nebo nejsou spravované
- Experimenty nejsou předvídatelně sledovány
- Konečným výsledkem může být ruční předání jednoho souboru modelu se vstupy/výstupy.
|
- Ruční proces
- Bodovací skript může být ručně vytvořen dobře po experimentech, pravděpodobně řízená verzí.
- Předává se softwarovým inženýrům
|
- Pro model existují základní integrační testy.
- Silně závislé na odborných znalostech datového vědce k implementaci modelu
- Automatizované vydané verze
- Kód aplikace má testy jednotek.
|
Úroveň 2: Automatizované trénování
| Lidé |
Vytvoření modelu |
Vydání modelu |
Integrace aplikací |
- Datoví vědci: Práce přímo s datovými inženýry na převod kódu experimentování na opakovatelné skripty a úlohy
- Datoví inženýři: Práce s datovými vědci
- Softwaroví inženýři: sila, vzdáleně přijímají model od ostatních členů týmu.
|
- Datový kanál shromažďuje data automaticky.
- Spravované výpočetní prostředky
- Sledované výsledky experimentu
- Trénovací kód i výsledné modely jsou řízené verzemi.
|
- Ruční vydání
- Bodovací skript je řízen verzí pomocí testů.
- Vydání spravované týmem softwarového inženýrství
|
- Pro model existují základní integrační testy.
- Silně závislé na odborných znalostech datového vědce k implementaci modelu
- Kód aplikace má testy jednotek.
|
Úroveň 3: Automatizované nasazení modelu
| Lidé |
Vytvoření modelu |
Vydání modelu |
Integrace aplikací |
- Datoví vědci: Práce přímo s datovými inženýry na převod kódu experimentování na opakovatelné skripty a úlohy
- Datoví inženýři: Práce s datovými vědci a softwarovými inženýry ke správě vstupů a výstupů
- Softwaroví inženýři: Práce s datovými inženýry na automatizaci integrace modelu do kódu aplikace
|
- Datový kanál shromažďuje data automaticky.
- Spravované výpočetní prostředky
- Sledované výsledky experimentu
- Trénovací kód i výsledné modely jsou řízené verzemi.
|
- Automatické vydání
- Bodovací skript je řízen verzí pomocí testů.
- Uvolnění spravované kanálem průběžného doručování (CI/CD)
|
- Testy jednotek a integrace pro každou verzi modelu
- Méně závislé na odborných znalostech datových vědců při implementaci modelu
- Kód aplikace obsahuje testy jednotek/integrace
|
Úroveň 4: Úplné automatizované přetrénování MLOps
| Lidé |
Vytvoření modelu |
Vydání modelu |
Integrace aplikací |
- Datoví vědci: Práce přímo s datovými inženýry na převod kódu experimentování na opakovatelné skripty a úlohy Práce se softwarovými inženýry k identifikaci značek pro datové inženýry
- Datoví inženýři: Práce s datovými vědci a softwarovými inženýry ke správě vstupů a výstupů
- Softwaroví inženýři: Práce s datovými inženýry na automatizaci integrace modelu do kódu aplikace Implementace shromažďování metrik po nasazení
|
- Datový kanál shromažďuje data automaticky.
- Automatické přetrénování aktivované na základě produkčních metrik
- Spravované výpočetní prostředky
- Sledované výsledky experimentu
- Trénovací kód i výsledné modely jsou řízené verzemi.
|
- Automatické vydání
- Bodovací skript je řízen verzí pomocí testů.
- Verze spravovaná průběžnou integrací a kanálem CI/CD
|
- Testy jednotek a integrace pro každou verzi modelu
- Méně závislé na odborných znalostech datových vědců při implementaci modelu
- Kód aplikace obsahuje testy jednotek/integrace
|
Další kroky