Gépi tanulási műveletek

A gépi tanulási műveletek (más néven MLOps) a DevOps-alapelvek alkalmazása mesterséges intelligenciával rendelkező alkalmazásokra. A gépi tanulási műveletek szervezeten belüli implementálásához speciális készségeket, folyamatokat és technológiákat kell alkalmazni. A cél a robusztus, méretezhető, megbízható és automatizált gépi tanulási megoldások megvalósítása.

Ebből a cikkből megtudhatja, hogyan tervezhet erőforrásokat a gépi tanulási műveletek szervezeti szintű támogatására. Tekintse át azokat az ajánlott eljárásokat és javaslatokat, amelyek az Azure Machine Learning használatával vezetnek be gépi tanulási műveleteket a vállalaton belül.

Mi az a gépi tanulási művelet?

A modern gépi tanulási algoritmusok és keretrendszerek egyre egyszerűbbé teszik a pontos előrejelzéseket készítő modellek fejlesztését. A gépi tanulási műveletek strukturált módon építik be a gépi tanulást a vállalati alkalmazásfejlesztésbe.

Egy példaforgatókönyvben olyan gépi tanulási modellt készített, amely meghaladja az összes pontossági elvárást, és lenyűgözi az üzleti szponzorokat. Ideje üzembe helyezni a modellt éles környezetben, de lehet, hogy ez nem olyan egyszerű, mint várta. A szervezetnek valószínűleg rendelkeznie kell emberekkel, folyamatokkal és technológiával ahhoz, hogy éles környezetben használhassa a gépi tanulási modellt.

Idővel Ön vagy egy munkatársa olyan új modellt fejleszthet, amely jobban működik, mint az eredeti modell. Az éles környezetben használt gépi tanulási modell lecserélése a szervezet számára fontos problémákat vet fel:

• Az új modellt az üzembe helyezett modellre támaszkodó üzleti műveletek megzavarása nélkül szeretné implementálni.
• Szabályozási célokból előfordulhat, hogy meg kell magyaráznia a modell előrejelzéseit, vagy újra létre kell hoznia a modellt, ha szokatlan vagy torzított előrejelzések származnak az új modell adataiból.
• A gépi tanulási betanításban és modellben használt adatok idővel változhatnak. Az adatok változása esetén előfordulhat, hogy rendszeresen újra be kell tanítani a modellt az előrejelzés pontosságának fenntartása érdekében. Egy személynek vagy szerepkörnek felelősnek kell lennie az adatok betáplálásáért, a modell teljesítményének monitorozásáért, a modell újratanításáért és a modell javításáért, ha az meghibásodik.

Tegyük fel, hogy van egy alkalmazása, amely a modell előrejelzéseit a REST API-val szolgálja ki. Még egy ilyen egyszerű használati eset is problémákat okozhat az éles környezetben. A gépi tanulási üzemeltetési stratégia implementálása segíthet az üzembe helyezéssel kapcsolatos problémák megoldásában, és támogathatja az AI-alapú alkalmazásokra támaszkodó üzleti műveleteket.

Egyes gépi tanulási műveleti feladatok jól illeszkednek az általános DevOps-keretrendszerbe. Ilyen például az egységtesztek és az integrációs tesztek beállítása, valamint a változások követése a verziókövetés használatával. Más feladatok a gépi tanulási műveleteknél egyedibbek, és a következők lehetnek:

• Folyamatos kísérletezés és összehasonlítás engedélyezése egy alapmodellhez.
• A bejövő adatok figyelése az adateltolódás észleléséhez.
• Modell újratanításának aktiválása és visszaállítás beállítása vészhelyreállításhoz.
• Újrafelhasználható adatfolyamok létrehozása betanításhoz és pontozáshoz.

A gépi tanulási műveletek célja a fejlesztés és az éles környezet közötti szakadék megszüntetése, valamint az érték gyorsabb átadása az ügyfelek számára. E cél eléréséhez újra kell gondolni a hagyományos fejlesztési és termelési folyamatokat.

Nem minden szervezet gépi tanulási üzemeltetési követelményei azonosak. Egy nagy, multinacionális vállalat gépi tanulási üzemeltetési architektúrája valószínűleg nem lesz ugyanaz az infrastruktúra, amelyet egy kis startup hoz létre. A szervezetek általában a fejlettség, a modellkatalógus és a felhasználói élmény növekedésével indulnak el, és egyre kisebbek lesznek.

A gépi tanulási műveletek érettségi modellje segít a gépi tanulási műveletek fejlettségi skálájának megtekintésében és a jövőbeli növekedés megtervezésében.

Gépi tanulási műveletek és DevOps

A gépi tanulási műveletek több kulcsfontosságú területen eltérnek a DevOpstól. A gépi tanulási műveletek a következő jellemzőkkel rendelkeznek:

• A feltárás megelőzi a fejlesztést és a műveleteket.
• Az adatelemzési életciklus adaptív munkamódszert igényel.
• Az adatminőségre és a rendelkezésre állási korlát előrehaladására vonatkozó korlátok.
• Nagyobb működési erőfeszítésre van szükség, mint a DevOpsban.
• A munkahelyi csapatoknak szakértőkre és tartományi szakértőkre van szükségük.

Összegzésként tekintse át a gépi tanulási műveletek hét alapelvét.

A feltárás megelőzi a fejlesztést és a műveleteket

Az adatelemzési projektek eltérnek az alkalmazásfejlesztési és az adatfeldolgozási projektektől. Előfordulhat, hogy egy adatelemzési projekt éles környezetbe kerül, de gyakran több lépésről van szó, mint egy hagyományos üzembe helyezésről. A kezdeti elemzés után nyilvánvalóvá válhat, hogy az üzleti eredmény nem érhető el a rendelkezésre álló adatkészletekkel. Egy adatelemzési projekt első lépése általában egy részletesebb feltárási fázis.

A feltárási fázis célja a probléma meghatározása és pontosítása. Ebben a fázisban az adatelemzők feltáró jellegű adatelemzést futtatnak. Statisztikákat és vizualizációkat használnak a problémahipotézisek megerősítéséhez vagy meghamisításához. Az érdekelt feleknek tisztában kell lennie azzal, hogy a projekt nem terjedhet ki ezen a fázison túl. Fontos ugyanakkor, hogy ez a fázis a lehető leggördülékenyebbé tegye a gyors átfutás érdekében. Ha a megoldandó probléma nem tartalmaz biztonsági elemet, kerülje a feltárási fázis folyamatokkal és eljárásokkal való korlátozását. Az adatelemzők számára lehetővé kell tenni, hogy az általuk előnyben részesített eszközökkel és adatokkal dolgozzanak. Ehhez a feltáró munkához valós adatokra van szükség.

A projekt akkor léphet a kísérletezési és fejlesztési fázisba, ha az érdekelt felek biztosak abban, hogy az adatelemzési projekt megvalósítható, és valós üzleti értéket nyújthat. Ebben a szakaszban a fejlesztési gyakorlatok egyre fontosabbá válnak. Ajánlott az ebben a szakaszban elvégzett összes kísérlet metrikáit rögzíteni. Fontos a verziókövetés beépítése is, hogy összehasonlíthassa a modelleket, és váltson a kód különböző verziói között.

A fejlesztési tevékenységek közé tartozik a feltárási kód újrabontása, tesztelése és automatizálása megismételhető kísérletezési folyamatokban. A szervezetnek alkalmazásokat és folyamatokat kell létrehoznia a modellek kiszolgálásához. A kód moduláris összetevőkben és kódtárakban való újrabontása segít növelni az újrafelhasználhatóságot, a tesztelést és a teljesítményoptimalizálást.

Végül a modelleket kiszolgáló alkalmazás- vagy kötegelt következtetési folyamatok előkészítési vagy éles környezetekben lesznek üzembe helyezve. Az infrastruktúra megbízhatóságának és teljesítményének monitorozása mellett, mint egy standard alkalmazás esetében, a gépi tanulási modellek üzembe helyezésénél folyamatosan figyelnie kell az adatok minőségét, az adatprofilt és a modellt a teljesítménycsökkenés vagy az eltérés szempontjából. A gépi tanulási modelleknek idővel újratanításra is szükségük van ahhoz, hogy relevánsak maradjanak a változó környezetben.

Az adatelemzési életciklus adaptív munkamódszert igényel

Mivel az adatok természete és minősége kezdetben bizonytalan, előfordulhat, hogy nem valósítja meg üzleti céljait, ha egy tipikus DevOps-folyamatot alkalmaz egy adatelemzési projektre. A feltárás és a kísérletezés ismétlődő tevékenységek és igények a gépi tanulási folyamat során. A Microsoft csapatai projektéletciklust és munkafolyamatot használnak, amely tükrözi az adatelemzési tevékenységek természetét. A Team Adattudomány Process és a The Adattudomány Lifecycle Process példák a referenciaimplementációkra.

Az adatminőségre és a rendelkezésre állási korlát előrehaladására vonatkozó korlátok

Ahhoz, hogy egy gépi tanulási csapat hatékonyan fejlessze a gépi tanulásba ágyazott alkalmazásokat, az éles adatokhoz való hozzáférést minden releváns munkahelyi környezetben előnyben részesítik. Ha az éles adatokhoz való hozzáférés megfelelőségi követelmények vagy technikai korlátozások miatt nem lehetséges, érdemes lehet azure-beli szerepköralapú hozzáférés-vezérlést (Azure RBAC) implementálni az Azure Machine Learning,az igény szerinti hozzáférés vagy az adatáthelyezési folyamatok használatával az éles adatreplikák létrehozása és a felhasználói hatékonyság növelése érdekében.

A gépi tanulás nagyobb működési erőfeszítést igényel

A hagyományos szoftverekkel ellentétben a gépi tanulási megoldások teljesítménye folyamatosan veszélyben van, mivel a megoldás az adatminőségtől függ. A minőségi megoldás éles környezetben való fenntartása érdekében kritikus fontosságú az adatok és a modellek minőségének folyamatos monitorozása és újraértékelése. Az éles modell várhatóan időben újratanítást, ismételt üzembe helyezést és finomhangolást igényel. Ezek a feladatok a napi biztonsági, infrastruktúra-monitorozási és megfelelőségi követelményeken alapulnak, és speciális szakértelmet igényelnek.

A gépi tanulási csapatoknak szakértőkre és tartományi szakértőkre van szükségük

Bár az adatelemzési projektek közös szerepet töltenek be a rendszeres informatikai projektekben, a gépi tanulási munka sikere nagyban függ attól, hogy vannak-e alapvető gépi tanulási technológiai szakemberek és szakterületi szakértők. A technológiai szakemberek megfelelő háttérrel rendelkeznek a gépi tanulási kísérletezéshez. A tartományszakértők az adatok elemzésével és szintetizálásával, illetve az adatok használatra való minősítésével támogathatják a szakembert.

Az adatelemzési projektekre jellemző gyakori technikai szerepkörök a tartományszakértő, az adatszakértő, az adattudós, az AI-mérnök, a modell-érvényesítő és a gépi tanulási mérnök. Ha többet szeretne megtudni egy tipikus adatelemzési csapat szerepköreiről és feladatairól, olvassa el a Csapat Adattudomány folyamat című témakört.

A gépi tanulási műveletek hét alapelve

A gépi tanulási műveletek szervezeten belüli bevezetésének megtervezése során érdemes lehet a következő alapelveket alkalmazni alapként:

• Használja a verziókövetést a kód, az adatok és a kísérletezés kimeneteihez. A hagyományos szoftverfejlesztéstől eltérően az adatok közvetlen hatással vannak a gépi tanulási modellek minőségére. A kísérletezés kódbázisának verziószámozásával, de az adathalmazok verziószámozásával is biztosíthatja, hogy reprodukálni tudja a kísérleteket és a következtetéseket. A modellekhez hasonló verziószámozási kísérletek kimenetei energiát és az újbóli létrehozásuk számítási költségeit takaríthatják meg.

• Több környezet használata. A fejlesztés és a tesztelés éles munkától való elkülönítéséhez legalább két környezetben replikálja az infrastruktúrát. A felhasználók hozzáférés-vezérlése minden környezetben eltérő lehet.

• Az infrastruktúra és a konfigurációk kezelése kódként. Amikor infrastruktúra-összetevőket hoz létre és frissít a munkahelyi környezetekben, használja az infrastruktúrát kódként, így az inkonzisztenciák nem alakulnak ki a környezetekben. A gépi tanulási kísérlet feladatspecifikációit kódként kezelheti, így a kísérlet egy verzióját egyszerűen futtathatja és újra felhasználhatja több környezetben.

• Gépi tanulási kísérletek nyomon követése és kezelése. A gépi tanulási kísérletek fő teljesítménymutatóinak és egyéb összetevőinek nyomon követése. Ha megőrzi a feladatteljesítmény előzményeit, elvégezheti a kísérletezés sikerességének mennyiségi elemzését, és javíthatja a csapatmunkát és a rugalmasságot.

• Tesztelje a kódot, ellenőrizze az adatok integritását, és biztosítsa a modell minőségét.Tesztelje a kísérletezési kódbázist a megfelelő adat-előkészítési és funkciókinyerési függvények, az adatintegritási és modellteljesítmény érdekében.

• Gépi tanulás – folyamatos integráció és teljesítés. A folyamatos integráció (CI) használatával automatizálhatja a tesztelést a csapat számára. A modell betanításának belefoglalása a folyamatos betanítási folyamatok részeként. A kiadás részeként adja meg az A/B-tesztelést, hogy csak minőségi modellt használjon éles környezetben.

• Szolgáltatások, modellek és adatok monitorozása. Amikor gépi tanulási üzemeltetési környezetben szolgáltat modelleket, kritikus fontosságú a szolgáltatások figyelése az infrastruktúra üzemideje, megfelelősége és a modell minősége szempontjából. Állítson be monitorozást az adatok és a modellek eltérésének azonosításához, valamint annak megértéséhez, hogy szükség van-e újratanításra. Érdemes lehet eseményindítókat beállítani az automatikus újratanításhoz.

Az Azure Machine Learning ajánlott eljárásai

Az Azure Machine Learning eszközkezelési, vezénylési és automatizálási szolgáltatásokat kínál a gépi tanulási modell betanítási és üzembehelyezési munkafolyamatainak életciklusának kezeléséhez. Tekintse át az Azure Machine Learning által támogatott ajánlott eljárásokat és javaslatokat a gépi tanulási műveletek emberek, folyamatok és technológiák erőforrás-területein való alkalmazásához.

People

• A projektcsapatokban dolgozva a legjobban kihasználhatja a szervezet speciális és tartományi ismereteinek használatát. Állítsa be az Azure Machine Learning-munkaterületeket az egyes projektekhez, hogy megfeleljenek a használati eset elkülönítésére vonatkozó követelményeknek.

• Szerepkörként definiáljon feladatokat és feladatokat, hogy a gépi tanulási műveletek projektcsapatának bármely tagja több szerepkörhöz rendelhető és teljesíthető legyen. Egyéni szerepkörök használata az Azure-ban részletes Azure RBAC-műveletek definiálásához az Azure Machine Learninghez , amelyeket az egyes szerepkörök el tudnak végezni.

• A projekt életciklusának és agilis módszertanának szabványosítása. A Team Adattudomány Process referencia életciklus-implementációt biztosít.

• A kiegyensúlyozott csapatok az összes gépi tanulási műveletszakaszt futtathatják, beleértve a feltárást, a fejlesztést és a műveleteket.

Folyamat

• Kódsablonon szabványosíthatja a kód újrafelhasználását, és felgyorsíthatja az új projekten vagy új csapattagok projekthez való csatlakozásának felgyorsítását. Az új sablonok alapjaként használja az Azure Machine Learning-folyamatokat, a feladatbeküldési szkripteket és a CI/CD-folyamatokat .

• Verziókövetés használata. A Git által támogatott mappából elküldött feladatok automatikusan nyomon követik az adattár metaadatait a feladattal az Azure Machine Learningben a reprodukálhatóság érdekében.

• A reprodukálhatóság érdekében használja a verziószámozást a kísérlet bemeneteihez és kimeneteihez. A verziószámozás megkönnyítéséhez használja az Azure Machine Learning-adatkészleteket, a modellkezelést és a környezetkezelési képességeket.

• A kísérletfuttatások futtatási előzményeinek összeállítása összehasonlításhoz, tervezéshez és együttműködéshez. Metrikák gyűjtéséhez használjon egy kísérletkövetési keretrendszert, például az MLflow-t .

• Folyamatosan mérheti és szabályozhatja a csapat munkájának minőségét a CI-n keresztül a teljes kísérletezési kódbázison.

• A folyamat korai szakaszában állítsa le a betanítást, ha egy modell nem konvergál. A feladatfuttatások monitorozásához használjon kísérletkövetési keretrendszert és a futtatási előzményeket az Azure Machine Learningben.

• Kísérlet- és modellkezelési stratégia definiálása. Fontolja meg a bajnokhoz hasonló név használatát az aktuális alapmodellre való hivatkozáshoz. A kihívó modell olyan jelölt modell, amely az éles környezetben felülmúlhatja a bajnoki modellt. Címkék alkalmazása az Azure Machine Learningben a kísérletek és modellek megjelöléséhez. Egy olyan forgatókönyvben, mint az értékesítési előrejelzés, hónapokig is eltarthat annak meghatározása, hogy a modell előrejelzései pontosak-e.

• Emelje a CI-t a folyamatos betanításhoz a modell betanításának beépítésével a buildbe. Például kezdje el a modell betanítását a teljes adatkészleten minden lekéréses kérelemmel.

• Rövidítse le a gépi tanulási folyamat minőségével kapcsolatos visszajelzést egy adatmintán futó automatizált build futtatásával. A bemeneti adathalmazok paraméterezéséhez használja az Azure Machine Learning-folyamat paramétereit.

• A gépi tanulási modellek folyamatos üzembe helyezésének (CD) használatával automatizálhatja az üzembe helyezést és tesztelheti a valós idejű pontozási szolgáltatásokat az Azure-környezetekben.

• Egyes szabályozott iparágakban előfordulhat, hogy el kell végeznie a modellérvényesítési lépéseket, mielőtt éles környezetben használhatna egy gépi tanulási modellt. Az ellenőrzési lépések automatizálása felgyorsíthatja a kézbesítési időt. Ha a manuális felülvizsgálati vagy érvényesítési lépések továbbra is szűk keresztmetszetet jelentenek, fontolja meg, hogy minősítheti-e az automatizált modellérvényesítési folyamatot. Az Azure Machine Learning erőforráscímkéinek használatával jelezheti az eszközmegfeleltségeket és a felülvizsgálatra jelölt jelölteket vagy az üzembe helyezés eseményindítóit.

• Ne végezze el az éles betanítást, majd közvetlenül cserélje le az éles modellt integrációs tesztelés nélkül. Annak ellenére, hogy a modell teljesítménye és a funkcionális követelmények jónak tűnhetnek, a többi lehetséges probléma mellett az újratanított modell nagyobb környezeti terheléssel rendelkezhet, és megszakíthatja a kiszolgálói környezetet.

• Ha az éles adatokhoz való hozzáférés csak éles környezetben érhető el, az Azure RBAC és az egyéni szerepkörök használatával több gépi tanulási szakember olvasási hozzáférést biztosíthat. Előfordulhat, hogy egyes szerepköröknek be kell olvasniuk az adatokat a kapcsolódó adatfeltáráshoz. Másik lehetőségként az adatmásolást nem éles környezetekben is elérhetővé teheti.

• Az Azure Machine Learning-kísérletek elnevezési konvencióinak és címkéinek elfogadása az alapszintű gépi tanulási folyamatok újratanításának a kísérleti munkától való megkülönböztetése érdekében.

Technológia

• Ha jelenleg a Azure Machine Learning stúdió felhasználói felületen vagy parancssori felületen küldi be a feladatokat az SDK-val, az automatizálási folyamat lépéseinek konfigurálásához használja a CLI- vagy az Azure DevOps Machine Learning-feladatokat. Ez a folyamat csökkentheti a kódlábnyomot, ha ugyanazokat a feladatbeküldéseket közvetlenül az automatizálási folyamatokból használja fel.

• Eseményalapú programozás használata. Aktiválhat például egy offline modelltesztelési folyamatot az új modell regisztrálása után Azure Functions használatával. Vagy küldjön egy értesítést egy kijelölt e-mail-aliasnak, ha egy kritikus folyamat nem fut. Az Azure Machine Learning eseményeket hoz létre Azure Event Grid. Több szerepkör is feliratkozhat, hogy értesítést kapjon egy eseményről.

• Ha az Azure DevOpsot használja az automatizáláshoz, az Azure DevOps Tasks for Machine Learning használatával gépi tanulási modelleket használhat folyamatindítóként.

• Amikor Python-csomagokat fejleszt a gépi tanulási alkalmazáshoz, azokat egy Azure DevOps-adattárban tárolhatja összetevőkként, és közzéteheti őket hírcsatornaként. Ezzel a megközelítéssel integrálhatja a DevOps-munkafolyamatot a csomagok készítéséhez az Azure Machine Learning-munkaterülettel.

• Érdemes lehet átmeneti környezetet használni a gépi tanulási folyamat rendszerintegrációjának teszteléséhez a felsőbb rétegbeli vagy alárendelt alkalmazásösszetevőkkel.

• Hozzon létre egység- és integrációs teszteket a következtetési végpontokhoz a hatékonyabb hibakereséshez és az üzembe helyezéshez szükséges idő felgyorsításához.

• Az újratanítás aktiválásához használjon adathalmaz-figyelőket és eseményvezérelt munkafolyamatokat. Iratkozzon fel az adatelsodrási eseményekre, és automatizálja a gépi tanulási folyamatok eseményindítóját az újratanításhoz.

AI-gyár szervezeti gépi tanulási műveletekhez

Egy adatelemzési csapat dönthet úgy, hogy több gépi tanulási használati esetet is kezelhet belsőleg. A gépi tanulási műveletek bevezetése segít a szervezetnek projektcsapatokat létrehozni a megoldások jobb minősége, megbízhatósága és karbantarthatósága érdekében. A kiegyensúlyozott csapatok, a támogatott folyamatok és a technológiai automatizálás révén a gépi tanulási műveleteket alkalmazó csapatok skálázhatják és összpontosíthatnak az új használati esetek fejlesztésére.

A használati esetek számának növekedésével a használati esetek támogatásának felügyeleti terhe lineárisan vagy még tovább nő. A szervezet számára kihívást jelent a piacra jutási idő felgyorsítása, a használati esetek megvalósíthatóságának gyorsabb értékelése, az ismételhetőség megvalósítása, valamint a rendelkezésre álló erőforrások és képességcsoportok legjobb felhasználása számos projektben. Sok szervezet számára az AI-gyár fejlesztése a megoldás.

Az AI-gyár megismételhető üzleti folyamatok és szabványosított összetevők rendszere, amely megkönnyíti a gépi tanulási használati esetek nagy halmazának fejlesztését és üzembe helyezését. Az AI-gyár optimalizálja a csapatbeállítást, az ajánlott eljárásokat, a gépi tanulási üzemeltetési stratégiát, az architekturális mintákat és az üzleti igényekre szabott újrafelhasználható sablonokat.

A sikeres AI-gyár ismétlődő folyamatokra és újrafelhasználható eszközökre támaszkodik, hogy a szervezet hatékonyan skálázhassa a több tíz használati esetet több ezer használati esetre.

Az alábbi ábra egy AI-gyár legfontosabb elemeit foglalja össze:

Ismétlődő architektúraminták szabványosítása

Az ismételhetőség az AI-gyár egyik fő jellemzője. Az adatelemzési csapatok felgyorsíthatják a projektfejlesztést, és javíthatják a projektek közötti konzisztenciát néhány megismételhető architekturális minta kifejlesztésével, amelyek lefedik a szervezet gépi tanulási használati eseteinek többségét. Ha ezek a minták érvényben vannak, a legtöbb projekt a mintákkal a következő előnyöket élvezheti:

• Gyorsított tervezési fázis
• Gyorsított jóváhagyások az informatikai és biztonsági csapatoktól, amikor újra felhasználják az eszközöket a projektekben
• Gyorsított fejlesztés az újrafelhasználható infrastruktúra, mint kódsablonok és projektsablonok miatt

Az architektúraminták tartalmazhatnak, de nem korlátozódnak a következő témakörökre:

• Előnyben részesített szolgáltatások a projekt egyes szakaszaihoz
• Adatkapcsolat és szabályozás
• Az iparág, az üzlet vagy az adatbesorolás követelményeinek megfelelő gépi tanulási üzemeltetési stratégia
• Kísérletkezelési bajnok és kihívó modellek

A csapatközi együttműködés és megosztás megkönnyítése

A megosztott kódtárak és segédprogramok felgyorsíthatják a gépi tanulási megoldások fejlesztését. A kódtárak modulárisan fejleszthetők a projektfejlesztés során, így elég általánosak ahhoz, hogy más projektekben is használhatók legyenek. Ezeket elérhetővé teheti egy központi adattárban, amelyhez minden adatelemzési csapat hozzáférhet.

Szellemi tulajdon megosztása és újrafelhasználása

A kód újrafelhasználásának maximalizálása érdekében tekintse át a következő szellemi tulajdont a projekt elején:

• Belső kód, amelyet a szervezeten belüli újrafelhasználásra terveztek. Ilyenek például a csomagok és a modulok.
• Más gépi tanulási projektekben létrehozott vagy az Azure-ökoszisztémában elérhető adathalmazok.
• Meglévő adatelemzési projektek, amelyek architektúrája és üzleti problémái hasonlóak.
• GitHub- vagy nyílt forráskód-adattárak, amelyek felgyorsíthatják a projektet.

Minden projektre visszamenőlegesen tartalmaznia kell egy műveletelemet annak meghatározásához, hogy a projekt elemei megoszthatók-e és általánosíthatók-e szélesebb körű újrafelhasználás céljából. A szervezet által megosztható és újra felhasználható eszközök listája idővel bővül.

A megosztás és a felderítés elősegítése érdekében számos szervezet vezetett be megosztott adattárakat a kódrészletek és a gépi tanulási összetevők rendszerezéséhez. Az Azure Machine Learning összetevői, beleértve az adathalmazokat, modelleket, környezeteket és folyamatokat, kódként definiálhatók, így hatékonyan oszthatja meg őket a projektek és munkaterületek között.

Projektsablonok

A meglévő megoldások migrálásának felgyorsítása és a kód újrafelhasználásának maximalizálása érdekében számos szervezet szabványosít egy projektsablont új projektek indításához. Az Azure Machine Learninghez ajánlott projektsablonok közé tartoznak például az Azure Machine Learning-példák, a Adattudomány életciklus-folyamat és a Csapat Adattudomány folyamat.

Központi adatkezelés

A feltáráshoz vagy az éles használathoz szükséges adatokhoz való hozzáférés folyamata időigényes lehet. Számos szervezet központosítja az adatkezelést, hogy összefogja az adattermelőket és az adatfelhasználókat a gépi tanulási kísérletezéshez szükséges adatokhoz való könnyebb hozzáférés érdekében.

Megosztott segédprogramok

A szervezet a nagyvállalati szintű központosított irányítópultok használatával konszolidálhatja a naplózási és monitorozási információkat. Az irányítópultok közé tartozhat a hibanaplózás, a szolgáltatás rendelkezésre állása és a telemetriai adatok, valamint a modell teljesítményének monitorozása.

Az Azure Monitor-metrikák használatával irányítópultot hozhat létre az Azure Machine Learninghez és a társított szolgáltatásokhoz, például az Azure Storage-hoz. Az irányítópult segít nyomon követni a kísérletezési folyamatot, a számítási infrastruktúra állapotát és a GPU-kvóta kihasználtságát.

Speciális gépi tanulási mérnöki csapat

Számos szervezet implementálta a gépi tanulási mérnök szerepét. A gépi tanulási mérnökök robusztus gépi tanulási folyamatok létrehozására és futtatására, sodródásfigyelésre és újratanítási munkafolyamatokra, valamint irányítópultok monitorozására specializálódnak. A mérnök általános felelősséggel tartozik a gépi tanulási megoldás iparosításáért a fejlesztéstől az éles környezetig. A mérnök szorosan együttműködik az adatfeldolgozással, az építészekkel, a biztonsággal és az üzemeltetéssel, hogy minden szükséges vezérlő rendelkezésre álljon.

Bár az adatelemzés mély szakterületi szakértelmet igényel, a gépi tanulástechnika inkább technikai jellegű. A különbség rugalmasabbá teszi a gépi tanulási mérnököt, így különböző projekteken és különböző üzleti részlegekkel dolgozhatnak. A nagy adatelemzési gyakorlatok egy speciális gépi tanulási mérnöki csapat hasznára válhatnak, amely az automatizálási munkafolyamatok megismételhetőségét és újrafelhasználását vezérli a különböző használati esetekben és üzleti területeken.

Engedélyezés és dokumentáció

Fontos, hogy világos útmutatást nyújtson az AI-gyár folyamatával kapcsolatban az új és meglévő csapatok és felhasználók számára. Az útmutató segít biztosítani a konzisztenciát, és csökkenteni a gépi tanulási mérnöki csapat részéről a projekt iparosítása során szükséges erőfeszítéseket. Fontolja meg a tartalom tervezését kifejezetten a szervezet különböző szerepköreihez.

Mindenki egyedi tanulási módokkal rendelkezik, így a következő típusú útmutatók keveréke segíthet felgyorsítani az AI-gyár keretrendszerének bevezetését:

• Egy központi központ, amely az összes összetevőre mutató hivatkozásokat tartalmaz. Ez a központ lehet például egy Csatorna a Microsoft Teamsben vagy egy Microsoft SharePoint-webhely.
• Az egyes szerepkörökhöz tervezett betanítási és engedélyezési terv.
• A megközelítés magas szintű összefoglaló bemutatása és egy kiegészítő videó.
• Részletes dokumentum vagy forgatókönyv.
• Útmutató videók.
• Készültségi felmérések.

Gépi tanulási műveletek az Azure-ban – videósorozat

Az Azure-beli gépi tanulási műveletekről szóló videósorozat bemutatja, hogyan hozhat létre gépi tanulási műveleteket a gépi tanulási megoldáshoz a kezdeti fejlesztéstől az éles környezetig.

Etika

Az etika fontos szerepet játszik az AI-megoldások kialakításában. Ha nem valósítják meg az etikai alapelveket, a betanított modellek ugyanolyan torzításokat mutathatnak, mint a betanított adatokban. Ennek az lehet az eredménye, hogy a projekt megszűnt. Ennél is fontosabb, hogy a szervezet hírneve veszélyben lehet.

Annak biztosítása érdekében, hogy a szervezet által képviselendő fő etikai alapelvek implementálva legyenek a projektekben, a szervezetnek meg kell adnia ezeknek az alapelveknek a listáját, és meg kell adnia azokat a módszereket, amelyekkel technikai szempontból érvényesítheti őket a tesztelési fázis során. Az Azure Machine Learning gépi tanulási funkcióival megismerheti, mi a felelős gépi tanulás, és hogyan építheti be a gépi tanulási műveletekbe.

Következő lépések

További információ az Azure Machine Learning-környezetek rendszerezéséről és beállításáról, illetve az Azure-beli gépi tanulási műveletekről szóló gyakorlati videósorozat watch.

Azure Machine Learning-környezetek rendszerezése és üzembe helyezése

További információ a költségvetések, kvóták és költségek szervezeti szintű kezeléséről az Azure Machine Learning használatával:

Gépi tanulási költségvetések, költségek és kvóták kezelése az Azure Machine Learning használatával