Gépi tanulási műveletek

A gépi tanulási műveletek (más néven MLOps) a DevOps-alapelvek alkalmazása az AI-infused alkalmazásokra. A gépi tanulási műveletek szervezeten belüli implementálásához speciális készségeket, folyamatokat és technológiát kell alkalmazni. A cél a robusztus, skálázható, megbízható és automatizált gépi tanulási megoldások megvalósítása.

Ebből a cikkből megtudhatja, hogyan tervezhet erőforrásokat a gépi tanulási műveletek szervezeti szintű támogatására. Tekintse át azokat az ajánlott eljárásokat és javaslatokat, amelyek az Azure Machine Learning használatával vezetnek be gépi tanulási műveleteket a nagyvállalatban.

Mi az a gépi tanulási művelet?

A modern gépi tanulási algoritmusok és keretrendszerek egyre egyszerűbbé teszik a pontos előrejelzéseket készítő modellek fejlesztését. A gépi tanulási műveletek strukturált módon építik be a gépi tanulást az alkalmazásfejlesztésbe a vállalaton belül.

Egy példaforgatókönyvben olyan gépi tanulási modellt készített, amely meghaladja az összes pontossági elvárást, és lenyűgözi az üzleti szponzorokat. Ideje üzembe helyezni a modellt éles környezetben, de lehet, hogy ez nem olyan egyszerű, mint várta. A szervezetnek valószínűleg rendelkeznie kell emberekkel, folyamatokkal és technológiával ahhoz, hogy éles környezetben használhassa a gépi tanulási modellt.

Idővel Ön vagy egy munkatársa olyan új modellt fejleszthet, amely jobban működik, mint az eredeti modell. Az éles környezetben használt gépi tanulási modell cseréje a szervezet számára fontos problémákat vet fel:

• Az új modellt az üzembe helyezett modellre támaszkodó üzleti műveletek megzavarása nélkül szeretné implementálni.
• Szabályozási okokból előfordulhat, hogy meg kell magyaráznia a modell előrejelzéseit, vagy újra létre kell hoznia a modellt, ha az új modell adatai szokatlan vagy elfogult előrejelzéseket eredményeznek.
• A gépi tanulási betanításban és modellben használt adatok idővel változhatnak. Az adatok változása esetén előfordulhat, hogy rendszeresen újra kell tanítania a modellt az előrejelzés pontosságának fenntartása érdekében. Egy személyt vagy szerepkört kell hozzárendelni az adatok betáplálásához, a modell teljesítményének figyeléséhez, a modell újratanításához és a modell javításához, ha az meghiúsul.

Tegyük fel, hogy rendelkezik egy olyan alkalmazással, amely a modell előrejelzéseit a REST API-val szolgálja ki. Még egy ilyen egyszerű használati eset is problémákat okozhat az éles környezetben. A gépi tanulási üzemeltetési stratégia implementálása segíthet az üzembe helyezéssel kapcsolatos problémák megoldásában, és támogathatja az AI-alapú alkalmazásokra támaszkodó üzleti műveleteket.

Egyes gépi tanulási műveletek jól illeszkednek az általános DevOps-keretrendszerbe. Ilyen például az egységtesztek és az integrációs tesztek beállítása, valamint a változások követése a verziókövetés használatával. Más feladatok a gépi tanulási műveletekre jellemzőbbek, és a következők lehetnek:

• Folyamatos kísérletezés és összehasonlítás engedélyezése egy alapmodellhez.
• A bejövő adatok figyelése az adateltolódás észleléséhez.
• A modell újratanításának aktiválása és visszaállítás beállítása vészhelyreállításhoz.
• Újrahasználható adatfolyamok létrehozása betanításhoz és pontozáshoz.

A gépi tanulási műveletek célja a fejlesztés és az éles környezet közötti szakadék megszüntetése, valamint az ügyfelek számára gyorsabb értékteremtés. A cél eléréséhez újra kell gondolnia a hagyományos fejlesztési és gyártási folyamatokat.

Nem minden szervezet gépi tanulási üzemeltetési követelményei azonosak. Egy nagy, multinacionális vállalat gépi tanulási üzemeltetési architektúrája valószínűleg nem lesz ugyanaz az infrastruktúra, amelyet egy kis startup hoz létre. A szervezetek általában kis méretűek, és az érettségük, a modellkatalógusuk és a tapasztalatuk növekedésével alakulnak ki.

A gépi tanulási műveletek érettségi modellje segít annak megtekintésében, hogy a szervezet hol van a gépi tanulási műveletek érettségi skáláján, és segíthet a jövőbeli növekedés megtervezésében.

Gépi tanulási műveletek és DevOps

A gépi tanulási műveletek több kulcsfontosságú területen eltérnek a DevOpstól. A gépi tanulási műveletek az alábbi jellemzőkkel rendelkeznek:

• A feltárás megelőzi a fejlesztést és a műveleteket.
• Az adatelemzési életciklus adaptív munkamódszert igényel.
• Az adatminőség és a rendelkezésre állási korlát előrehaladásának korlátai.
• Nagyobb működési erőfeszítésre van szükség, mint a DevOpsban.
• A munkacsoportok szakembert és tartományszakértőt igényelnek.

Összegzésként tekintse át a gépi tanulási műveletek hét alapelvét.

A feltárás megelőzi a fejlesztést és a műveleteket

Az adatelemzési projektek eltérnek az alkalmazásfejlesztési és az adatmérnöki projektektől. Előfordulhat, hogy egy adatelemzési projekt éles környezetbe kerül, de gyakran több lépésről van szó, mint egy hagyományos üzembe helyezésről. A kezdeti elemzés után nyilvánvalóvá válhat, hogy az üzleti eredmény nem érhető el a rendelkezésre álló adatkészletekkel. Az adatelemzési projekt első lépése általában egy részletesebb feltárási fázis.

A feltárási fázis célja a probléma meghatározása és pontosítása. Ebben a fázisban az adattudósok felderítő adatelemzést futtatnak. Statisztikákat és vizualizációkat használnak a problémahipotézisek megerősítéséhez vagy meghamisításához. Az érdekelt feleknek meg kell érteniük, hogy a projekt nem terjedhet túl ezen a fázison. Ugyanakkor fontos, hogy ez a fázis a lehető leggördülékenyebbé tegye a gyors átfutáshoz. Hacsak a megoldandó probléma nem tartalmaz biztonsági elemet, ne korlátozza a feltárási fázist folyamatokkal és eljárásokkal. Az adattudósok számára lehetővé kell tenni, hogy az általuk előnyben részesített eszközökkel és adatokkal dolgozhassanak. Ehhez a feltáró munkához valós adatokra van szükség.

A projekt akkor léphet a kísérletezési és fejlesztési fázisba, ha az érdekelt felek biztosak abban, hogy az adatelemzési projekt megvalósítható, és valós üzleti értéket biztosíthat. Ebben a szakaszban a fejlesztési gyakorlatok egyre fontosabbá válnak. Az ebben a szakaszban végzett összes kísérlet metrikáinak rögzítése ajánlott. Fontos a forrásvezérlés beépítése is, hogy összehasonlíthassa a modelleket, és váltson a kód különböző verziói között.

A fejlesztési tevékenységek közé tartozik a felderítési kód újrabontása, tesztelése és automatizálása megismételhető kísérletezési folyamatokban. A szervezetnek alkalmazásokat és folyamatokat kell létrehoznia a modellek kiszolgálásához. A kód moduláris összetevőkben és kódtárakban való újrabontása növeli az újrafelhasználhatóságot, a tesztelést és a teljesítményoptimalizálást.

Végül a modelleket kiszolgáló alkalmazás- vagy kötegkövető folyamatok üzembe kerülnek az előkészítési vagy éles környezetekben. Az infrastruktúra megbízhatóságának és teljesítményének monitorozása mellett, mint egy szabványos alkalmazás esetében, a gépi tanulási modellek üzembe helyezésénél folyamatosan figyelnie kell az adatok minőségét, az adatprofilt és a lebomlási vagy sodródási modellt. A gépi tanulási modellekhez szükség van az idő során történő újratanításra is, hogy relevánsak maradjanak a változó környezetben.

Az adatelemzési életciklus adaptív munkamódszert igényel

Mivel az adatok természete és minősége kezdetben bizonytalan, előfordulhat, hogy nem valósítja meg üzleti céljait, ha egy tipikus DevOps-folyamatot alkalmaz egy adatelemzési projektre. A feltárás és a kísérletezés ismétlődő tevékenységek és igények a gépi tanulási folyamat során. A Microsoft csapatai egy projekt életciklusát és egy olyan munkafolyamatot használnak, amely az adatelemzési tevékenységek természetét tükrözi. A csapat Adattudomány folyamat és a Adattudomány életciklus-folyamat példák a referencia-implementációkra.

Az adatminőség és a rendelkezésre állási korlát előrehaladásának korlátai

Ahhoz, hogy egy gépi tanulási csapat hatékonyan fejlessze a gépi tanulással infusált alkalmazásokat, az éles adatokhoz való hozzáférés minden releváns munkahelyi környezetben előnyben részesül. Ha az éles adatokhoz való hozzáférés megfelelőségi követelmények vagy technikai korlátozások miatt nem lehetséges, érdemes lehet azure-beli szerepköralapú hozzáférés-vezérlést (Azure RBAC) implementálni az Azure Machine Learningdel, az igény szerinti hozzáférést vagy az adatáthelyezési folyamatokat az éles adatreplikák létrehozásához és a felhasználók termelékenységének növeléséhez.

A gépi tanulás nagyobb működési erőfeszítést igényel

A hagyományos szoftverekkel ellentétben a gépi tanulási megoldások teljesítménye folyamatosan veszélyben van, mivel a megoldás az adatminőségtől függ. A minőségi megoldás éles környezetben való fenntartása érdekében kritikus fontosságú, hogy folyamatosan monitorozza és értékelje az adatokat és a modell minőségét. Az éles modellek várhatóan időben újratanítást, újratelepítést és hangolást igényelnek. Ezek a feladatok a napi biztonsági, infrastruktúra-monitorozási és megfelelőségi követelményeken alapulnak, és speciális szakértelmet igényelnek.

A gépi tanulási csapatok szakembereket és tartományi szakértőket igényelnek

Bár az adatelemzési projektek közös szerepköröket töltenek be a rendszeres informatikai projektekben, a gépi tanulási munka sikere nagyban függ attól, hogy rendelkezik-e alapvető gépi tanulási technológiai szakemberekkel és szakterületi szakértőkkel. Egy technológiai szakember rendelkezik a megfelelő háttérrel a gépi tanulási kísérletezéshez. A tartományszakértők az adatok elemzésével és szintetizálásával, illetve a használatra alkalmas adatok minősítésével támogathatják a szakembert.

Az adatelemzési projektekre jellemző gyakori technikai szerepkörök a tartományszakértő, az adatmérnök, az adattudós, az AI-mérnök, a modell-érvényesítő és a gépi tanulási mérnök. Ha többet szeretne megtudni egy tipikus adatelemzési csapat szerepköreiről és feladatairól, tekintse meg a Csapat Adattudomány folyamatot.

A gépi tanulási műveletek hét alapelve

Amikor gépi tanulási műveleteket tervez bevezetni a szervezetében, érdemes lehet az alábbi alapelveket alapként alkalmazni:

• Verziókövetés használata kód-, adat- és kísérletezési kimenetekhez. A hagyományos szoftverfejlesztéstől eltérően az adatok közvetlen hatással vannak a gépi tanulási modellek minőségére. A kísérletezés kódbázisának verziószámozását, de az adathalmazok verziószámozását is el kell végeznie, hogy a kísérletek és a következtetési eredmények reprodukálhatók legyenek. A modellhez hasonló verziószámozási kísérlet kimenetei energiát és az újbóli létrehozás számítási költségeit takaríthatják meg.

• Több környezet használata. Ha el szeretné különíteni a fejlesztést és a tesztelést az éles munkától, replikálja az infrastruktúrát legalább két környezetben. A felhasználók hozzáférés-vezérlése minden környezetben eltérő lehet.

• Az infrastruktúra és a konfigurációk kezelése kódként. Amikor infrastruktúra-összetevőket hoz létre és frissít a munkahelyi környezetekben, használja az infrastruktúrát kódként, hogy az inkonzisztenciák ne fejlődhessenek ki a környezetekben. Kódként kezelheti a gépi tanulási kísérletek feladatspecifikációit, hogy egyszerűen újrafuttathassa és újra felhasználhassa a kísérlet egy verzióját több környezetben.

• Gépi tanulási kísérletek nyomon követése és kezelése. A gépi tanulási kísérletek fő teljesítménymutatóinak és egyéb összetevőinek nyomon követése. Ha megtartja a feladatteljesítmény előzményeit, mennyiségi elemzést végezhet a kísérletezés sikerességéről, és javíthatja a csapatmunkát és a rugalmasságot.

• Tesztelje a kódot, ellenőrizze az adatok integritását, és biztosítsa a modell minőségét. Tesztelje a kísérletezési kódbázist a megfelelő adatelőkészítési és funkciókinyerési funkciók, adatintegritási és modellteljesítmény érdekében.

• Gépi tanulási folyamatos integráció és teljesítés. A folyamatos integráció (CI) használatával automatizálhatja a tesztelést a csapat számára. A modell betanítását a folyamatos betanítási folyamatok részeként is belefoglalja. Az A/B-tesztelést a kiadás részeként is használhatja annak biztosítása érdekében, hogy csak minőségi modellt használjon az éles környezetben.

• Szolgáltatások, modellek és adatok monitorozása. Amikor modelleket szolgál ki egy gépi tanulási üzemeltetési környezetben, kritikus fontosságú a szolgáltatások figyelése az infrastruktúra üzemideje, megfelelősége és modellminősége szempontjából. Állítson be monitorozást az adatok és a modellek eltérésének azonosításához, valamint annak megértéséhez, hogy szükség van-e újratanításra. Fontolja meg az automatikus újratanításhoz szükséges triggerek beállítását.

Az Azure Machine Learning ajánlott eljárásai

Az Azure Machine Learning eszközkezelési, vezénylési és automatizálási szolgáltatásokat kínál a gépi tanulási modell betanítási és üzembehelyezési munkafolyamatainak életciklusának kezeléséhez. Tekintse át a gépi tanulási műveleteknek az Azure Machine Learning által támogatott erőforrás-területeken való alkalmazásához ajánlott eljárásokat és javaslatokat.

Személyek

• A projektcsapatokban dolgozva a legjobban kihasználhatja a szervezet speciális és tartományi ismereteinek használatát. Állítsa be az Azure Machine Learning-munkaterületeket az egyes projektekhez, hogy megfeleljenek a használati esetek elkülönítésére vonatkozó követelményeknek.

• Szerepkörként definiáljon feladatokat és feladatokat, hogy a gépi tanulási műveletek projektcsapatának bármely tagja több szerepkörhöz rendelhető és teljesíthető legyen. Egyéni szerepkörök használata az Azure-ban részletes Azure RBAC-műveletek definiálásához az Azure Machine Learninghez , amelyeket az egyes szerepkörök el tudnak végezni.

• A projekt életciklusának és agilis módszertanának szabványosítása. A csapat Adattudomány folyamat referencia-életciklus-implementációt biztosít.

• A kiegyensúlyozott csapatok a gépi tanulási műveletek minden szakaszát futtathatják, beleértve a feltárást, a fejlesztést és a műveleteket.

Feldolgozás

• Szabványosítson egy kódsablont a kód újrafelhasználásához, és felgyorsítsa egy új projekt vagy egy új csapattag projekthez való csatlakozásának felgyorsítását. Az új sablonok alapjaként azure Machine Learning-folyamatokat, feladatbeküldési szkripteket és CI/CD-folyamatokat használhat.

• Verziókövetés használata. A Git által támogatott mappából elküldött feladatok automatikusan nyomon követik az adattár metaadatait az Azure Machine Learningben a reprodukálhatóság érdekében.

• Verziószámozás használata kísérletbemenetekhez és kimenetekhez a reprodukálhatóság érdekében. A verziószámozás megkönnyítéséhez használja az Azure Machine Learning-adathalmazokat, a modellkezelést és a környezetfelügyeleti képességeket.

• A kísérletfuttatások futtatási előzményeinek összeállítása összehasonlításhoz, tervezéshez és együttműködéshez. Metrikák gyűjtéséhez használjon egy kísérletkövetési keretrendszert, például az MLflow-t .

• A teljes kísérletezési kódbázison a CI segítségével folyamatosan mérheti és szabályozhatja a csapat munkájának minőségét.

• A folyamat korai szakaszában fejezheti be a betanítást, amikor egy modell nem konvergál. A feladatfuttatások monitorozásához használjon kísérletkövetési keretrendszert és a futtatási előzményeket az Azure Machine Learningben.

• Kísérlet- és modellkezelési stratégia definiálása. Fontolja meg, hogy a jelenlegi alapmodellre hivatkozzon egy olyan névvel, mint a bajnok . A kihívó modell olyan jelölt modell, amely az éles környezetben felülmúlhatja a bajnoki modellt. Címkék alkalmazása az Azure Machine Learningben a kísérletek és modellek megjelöléséhez. Egy olyan forgatókönyvben, mint az értékesítési előrejelzés, hónapokig is eltarthat annak meghatározása, hogy a modell előrejelzései pontosak-e.

• Emelje a CI-t a folyamatos betanításhoz a modell betanításának beépítésével a buildbe. Például kezdje el a modell betanítását a teljes adatkészleten minden lekéréses kérelemmel.

• Lerövidítheti a gépi tanulási folyamat minőségével kapcsolatos visszajelzések készítéséhez szükséges időt egy adatmintán futó automatizált build futtatásával. Az Azure Machine Learning-folyamat paramétereinek használatával paraméterezhet bemeneti adatkészleteket.

• Folyamatos üzembe helyezés (CD) használata gépi tanulási modellekhez az üzembe helyezés automatizálásához és valós idejű pontozási szolgáltatások teszteléséhez az Azure-környezetekben.

• Egyes szabályozott iparágakban előfordulhat, hogy a gépi tanulási modellek éles környezetben való használata előtt el kell végeznie a modellérvényesítési lépéseket. Az érvényesítési lépések automatizálása felgyorsíthatja a kézbesítési időt. Ha a manuális felülvizsgálati vagy érvényesítési lépések még mindig szűk keresztmetszetet jelentenek, fontolja meg, hogy hitelesítheti-e az automatizált modellérvényesítési folyamatot. Az Azure Machine Learning erőforráscímkék használatával jelezheti az eszközmegfeleltségeket és a felülvizsgálatra jelölt jelölteket vagy az üzembe helyezés eseményindítóit.

• Ne végezze el az éles betanítást, majd közvetlenül cserélje le az éles modellt integrációs tesztelés nélkül. Annak ellenére, hogy a modell teljesítménye és a funkcionális követelmények jónak tűnhetnek, más lehetséges problémák mellett az újratanított modell nagyobb környezeti lábnyomot eredményezhet, és megszakíthatja a kiszolgálói környezetet.

• Ha az éles adathozzáférés csak éles környezetben érhető el, az Azure RBAC és az egyéni szerepkörök használatával több gépi tanulási szakember olvasási hozzáférést biztosíthat. Előfordulhat, hogy egyes szerepköröknek be kell olvasniuk az adatokat a kapcsolódó adatfeltáráshoz. Másik lehetőségként az adatmásolást nem gyártási környezetekben is elérhetővé teheti.

• Megállapodás az Azure Machine Learning-kísérletek elnevezési konvencióiról és címkéiről az alapszintű gépi tanulási folyamatok kísérleti munkától való megkülönböztetése érdekében.

Technológia

• Ha jelenleg az Azure Machine Learning Studio felhasználói felületén vagy cli-jén keresztül küld be feladatokat, ahelyett, hogy az SDK-val küldi el a feladatokat, a parancssori felülettel vagy az Azure DevOps Machine Learning-feladatokkal konfigurálhatja az automatizálási folyamat lépéseit. Ez a folyamat csökkentheti a kódlábnyomot, ha ugyanazokat a feladatbeküldéseket közvetlenül az automatizálási folyamatokból használja fel.

• Használjon eseményalapú programozást. Aktiválhat például egy offline modelltesztelési folyamatot az Azure Functions használatával egy új modell regisztrálása után. Vagy küldjön egy értesítést egy kijelölt e-mail-aliasnak, ha egy kritikus folyamat nem fut. Az Azure Machine Learning eseményeket hoz létre az Azure Event Gridben. Több szerepkör is előfizethet arra, hogy értesítést kapjon egy eseményről.

• Az Azure DevOps automatizáláshoz való használata esetén az Azure DevOps Tasks for Machine Learning használatával gépi tanulási modelleket használhat folyamatindítókként.

• Amikor Python-csomagokat fejleszt a gépi tanulási alkalmazáshoz, egy Azure DevOps-adattárban tárolhatja őket összetevőkként, és közzéteheti őket hírcsatornaként. Ezzel a módszerrel integrálhatja a DevOps-munkafolyamatot a csomagok létrehozásához az Azure Machine Learning-munkaterülettel.

• Fontolja meg egy előkészítési környezet használatát a gépi tanulási folyamat rendszerintegrációjának teszteléséhez az alárendelt vagy felsőbb rétegbeli alkalmazásösszetevőkkel.

• Hozzon létre egység- és integrációs teszteket a következtetési végpontokhoz a hatékonyabb hibakeresés és az üzembe helyezési idő felgyorsítása érdekében.

• Az újratanítás aktiválásához használjon adathalmaz-figyelőket és eseményvezérelt munkafolyamatokat. Iratkozzon fel az adateltolódási eseményekre, és automatizálja a gépi tanulási folyamatok eseményindítóját újratanítás céljából.

AI-gyár szervezeti gépi tanulási műveletekhez

Egy adatelemzési csapat dönthet úgy, hogy belsőleg több gépi tanulási használati esetet is kezelhet. A gépi tanulási műveletek bevezetése segít a szervezetnek projektcsapatokat létrehozni a megoldások jobb minősége, megbízhatósága és karbantarthatósága érdekében. A kiegyensúlyozott csapatok, a támogatott folyamatok és a technológia automatizálása révén a gépi tanulási műveleteket alkalmazó csapatok skálázhatják és összpontosíthatnak az új használati esetek fejlesztésére.

Ahogy a használati esetek száma nő a szervezetben, a használati esetek támogatásának felügyeleti terhe lineárisan vagy még tovább nő. A szervezet kihívása a piacra kerülési idő felgyorsítása, a használati esetek megvalósíthatóságának gyorsabb értékelése, az ismételhetőség megvalósítása, valamint a rendelkezésre álló erőforrások és készségkészletek legjobb felhasználása számos projektben. Sok szervezet számára egy AI-gyár fejlesztése a megoldás.

Az AI-gyár megismételhető üzleti folyamatok és szabványosított összetevők rendszere, amely megkönnyíti a gépi tanulási használati esetek nagy halmazának fejlesztését és üzembe helyezését. Az AI-gyár optimalizálja a csapatbeállítást, az ajánlott eljárásokat, a gépi tanulási üzemeltetési stratégiát, az architekturális mintákat és az üzleti követelményeknek megfelelő újrafelhasználható sablonokat.

A sikeres AI-gyár ismétlődő folyamatokra és újrafelhasználható eszközökre támaszkodik, hogy a szervezet hatékonyan skálázható legyen több tíz használati esettől több ezer használati esetig.

Az alábbi ábra egy AI-gyár főbb elemeit foglalja össze:

Ismétlődő architekturális minták szabványosítása

Az ismétlődés az AI-gyár egyik fő jellemzője. Az adatelemzési csapatok felgyorsíthatják a projektfejlesztést és javíthatják a projektek közötti konzisztenciát néhány megismételhető architektúramintával, amelyek lefedik a szervezet gépi tanulási használati eseteinek többségét. Ha ezek a minták már léteznek, a legtöbb projekt a mintákkal a következő előnyöket élvezheti:

• Gyorsított tervezési fázis
• Gyorsított jóváhagyások az informatikai és biztonsági csapatoktól, amikor több projektben újra felhasználják az eszközöket
• Gyorsított fejlesztés az újrahasználható infrastruktúra, mint kódsablonok és projektsablonok miatt

Az architektúraminták tartalmazhatnak, de nem korlátozódnak a következő témakörökre:

• Előnyben részesített szolgáltatások a projekt minden szakaszához
• Adatkapcsolat és -szabályozás
• Az iparági, üzleti vagy adatbesorolási követelményeknek megfelelő gépi tanulási üzemeltetési stratégia
• Kísérletkezelési bajnoki és kihívó modellek

Csapatközi együttműködés és megosztás elősegítése

A megosztott kódtárak és segédprogramok felgyorsíthatják a gépi tanulási megoldások fejlesztését. A kódtárak modulárisan fejleszthetők a projektfejlesztés során, hogy elég általánosak legyenek ahhoz, hogy más projektekben is felhasználhatók legyenek. Elérhetővé tehetők egy központi adattárban, amelyhez minden adatelemzési csapat hozzáférhet.

Szellemi tulajdon megosztása és újrafelhasználása

A kód újrafelhasználásának maximalizálása érdekében tekintse át a következő szellemi tulajdont a projekt elején:

• Belső kód, amelyet a szervezeten belüli újrafelhasználásra terveztek. Ilyenek például a csomagok és a modulok.
• Más gépi tanulási projektekben létrehozott vagy az Azure-ökoszisztémában elérhető adathalmazok.
• Hasonló architektúrájú és üzleti problémákkal rendelkező meglévő adatelemzési projektek.
• GitHub vagy nyílt forráskód adattárak, amelyek felgyorsíthatják a projektet.

Minden projekt visszamenőlegesen tartalmazzon egy műveleti elemet, amely meghatározza, hogy a projekt elemei megoszthatók-e és általánosíthatók-e a szélesebb körű újrafelhasználás érdekében. A szervezet által megosztható és újra felhasználható eszközök listája idővel bővül.

A megosztás és a felderítés elősegítése érdekében számos szervezet vezetett be megosztott adattárakat a kódrészletek és a gépi tanulási összetevők rendszerezéséhez. Az Azure Machine Learning összetevői, beleértve az adathalmazokat, modelleket, környezeteket és folyamatokat, kódként definiálhatók, így hatékonyan oszthatja meg őket projekteken és munkaterületeken.

Projektsablonok

A meglévő megoldások migrálásának felgyorsítása és a kód újrafelhasználásának maximalizálása érdekében számos szervezet szabványosít egy projektsablont új projektek elindításához. Az Azure Machine Learninghez ajánlott projektsablonok például az Azure Machine Learning-példák, a Adattudomány Életciklus Folyamat és a Csapat Adattudomány Folyamat.

Központi adatkezelés

A feltáráshoz vagy az éles használathoz szükséges adatokhoz való hozzáférés folyamata időigényes lehet. Számos szervezet központosítja az adatkezelést, hogy összefogja az adattermelőket és az adatfelhasználókat az adatokhoz való könnyebb hozzáférés érdekében a gépi tanulási kísérletezéshez.

Megosztott segédprogramok

A szervezet nagyvállalati szintű központosított irányítópultokkal konszolidálhatja a naplózási és monitorozási információkat. Az irányítópultok tartalmazhatnak hibanaplózást, szolgáltatás rendelkezésre állást és telemetriát, valamint modellteljesítmény-monitorozást.

Az Azure Monitor-metrikák használatával irányítópultot hozhat létre az Azure Machine Learninghez és a kapcsolódó szolgáltatásokhoz, például az Azure Storage-hoz. Az irányítópult segít nyomon követni a kísérletezés előrehaladását, a számítási infrastruktúra állapotát és a GPU-kvóta kihasználtságát.

Speciális gépi tanulási mérnöki csapat

Számos szervezet implementálta a gépi tanulási mérnök szerepét. A gépi tanulási mérnökök robusztus gépi tanulási folyamatok, sodródásfigyelési és áttanítási munkafolyamatok, valamint irányítópultok monitorozására specializálódnak. A mérnök átfogó felelősséggel tartozik a gépi tanulási megoldás iparosításáért a fejlesztéstől az éles környezetig. A mérnök szorosan együttműködik az adatmérnökökkel, az építészekkel, a biztonsággal és a műveletekkel annak érdekében, hogy minden szükséges vezérlő elérhető legyen.

Bár az adattudomány mély szakterületi szakértelmet igényel, a gépi tanulástechnika inkább technikai jellegű. A különbség rugalmasabbá teszi a gépi tanulási mérnököt, így különböző projekteken és különböző üzleti részlegekkel dolgozhatnak. A nagy adatelemzési eljárások egy speciális gépi tanulási mérnöki csapat előnyére válhatnak, amely az automatizálási munkafolyamatok megismételhetőségét és újrafelhasználását vezérli különböző használati esetek és üzleti területek között.

Engedélyezés és dokumentáció

Fontos, hogy világos útmutatást nyújtsunk az AI-gyár folyamatával kapcsolatban az új és meglévő csapatok és felhasználók számára. Az útmutató segít biztosítani a konzisztenciát, és csökkenteni a gépi tanulási mérnöki csapat részéről a projekt iparosítása során szükséges erőfeszítéseket. Fontolja meg, hogy kifejezetten a szervezet különböző szerepköreihez tervezzen tartalmat.

Mindenki egyedi tanulási módokkal rendelkezik, így az alábbi típusú útmutatások keveréke segíthet felgyorsítani az AI-gyár keretrendszerének bevezetését:

• Egy központi központ, amely az összes összetevőhöz kapcsolódik. Ez a központ lehet például a Microsoft Teams csatornája vagy egy Microsoft SharePoint-webhely.
• Az egyes szerepkörökhöz tervezett betanítási és engedélyezési terv.
• A megközelítés magas szintű összefoglaló bemutatása és egy kísérő videó.
• Részletes dokumentum vagy forgatókönyv.
• Útmutató videók.
• Készültségi felmérések.

Gépi tanulási műveletek az Azure-ban – videósorozat

Az Azure-beli gépi tanulási műveletekről szóló videósorozat bemutatja, hogyan hozhat létre gépi tanulási műveleteket a gépi tanulási megoldáshoz a kezdeti fejlesztéstől az éles környezetig.

Etika

Az etika fontos szerepet játszik az AI-megoldások kialakításában. Ha nem valósítják meg az etikai alapelveket, a betanított modellek ugyanazokat az elfogultságokat mutathatják, mint a betanított adatokban. Az eredmény az lehet, hogy a projekt leállt. Ami még fontosabb, a szervezet hírneve veszélyben lehet.

Annak biztosítása érdekében, hogy a szervezet alapvető etikai alapelveit projektekben implementálják, a szervezetnek meg kell adnia ezeknek az elveknek a listáját, és meg kell adnia azokat technikai szempontból a tesztelési fázis során. Az Azure Machine Learning gépi tanulási funkcióival megismerheti, hogy mi a felelős gépi tanulás, és hogyan építheti be a gépi tanulási műveletekbe.

Következő lépések

További információ az Azure Machine Learning-környezetek rendszerezéséről és beállításáról, vagy egy gyakorlati videósorozat az Azure-beli gépi tanulási műveletekről.

Azure Machine Learning-környezetek rendszerezése és üzembe helyezése

További információ a költségvetések, kvóták és költségek szervezeti szintű kezeléséről az Azure Machine Learning használatával:

Gépi tanulási költségvetések, költségek és kvóták kezelése az Azure Machine Learning használatával