Adatháló üzembeítése AI-/ML-tartományalapú szolgáltatásfejlesztéshez
Az Adatháló segítségével a szervezetek a központosított adattóról vagy adattárházról a négy alapelv által aláhúzott elemzési adatok tartományalapú decentralizálására váltanak: a tartomány tulajdonjoga, a termékként használt adatok, az önkiszolgáló adatplatform és az összevont számítási szabályozás. Az Adatháló az elosztott adattulajdonlás előnyeit, valamint a jobb adatminőséget és szabályozást biztosítja, amely felgyorsítja az üzleti és az idő és az érték arányát a szervezetek számára.
Adatháló implementálása
Az adathálók tipikus implementációi közé tartoznak az adatfolyamatokat készítő adatmérnökökkel rendelkező tartományi csapatok. A csapat üzemeltetési és elemzési adattárakat tart fenn, például adattavakat, adattárházakat vagy data lakehouse-t. A folyamatokat adattermékként bocsátják ki más tartományi csapatok vagy adatelemzési csapatok számára. Más csapatok egy központi adatszabályozási platform használatával használják fel az adattermékeket az alábbi ábrán látható módon.
Az adatháló egyértelműen meghatározza, hogy az adattermékek hogyan szolgálnak az üzleti intelligencia átalakított és összesített adatkészleteihez. Nem egyértelmű azonban, hogy a szervezeteknek milyen megközelítést kell alkalmazniuk az AI/ML-modellek létrehozásához. Az adatelemzési csapatok felépítéséről, az AI/ML-modell szabályozásáról, valamint az AI/ML-modellek és -funkciók tartományi csapatok közötti megosztásáról sincs útmutatás.
Az alábbi szakasz néhány stratégiát mutat be, amelyeket a szervezetek az AI/ML-képességek adathálón belüli fejlesztésére használhatnak. És megjelenik egy javaslat a tartományalapú szolgáltatásfejlesztésre vagy a funkcióhálóra vonatkozó stratégiára.
AI/ML-stratégiák adathálóhoz
Az egyik gyakori stratégia, hogy a szervezet adatelemző csapatokat fogadjon el adatfogyasztóként. Ezek a csapatok a használati esetnek megfelelően különböző tartományi adattermékeket érnek el az adathálóban. Adatfeltárást és funkciófejlesztést végeznek AI-/ML-modellek fejlesztéséhez és létrehozásához. Bizonyos esetekben a tartományi csapatok saját AI-/ML-modelleket is fejlesztenek az adataik és más csapatok adattermékeik használatával az új funkciók kiterjesztéséhez és származtatásához.
A funkciófejlesztés a modellépítés központi eleme, és általában összetett, és tartományi szakértelmet igényel. A fenti stratégia időigényes lehet, mivel az adatelemzési csapatoknak ezután különböző adattermékeket kell elemeznie. Előfordulhat, hogy nem rendelkeznek teljes tartománytudással a kiváló minőségű szolgáltatások létrehozásához. A tartományismeret hiánya a tartományi csapatok közötti szolgáltatástervezési erőfeszítések duplikálásához vezethet. Az olyan problémák is, mint az AI/ML-modell reprodukálhatósága a csapatok közötti inkonzisztens funkciókészletek miatt. Az adatelemzési vagy tartományi csapatoknak folyamatosan frissítenie kell a funkciókat az adattermékek új verzióinak megjelenésekor.
Egy másik stratégia, hogy a tartományi csapatok az AI/ML-modelleket olyan formátumban szabadítják fel, mint az Open Neural Network Exchange (ONNX), de ezek az eredmények fekete dobozok, és az AI/Models vagy a funkciók tartományok közötti kombinálása nehéz lenne.
Van mód az AI/ML-modell felépítésének decentralizáltsá ására a tartományok és az adatelemzési csapatok között a kihívások megoldása érdekében? A javasolt tartományalapú szolgáltatástervezési vagy funkcióhálós stratégia egy lehetőség.
Tartományalapú szolgáltatástervezés vagy funkcióháló
A tartományalapú szolgáltatástervezési vagy funkcióhálós stratégia decentralizált megközelítést kínál az AI/ML-modell adatháló-beállításban történő kiépítéséhez. Az alábbi ábra bemutatja a stratégiát, és azt, hogyan kezeli az adatháló négy fő alapelvét.
Domain ownership feature engineering by domain teams
Ebben a stratégiában a szervezet adatszakértőket párosít egy tartományi csapat adatszakértőivel, hogy az adatok feltárását tiszta és átalakított adatokon futtathassa, például egy adattóban. A mérnöki szolgáltatás olyan szolgáltatásokat hoz létre, amelyek egy szolgáltatástárolóban tárolódnak. A funkciótár egy adattár, amely betanítási és következtetési funkciókat kínál, és segít nyomon követni a funkcióverziót, a metaadatokat és a statisztikákat. Ez a képesség lehetővé teszi, hogy a tartományi csapat adatelemzői szorosan együttműködnek a tartományi szakértőkkel, és folyamatosan frissítve legyenek a tartományi adatváltozások során.
Termékként megadott adatok: Szolgáltatáskészletek
A tartományi csapat által létrehozott, tartományi vagy helyi funkciókként létrehozott szolgáltatások funkciókészletekként tesznek közzé az adatkatalógusban az adatszabályozási platformon. Ezeket a funkciókészleteket adatelemzési csapatok vagy más tartományi csapatok használhatják AI-/ML-modellek készítéséhez. Az AI/ML-modell fejlesztése során az adatelemzési vagy tartományi csapatok a tartományi funkciókat kombinálva új, megosztott vagy globális funkciókat hozhatnak létre. Ezeket a megosztott funkciókat a rendszer használat céljából közzéteszi a szolgáltatáskészletek katalógusában.
Önkiszolgáló adatplatform és összevont számításirányítás: Funkciószabványosítás és minőség
Ez a stratégia egy másik technológiai verem bevezetéséhez vezethet a funkciómérnöki folyamatokhoz és a tartományi csapatok közötti inkonzisztens funkciódefiníciókhoz. Az önkiszolgáló adatplatform alapelvei biztosítják, hogy a tartományi csapatok közös infrastruktúrát és eszközöket használjanak a funkciómérnöki folyamatok létrehozásához és a hozzáférés-vezérlés kényszerítéséhez. Az összevont számításirányítás elve globális szabványosítással és a funkcióminőség ellenőrzésén keresztül biztosítja a funkciókészletek együttműködési képességét.
A tartományalapú funkciótervezés vagy a funkcióhálós stratégia használata decentralizált AI/ML-modellépítési megközelítést kínál a szervezetek számára, hogy csökkentse az AI-/ML-modellek fejlesztésének idejét. Ez a stratégia segít konzisztensen tartani a funkciókat a tartományi csapatok között. Elkerüli az erőfeszítések duplikálását, és kiváló minőségű funkciókat eredményez a pontosabb AI/ML-modellekhez, ami növeli az üzleti értéket.
Adatháló implementálása az Azure-ban
Ez a cikk az AI/ML adathálóban történő üzembe való üzembeításával kapcsolatos fogalmakat ismerteti, és nem terjed ki az ilyen stratégiák létrehozásához szükséges eszközökre és architektúrákra. Az Azure olyan szolgáltatástár-ajánlatokkal rendelkezik, mint az Azure Databricks szolgáltatástárolója és a LinkedInből származó Feathr . Egyéni Microsoft Purview-összekötőket fejleszthet a funkciótárolók kezeléséhez és szabályozásához.