Metaadat-szabványok

A metaadatok kezelése kulcsfontosságú szerepet játszik az adatarchitektúra terén. A metaadatok más adatok adatai. Az adatokat írja le, és olyan hivatkozást biztosít, amely segít az adatok keresésében, védelmében és szabályozásában. A metaadatok az adatokat is összefűzik. Segítségével ellenőrizheti az adatok integritását és minőségét, átirányíthatja vagy replikálhatja az adatokat egy új helyre, átalakíthatja az adatokat, és megismerheti az adatjelentéseket. A metaadatok elengedhetetlenek az adatok önkiszolgáló portálokon keresztüli demokratizálásában is.

A jó metaadat-kezelési stratégia organikusan növekszik. Először a legfontosabb területek azonosításával kezdi az egyszerűt és a kicsit. A jó metaadat-kezelési stratégiát szolgáltatások és egyértelmű folyamatok is támogatják. Első lépésként érdemes tisztában lenni a különböző metaadat-kategóriákkal:

• Az üzleti metaadatok az irányításhoz, az adatok kereséséhez és megértéséhez használt összes szempontot ismertetik. Néhány jól ismert példa az üzleti kifejezésekre és definíciókra, valamint az adatok tulajdonjogára, használatára és eredetére vonatkozó információkra.
• A műszaki metaadatok az adatok szerkezeti aspektusait ismertetik a tervezéskor. Néhány jól ismert példa a sémainformációk, az adatformátum és a protokolladatok, valamint a titkosítási és visszafejtési kulcsok.
• Az operatív metaadatok az adatok futásidőben történő feldolgozását ismertetik. Néhány jól ismert példa a folyamatinformációkra, a végrehajtási időre, a folyamathiba adataira és a feladatazonosítókra.
• A közösségi metaadatok a felhasználók adatainak felhasználói perspektíváját írják le. Néhány jól ismert példa: használati és felhasználókövetési információk, keresési eredmények adatai, szűrők és kattintások, megtekintési idő, profiltalálatok és megjegyzések.

A decentralizált adatarchitektúra esetében a metaadatok kezelése egy olyan szervezeti kihívás, amely megköveteli a központilag felügyelt metaadatok és az összevont felügyelt metaadatok közötti egyensúlyt. A metaadatok kezelésének megtervezése során fontos, hogy megismerje az Azure-beli felhőalapú elemzések csapatait és funkcióit. Az együttműködési adatkezelési gyakorlat használata javítja a csapatok közötti kommunikációt, integrációt és adatfolyam-automatizálást. A metaadatok kezelésének összetettségével a központi irányítás és a tartomány tulajdonjoga közötti megfelelő egyensúly megteremtésével foglalkozhat.

Amikor eldönti, hogy milyen metaadatokat kell központilag kezelnie vagy összevonnia az adattartományokkal , és megkezdi a megvalósítást, tegye fel a kérdést:

• Milyen üzleti metaadatok fontosak?
• Milyen technikai metaadatok szükségesek az együttműködéshez?
• Milyen folyamatok és streamek rögzítik az adatokat?
• Hol vannak létrehozva és karbantartva a modellek vagy sémák?
• Milyen információs csapatoknak kell központilag kézbesítenie ahhoz, hogy az adatszabályozási részleg megfelelően végezze a munkáját?

Az ezekre a kérdésekre adott válaszok segítségével térképezheti le az egyes metaadat-adatfolyamok tartalom-életciklusát, és meghatározhatja az összes függőséget. Ezután rendelkezik egy metaadat-modellel, amely képes összekapcsolni az üzleti tartományokat, folyamatokat, technológiát és adatokat.

Ha már tudja, hogy milyen metaadatokra van szüksége, ki kell választania a tárolási és feldolgozási helyet. Ezt az Azure Purview használatával teheti meg.

Az Azure Purview használata az adatvagyon nagy méretű kezeléséhez

Az Azure Purview egy egységes adatszabályozási megoldás, amely segít a helyszíni, többfelhős és szolgáltatott szoftveres (SaaS-) adatok kezelésében és szabályozásában. Nagy léptékű metaadat-kezelést végez, mivel ez egy teljesen automatizált szolgáltatás, amely intelligensen végzi az adatfelderítést, az adatvizsgálatot és a hozzáférés-kezelést. Emellett holisztikus térképet is biztosít az adathálós architektúrával kapcsolatos számos megállapításról.

Az Azure Purview implementálása során ne vezessen be túl sok változást és bonyolultságot gyorsan. A technikai metaadatok az Azure Purview alapjai. A metaadatok összegyűjtése és rendszerezése szükséges, mielőtt értelmet nyernénk.

Miután megkapta a metaadatokat, kezdje az alapokkal:

• Üzleti feltételek
• Mérvadó adatforrások listája
• Adatbázisok listája
• Sémaadatok
• Adatok tulajdonjoga
• Adatgondnokság
• Biztonság

Ezután skálázással lassan több tartománytulajdonost és adatgondnokot von be, és további besorolásokat és bizalmassági címkéket ad hozzá. Ezek a kiegészítések javítják a keresési élményt, és jobb adathozzáférés-kezelést biztosítanak.

Az egyéni metaadat-attribútumok, például a tartományok és az alkalmazás metaadatainak listája esetében érdemes lehet további típusdefiníciókat létrehozni az Azure Purview-ban.

A tartományorientált architektúrához igazítsa az Azure Purview-gyűjteményeket és -szószedeteket az adattartományokhoz. Az Azure Purview-gyűjtemények objektumokat és forrásokat rendszereznek. A gyűjteményt használhatja az objektumok és források határaként, és igazíthatja egy adott tartományhoz. Ugyanezt megteheti a szószedetdel is. Hozzon létre hierarchiastruktúrákat a szószedetben, és igazítsa őket a tartományaihoz. Kérje meg tartományait, hogy vegyék át a tulajdonjogot a szószedeti kifejezések és a gyűjteményattribútumok közötti kapcsolatok létrehozásához. Ez átláthatóbbá teszi az adatok tulajdonjogát, és javítja az adatszemantikát.

Az Azure Cosmos DB használata a szervezet Knowledge Graph-jának létrehozásához

Az iparágban egyre nagyobb a tendencia, hogy az adatelemzések közelebb kerüljenek az adatelemzőkhöz és a tudósokhoz olyan portálok használatával, amelyek intenzívebben használják a metaadatokat. Ezt a trendet adatmegfigyelésnek nevezzük. Az adatmegfigyelés olyan fogalmakat használ, mint a metaadat-tó, a tudásgráfok vagy a metaadat-gráfok a metaadatokat központosított platformok leírására. Ezzel a módszerrel egységes képet készíthet arról, hogyan használják és használják fel az adatokat a szervezeten belül elosztott adathálók használatakor.

Az adatelemzési megoldásnak le kell írnia az adatok használatát, valamint az entitások, például a forrásadatok és az adattermékek, valamint az egyik tartományból származó adattermékek és egy másik tartomány függő termékei közötti kapcsolatokat. A kapcsolatok modellezéséhez használhat gráfadatbázist vagy egyéni felhasználói felületet.

Ha egységes nézetet szeretne készíteni a szervezet adatairól egyéni felhasználói felülettel, tekintse meg az Azure Cosmos DB-t. Az Azure Cosmos DB egy globálisan elosztott, többmodelles adatbázis-szolgáltatás NoSQL-végpontokkal. Gráfadatbázis-szolgáltatást nyújt az Apache Gremlinhez készült Azure Cosmos DB-n keresztül, hogy hatalmas gráfokat tároljon több milliárd csúcstal és éllel.

Az Azure Cosmos DB-architektúra végeredménye egy szervezeti szintű gráf, amely a teljes körű környezet használatával egységes képet biztosít a szervezet összes adatáról. A metaadat-tó nem csak az információk tárolásáról szól. Emellett aktívan rendszerezi a metaadatokat gráfként úgy, hogy más szolgáltatásokkal és eszközökkel összekapcsolja. Ez a rendszerezett gráf lehetővé teszi, hogy több témakört is összevetsen, többek között a következőket:

• Tartományok
• Adatminőség
• Adathasználat
• Üzleti képességek
• Alkalmazásfüggvények
• Műszaki architektúrával kapcsolatos információk
• Működési események
• Szervezeti metaadatok
• Alkalmazás tulajdonjogának metaadatai
• Helyadatok
• Alkalmazás életciklus-kezelési információi

Következő lépések

• Felhőalapú elemzések biztonságossá tétele az Azure-ban