Adatszerződések
A felelősségek egy összevont architektúra tartományai között oszlanak meg, ami megnehezítheti a függőségek felügyeletét és az adathasználati elemzések megszerzését. Az adatszerződések segíthetnek az adathasználati megállapítások megszerzésében, mivel információt nyújtanak arról, hogy ki birtokolja az egyes adattermékeket. Az adatszerződések segítségével szabványokat állíthat be, és magabiztosan kezelheti az adatfolyamokat. Ezek nélkülözhetetlenek a robusztus adatkezeléshez, és a következőkről nyújtanak tájékoztatást:
Mely adattermékeket használja fel a rendszer.
Mely felhasználók milyen adattermékeket használnak.
Milyen cél(ok) vezetik a felhasználókat adott adattermékek felhasználásához.
Az adattermék-elosztásnak és -használatnak két dimenziója van: a műszaki szempontok és az üzleti szempontok. A műszaki szempontok közé tartozik az adatfolyam-kezelés és a kölcsönös adatstabilitási elvárások. Az üzleti szempontok közé tartoznak az adatmegosztási célú megállapodások, amelyek meghatározzák a használati, adatvédelmi és célcélokat, beleértve a korlátozásokat is.
A két dimenzió különböző szerepköröket foglal magában. Általában az alkalmazástulajdonosokra vagy az adatmérnökökre kell támaszkodnia a műszaki problémákra, és üzleti szempontból a terméktulajdonosokra vagy az üzleti képviselőkre kell támaszkodnia.
Adatszerződések
Az adatszerződések hasonlóak a szolgáltatási szerződésekhez vagy az adatkézbesítési szerződésekhez.
Egy nagyobb vagy elosztott architektúrában nehéz lehet felügyelni a módosításokat. Egyszerűbbé teheti a felügyeletet a verziószámozás és a kompatibilitás kezelésével, ha népszerű és széles körben használt adattermékkel rendelkezik.
Ha az alkalmazások párosítva vannak, az azt jelzi, hogy a párosított alkalmazások között nagy mértékű az egymástól való függés. Azok az alkalmazások, amelyek más alkalmazásokból származó adatokat érnek el vagy használnak fel, mindig szenvednek a párosítás során. Az adatstruktúra bármilyen módosítása például valószínűleg közvetlenül érinti az adatokat elérő vagy használó más alkalmazásokat. Olyan helyzetekben, amikor számos alkalmazás van összekapcsolva, gyakori, hogy kaszkádoló hatással van, amikor egy alkalmazás kis mértékű módosítása sok más alkalmazást érint. Mivel a kisebb változások után is egyre nagyobb a valószínűsége a nem kívánt hatásoknak, sok építész és szoftvermérnök kerüli a kapcsolt architektúrák készítését.
Az adatszerződések biztosítják az interfészek kompatibilitását, és szolgáltatási feltételeket és szolgáltatásiszint-szerződést (SLA) tartalmaznak. A szolgáltatási feltételek felvázolják, hogyan használhatók fel az adatok, például csak fejlesztésre, tesztelésre vagy éles környezetre korlátozhatja az adatok használatát. Az SLA-k az adatkézbesítés és az interfész szükséges minőségét írják le. Az SLA-ban megadható minőségi adatok a következők:
- Rendelkezésre Állás
- Hibaarányok
- Elérhetőség
- Elavulás
- Ütemterv
- Verziószámok
A részleteket rögzítő metaadatokat a forráskövetés alá helyezheti, amely lehetővé teszi az érvényesítések és üzembe helyezések automatikus aktiválását. A forrásvezérlésről további információt az Azure Data Factory Forrásvezérlés című témakörében talál.
Az adatszerződések betekintést nyújtanak a tartományok és alkalmazások közötti összekapcsolásba és függőségekbe. A szerződés lehetővé teszi a szerződés tesztelését is, amely biztosítja, hogy minden alkalmazás- és felületmódosítást érvényesítsen a felhasználók adatkövetelményei alapján. A sémaeltolódás észlelésével megállapíthatja, hogy az adatfolyamok mikor válnak sebezhetővé a felsőbb rétegbeli adatforrások változásaival szemben. További információ: Sémaeltolódás a leképezési adatfolyamban.
Az adatszerződések gyakran a metaadatokon alapuló betöltési keretrendszerek részét képezik. Az adatszerződéseket metaadatrekordokban tárolhatja egy központilag felügyelt metaadattárban. Ezen a központi helyen az adatszerződések fontos szerepet játszanak az adatbetöltés több területén, többek között a következőkben:
Folyamat végrehajtása
Adattermék létrehozása
Adattípus érvényesítése
Sémák
Együttműködési szabványok
Protokollverziók
A hiányzó adatokra vonatkozó alapértelmezett szabályok
Az adatszerződések nagy mennyiségű technikai metaadatot foglalnak magukban. Az adatfolyamok és az adattermékek dokumentálásához egyértelmű leírással kell rendelkeznie az adatforrásokról, az adatokon végzett összes átalakításról és az adatok végső kézbesítéséről.
Az elosztott architektúrában egy adatfolyam-keretrendszert terjeszthet különböző tartományok között, és a tartományok megfelelnek a közös munkamódszernek. Mivel a tartományok maguk dolgozzák fel az adatokat, az irányítás és a felelősség velük marad, míg a keretrendszer és a metaadatok továbbra is központi irányítás alatt maradnak.
Összevont módszer megvalósításakor kezdjen kicsivel. Kezdje az alapokkal, például a metaadat-tárolóval a sémaérvényesítéshez, a vállalati azonosítókhoz és a megosztott metaadattár más adathalmazokra mutató hivatkozásaihoz. Adatsor-támogatás hozzáadása az adatáthelyezés megjelenítéséhez. Indítsa el a folyamatokat, és a Nagy elvárásokhoz hasonló kódtárak használatával implementálja a technikai adatminőség-ellenőrzés vezérlőit.
Minden vezérlőnek a folyamatos integrációs eljárások részét kell képeznie. Rögzítse az összes futásidejű információt, beleértve a metrikákat és a naplózást, és tegye ezeket az információkat a metaadatok alapjai közé az adatfolyamat stabilitási elemzéseinek megszerzéséhez. Ez a beállítás biztosítja, hogy visszajelzési hurok legyen a tartományok és a központi felügyeleti pilótafülke között.
Az összes adatáthelyezés stabilizálása során rögzítse, hogy mely adatattribútumokat (például táblákat és oszlopokat) használják az adatfelhasználók, és ezeket az információkat használva folytassa a skálázást. Ezeket az információkat felveheti a központilag felügyelt metaadattárba. Az adathasználati információk segítségével észlelheti a kompatibilitástörő változásokat, és azonosíthatja az adattermelőkre és a fogyasztókra gyakorolt hatásukat. Ha egy adattermék-adatkészletnek nincsenek felhasználói, lehetővé teheti, hogy zavaró változásokat tapasztaljon. A forráskövetés (például a Git) használatával kézfogási folyamatot engedélyezhet az adatok szolgáltatói és felhasználói között.
Adatmegosztási szerződések
Az adatmegosztási szerződések az adatszerződések kiterjesztése. A szerződések az adathasználatot, az adatvédelemet és a célt ismertetik, beleértve az esetleges korlátozásokat is. Az adatmegosztási szerződések interfészfüggetlenek, és betekintést nyújtanak az adott célra használt adatokba. Adatbiztonsági vezérlők bemeneteként is működnek. Adatmegosztási szerződéssel felvázolhatja, hogy mely szűrőket vagy biztonsági védelmet kell alkalmazni az adatokra.
Az adatmegosztási szerződések az adathasználattal kapcsolatos félreértések megelőzésében is segítenek. A tartománytulajdonosoknak az adatok megosztása előtt meg kell beszélnie az adatmegosztással és az adathasználattal kapcsolatos problémákat. A közös megértés elengedhetetlen az adatok és azok használatának szabályozásához, valamint annak biztosításához, hogy értéket biztosítson a szervezetnek. Ha minden tartománytulajdonos közös megegyezésre jut, győződjön meg arról, hogy egy adatmegosztási szerződésben dokumentálja azt. Ebben a szerződésben a következő területeket is kezelheti:
Funkcionális adatok minősége
Historizáció
Adatéletciklus-kezelés
Az adatok további elosztása
Az adatok védelme érdekében besorolásokat és feltételeket alkalmazhat, például bizalmassági címkéket vagy szűrési feltételeket.
Az előző szakasz ábráján az adattermék oldalkocsija feliratú elemek láthatók. Az adattermék oldalkocsija egy olyan összetevő vagy réteg, amely a szabályzatok végrehajtását injektálja, például az adathozzáférési vezérlőket vagy az adatfelhasználási kimeneti módszereket. Ez egy biztonsági absztrakció, amely adatszerződéseket használ a tartományi adatokra vonatkozó biztonsági kényszerítés kezelésére. Az adatszerződés-adattárból létrehozhat egy adattermékoldali oldalkocsit hozzáférés-vezérlési lista (ACL) vagy kiszolgáló nélküli nézetként, vagy létrehozhat egyet egy duplikált adatkészlettel, amelyet kiválaszt és szűr egy adott fogyasztóra. Akárhogy is, a cél az, hogy biztonsági nézeteket nyerjen le az adatszerződésekből teljesen automatizált módon.
Adatszerződési attribútumok és a dokumentáció csatlakoztatása. Győződjön meg arról, hogy szemantikai kontextust és kapcsolatot biztosít a szószedethez, hogy a felhasználók megértsék, hogyan jelennek meg az üzleti követelmények a tényleges megvalósításhoz. Ha az üzleti feltételekkel való kapcsolat fontos a szervezet számára, fontolja meg olyan szabályzatok implementálását, mint például az adatszerződések csak akkor hozhatók létre, ha az összes adattermékattribútum üzleti kifejezésbeli entitásokhoz van kapcsolva. Ezt a szabályzattípust olyan környezeti változásokra is alkalmazhatja, mint a kapcsolat vagy a definíció módosítása.
Adatszerződések használata
Az adatszerződések használatának megkezdésekor kezdjen lassan. Ne vezessen be egyszerre túl sok módosítást; az adatszerződések kulturális váltást igényelnek, és a felhasználóknak időre van szükségük ahhoz, hogy megismerjék őket, és megértsék az adat tulajdonjogának fontosságát. Az adatszerződésekben túl kevés és túl sok metaadatattribútum között is meg kell találnia az édes helyet.
Az alábbi lépések ismertetik a szervezet adatszerződéseinek megvalósításának folyamatát.
Győződjön meg arról, hogy a műszaki adatfolyamok stabilak. A használati esetek nem érik el az éles üzemet, ha az általuk áthaladó folyamatok váratlan fennakadásokat tapasztalnak.
A megosztási szerződések használatbavétele során egyszerű és gyakorlatias folyamatokat hozhat létre. Először is megtervezhet egy egyszerű űrlapot vagy sablont a Microsoft Formsban. Írjon világos, tömör nyelven, amelyet az olvasók könnyen megérthetnek. Ennek az első fázisnak a középpontjában a kulturális eltolódás és a gyűjtési követelmények áll. Győződjön meg arról, hogy nem túlkomplikálja a dolgokat; fogadja el a manuális folyamatokat, korlátozza a kezdeti metaadatokra vonatkozó követelményeket, és addig iteráljon, amíg ezek a követelmények nem lesznek stabilak.
Miután az első folyamatokat szilárdan elvégezte, kezdje el lecserélni a manuális űrlapokat egy webalapú alkalmazásra, adatbázisra és/vagy üzenetsorra. Ebben a fázisban a központi adatirányítási csapatnak továbbra is felelősnek kell lennie a felügyeletért. Az adathozzáférés részletessége ezen a ponton általában a mappákra vagy fájlokra összpontosít. Amikor csak lehetséges, rest API-k használatával automatikusan kiépíteni az adatelérési szabályzatokat vagy ACL-eket.
Helyezze az adattulajdonosokat vagy az adatgondnokokat egy erős munkafolyamat irányítására a jóváhagyáskezeléshez. A központi adatszabályozási szerepkörnek mostantól csak háttérszerepkörből kell felügyelnie a jóváhagyásokat, és rendszeresen ellenőriznie kell az összes adatszerződést. Ezen a ponton rendelkeznie kell egy olyan adatkatalógussal, mint az Azure Purview , amely megjeleníti az összes használatra kész adatterméket. Az adatok és a biztonsági kényszerítési képességek javítása azáltal, hogy lehetővé teszi a részletes kijelöléseket és szűrést, és fontolja meg az olyan technikák használatát, mint a dinamikus adatmaszkolás az adatok duplikálásának megakadályozása érdekében.
Az adatszerződések megvalósításának utolsó szakaszában mindennek önkiszolgálónak és teljesen automatizáltnak kell lennie. Az automatizált gépi tanulásnak előre kell jeleznie az adatjóváhagyásokat. Biztonság
Az utazás végén minden önkiszolgáló és teljesen automatizált lesz. Ez magában foglalja az adatjóváhagyások előrejelzéséhez szükséges automatikus biztonsági kényszerítést és gépi tanulást. A biztonságos nézetek például a jóváhagyás után automatikusan üzembe lesznek helyezve.
Az adatszerződések az adathálós architektúra viszonylag új, mégis fontos kiegészítői, ami átláthatóságot biztosít az adathasználat és a függőségek számára. Az adatszerződések használatának megkezdésekor a technikai stabilitásra és a szabványosításra összpontosítson, majd iteráció közben használjon tanulságos folyamatot. Lassan építheti ki és automatizálhatja az adatszabályozást, hogy ne növelje a szervezet terhelését.
Az adatszerződés dokumentációjának részeként szolgáltatási feltételekre és szolgáltatásiszint-szerződésekre (SLA-kra) is szüksége van. Az SLA-k segítségével felvázolhatja az adatkézbesítésre és az interfészekre vonatkozó minőségi követelményeket, beleértve az üzemidőt, a hibaarányokat és a rendelkezésre állást. Az SLA-k tartalmazhatnak bármilyen elavulással, ütemtervtel és verziószámmal kapcsolatos követelményeket is, amelyekre szükség van.