Adatszerződések
A felelősségi körök egy összevont architektúrában lévő tartományok között oszlanak meg, ami megnehezítheti a függőségek felügyeletét és az adathasználati megállapítások megszerzését. Az adatszerződések segíthetnek az adathasználati megállapítások megszerzésében, mivel információt nyújtanak arról, hogy ki az egyes adattermék tulajdonosa. Az adatszerződésekkel szabványokat állíthat be, és magabiztosan kezelheti az adatfolyamokat. Ezek alapvető fontosságúak a robusztus adatkezeléshez, és az alábbiakkal kapcsolatos információkat nyújtanak:
Mely adattermékeket használja fel a rendszer.
Mely felhasználók melyik adatterméket fogyasztják.
Milyen cél(ok) vezetik a felhasználókat adott adattermékek felhasználásához.
Az adattermék-elosztásnak és -használatnak két dimenziója van: műszaki szempontok és üzleti szempontok. A technikai szempontok közé tartozik az adatfolyam-kezelés és a kölcsönös adatstabilitási elvárások. Az üzleti szempontok közé tartoznak az adatmegosztási célú megállapodások, amelyek meghatározzák a használati, adatvédelmi és célcélokat, beleértve a korlátozásokat is.
A két dimenzió különböző szerepköröket foglal magában. Általában az alkalmazástulajdonosokra vagy az adatmérnökökre kell támaszkodnia a technikai szempontok szempontjából, és üzleti szempontból a terméktulajdonosokra vagy az üzleti képviselőkre kell támaszkodnia.
Adatszerződések
Az adatszerződések hasonlóak a szolgáltatási szerződésekhez és az adatszolgáltatási szerződésekhez.
Egy nagyobb vagy elosztott architektúrában nehéz lehet felügyelni a változásokat. Egyszerűbbé teheti a felügyeletet a verziószámozás és a kompatibilitás kezelésével, amikor népszerű és széles körben használt adattermékkel rendelkezik.
Ha az alkalmazások párosítva vannak, az azt jelzi, hogy a kapcsolt alkalmazások között nagy fokú az egymástól való függés. Azok az alkalmazások, amelyek más alkalmazásokból származó adatokat férnek hozzá vagy használnak fel, mindig szenvednek egymástól. Az adatstruktúra bármilyen módosítása, például valószínűleg közvetlenül érinti az adatokat elérő vagy használó más alkalmazásokat. Olyan helyzetekben, amikor sok alkalmazás van összekapcsolva, gyakori, hogy kaszkádolt hatást tapasztal, amikor egyetlen alkalmazás kis módosítása sok más alkalmazást érint. Mivel a kisebb módosítások után is egyre nagyobb a valószínűsége a nem kívánt hatásoknak, számos tervező és szoftvermérnök kerüli a kapcsolt architektúrák kiépítését.
Az adatszerződés garantálja az interfészek kompatibilitását, és szolgáltatási feltételeket és szolgáltatásiszint-szerződést (SLA- t) tartalmaz. A szolgáltatási feltételek azt ismertetik, hogyan használhatók fel az adatok, például csak fejlesztésre, tesztelésre vagy éles környezetre korlátozhatja az adatok használatát. Az SLA-k az adatkézbesítés és az interfész szükséges minőségét írják le. Az SLA-ban megadható minőségi részletek a következők:
- Üzemidő
- Hibaarányok
- Rendelkezésre állás
- Elavulás
- Ütemterv
- Verziószámok
A részleteket rögzítő metaadatokat a forráskövetés alá helyezheti, amely lehetővé teszi az ellenőrzések és üzembe helyezések automatikus aktiválását. A verziókövetésről további információt a Forrásvezérlő Azure Data Factory című témakörben talál.
Az adatszerződések betekintést nyújtanak a tartományok és alkalmazások összekapcsolásába és függőségeibe. A szerződés emellett lehetővé teszi a szerződések tesztelését is, amely biztosítja, hogy az alkalmazás és az interfész minden módosítását érvényesítse a felhasználók adatkövetelményei alapján. A sémaeltolódás észlelésével megállapíthatja, hogy az adatfolyamok mikor válnak sebezhetővé az adatforrások felsőbb rétegbeli változásaival szemben. További információ: Sémaeltolódás a leképezési adatfolyamban.
Az adatszerződések gyakran a metaadat-alapú betöltési keretrendszerek részét képezik. Az adatszerződéseket metaadatrekordokban tárolhatja egy központilag felügyelt metaadattárban. Ettől a központi helyről az adatszerződések fontos szerepet játszanak az adatbetöltés több területén, többek között:
Folyamat végrehajtása
Adattermék létrehozása
Adattípus-ellenőrzés
Sémák
Együttműködési szabványok
Protokollverziók
Hiányzó adatokra vonatkozó alapértelmezett szabályok
Az adatszerződések nagy mennyiségű technikai metaadatot foglalnak magukban. Az adatfolyamok és az adattermékek dokumentálásához egyértelmű leírást kell adnia az adatforrásokról, az adatokon végzett összes átalakításról, valamint az adatok végső továbbításának módjáról.
Az elosztott architektúrákban az adatfolyam-keretrendszert különböző tartományok között osztja el, és a tartományok megfelelnek a közös munkamódszernek. Mivel a tartományok maguk dolgozzák fel az adatokat, az irányítás és a felelősség velük marad, míg a keretrendszer és a metaadatok továbbra is központi irányítás alatt maradnak.
Összevont metódus implementálásakor kezdjen kicsivel. Kezdje az alapokkal, például a metaadat-tárolóval a sémaérvényesítéshez, a vállalati azonosítókhoz és a megosztott metaadat-adattár más adatkészleteire mutató hivatkozásokhoz. Adatéletút-támogatás hozzáadása az adatáthelyezés megjelenítéséhez. Indítsa el a folyamatokat, és olyan kódtárakat használjon, mint a Great Expectations , hogy vezérlőket implementáljon a műszaki adatminőség-ellenőrzéshez.
Minden vezérlőnek a folyamatos integrációs eljárások részét kell képeznie. Rögzítse az összes futásidejű információt, beleértve a metrikákat és a naplózást is, és ezeket az információkat a metaadat-alaprendszer részévé tegye az adatfolyam-stabilitási elemzések megszerzéséhez. Ez a beállítás biztosítja, hogy visszajelzési hurok legyen a tartományok és a központi felügyeleti pilótafülke között.
Az összes adatáthelyezés stabilizálása során rögzítse, hogy mely adatattribútumokat (például táblákat és oszlopokat) használják az adatfelhasználók, és ezeket az adatokat használva folytassa a skálázást. Ezeket az adatokat felveheti a központilag felügyelt metaadattárba. Az adathasználati adatok segítségével észlelheti a kompatibilitástörő változásokat, és azonosíthatja az adattermelőkre és a fogyasztókra gyakorolt hatásukat. Ha egy adattermék-adatkészletnek nincsenek fogyasztói, engedélyezheti, hogy zavaró változásokat tapasztaljon. A forráskövetés (például a Git) használatával kézfogási folyamatot engedélyezhet a szolgáltatók és az adatok felhasználói között.
Adatmegosztási szerződések
Az adatmegosztási szerződések az adatszerződések kiterjesztését képezik. A szerződések ismertetik az adathasználatot, az adatvédelmet és a célt, beleértve az esetleges korlátozásokat is. Az adatmegosztási szerződések interfészfüggetlenek, és betekintést nyújtanak abba, hogy milyen adatokat használnak fel egy adott célra. Adatbiztonsági vezérlők bemeneteként is működnek. Az adatmegosztási szerződéssel felvázolhatja, hogy mely szűrőket vagy biztonsági védelmet kell alkalmazni az adatokra.
Az adatmegosztási megállapodások az adathasználattal kapcsolatos félreértések megelőzésében is segítenek. A tartománytulajdonosoknak az adatok megosztása előtt meg kell beszélnie az adatmegosztással és az adathasználattal kapcsolatos problémákat. A közös megértés kritikus fontosságú ahhoz, hogy szabályozhassa az adatokat és azok használatát, és biztosítsa, hogy értéket nyújtson a szervezetnek. Miután az összes tartománytulajdonos együttműködési megállapodásra jutott, győződjön meg arról, hogy egy adatmegosztási szerződésben dokumentálja azt. Ebben a szerződésben a következő területeket is kezelheti:
Funkcionális adatok minősége
Historizáció
Adatéletciklus-kezelés
Az adatok további elosztása
Az adatok védelméhez besorolásokat és feltételeket, például bizalmassági címkéket vagy szűrési feltételeket alkalmazhat.
Az előző szakasz ábráján az adattermék oldalkocsija feliratú elemek láthatók. Az adattermék oldalkocsija egy olyan összetevő vagy réteg, amely a szabályzatok végrehajtását injektálja, például az adathozzáférési vezérlőket vagy az adatfelhasználási kimeneti módszereket. Ez egy biztonsági absztrakció, amely adatszerződéseket használ a tartományi adatokra vonatkozó biztonsági kényszerítés kezelésére. Létrehozhat egy adattermékoldalt az adatszerződés adattárából hozzáférés-vezérlési listaként (ACL) vagy kiszolgáló nélküli nézetként, vagy létrehozhat egyet egy duplikált adatkészlettel, amelyet kiválaszt és szűr egy adott fogyasztóra. A cél mindkét esetben az, hogy a biztonsági nézeteket teljesen automatizált módon nyerje ki az adatszerződésekből.
Csatlakoztassa az adatszerződés attribútumait és a dokumentációt. Győződjön meg arról, hogy szemantikai kontextust és kapcsolatot biztosít a szószedethez, hogy a fogyasztók megértsék, hogyan viszonyulnak az üzleti követelmények egy tényleges megvalósításhoz. Ha az üzleti feltételekkel való kapcsolat fontos a szervezet számára, fontolja meg olyan szabályzatok implementálását, mint például az adatszerződések létrehozását, miután az összes adattermékattribútum üzleti kifejezésentitásokhoz van kapcsolva. Ezt a szabályzattípust a környezetfüggő változásokra is alkalmazhatja, például kapcsolat- vagy definíciómódosításokra.
Adatszerződések használata
Az adatszerződések használatának megkezdésekor lassan induljon el. Ne vezessen be egyszerre túl sok módosítást; az adatszerződések kulturális eltolódást igényelnek, és a felhasználóknak időre van szükségük ahhoz, hogy megismerjék őket, és megértsék az adatok tulajdonjogának fontosságát. Azt is meg kell találnia, hogy az adatszerződésekben túl kevés és túl sok metaadatattribútum van.
Az alábbi lépések a szervezet adatszerződéseinek megvalósítását ismertetik.
Győződjön meg arról, hogy a műszaki adatfolyamok stabilak. A használati esetek nem érik el az éles üzemet, ha az általuk áthaladó folyamatok váratlan fennakadásokat tapasztalnak.
A megosztási szerződések használatba vételekor egyszerű és pragmatikus folyamatokat helyezhet üzembe. Első lépésként megtervezhet egy egyszerű űrlapot vagy sablont Microsoft Forms. Írjon világos, tömör nyelven, amelyet az olvasók könnyen megérthetnek. Ennek az első fázisnak a középpontjában a kulturális eltolódás és a gyűjtési követelmények áll. Ügyeljen arra, hogy ne bonyolítsa túl a dolgokat; fogadja el a manuális folyamatokat, korlátozza a kezdeti metaadatokra vonatkozó követelményeket, és addig iteráljon, amíg ezek a követelmények nem stabilak.
Miután az első folyamatokat szilárdan elvégezte, kezdje el lecserélni a manuális űrlapokat egy webalapú alkalmazásra, adatbázisra és/vagy üzenetsorra. A központi adatirányítási csapatnak továbbra is felelősnek kell lennie a felügyeletért ebben a fázisban. Az adathozzáférés részletessége ezen a ponton általában a mappákra vagy fájlokra összpontosít. Amikor csak lehetséges, rest API-k használatával automatikusan kiépíteni az adathozzáférési szabályzatokat vagy ACL-eket.
Helyezze az adattulajdonosokat vagy az adatgondnokokat egy erős munkafolyamat felelőseként a jóváhagyáskezeléshez. A központi adatszabályozási szerepkörnek mostantól csak háttérszerepkörből kell felügyelnie a jóváhagyásokat, és rendszeresen ellenőriznie kell az összes adatszerződést. Ezen a ponton rendelkeznie kell egy olyan adatkatalógussal, mint az Azure Purview , amely megjeleníti az összes használatra kész adatterméket. Javíthatja az adatok és a biztonsági kényszerítési képességeket azáltal, hogy lehetővé teszi a finomított kijelöléseket és szűrést, és fontolja meg olyan technikák használatát, mint a dinamikus adatmaszkolás, hogy megakadályozza az adatok duplikálását.
Az adatszerződés implementálásának utolsó szakaszában mindennek önkiszolgálónak és teljesen automatizáltnak kell lennie. Az automatizált gépi tanulásnak előre kell jeleznie az adatjóváhagyásokat. Biztonság
Az utazás végén minden önkiszolgáló és teljesen automatizált lesz. Ez magában foglalja az automatikus biztonsági kényszerítést és az adatjóváhagyások előrejelzéséhez szükséges gépi tanulást. A biztonságos nézetek például a jóváhagyás után automatikusan üzembe lesznek helyezve.
Az adatszerződések az adatháló-architektúra viszonylag új, mégis fontos kiegészítői, ami átláthatóvá teszi az adathasználatot és a függőségeket. Az adatszerződések használatának megkezdésekor a technikai stabilitásra és a szabványosításra kell összpontosítania, majd iteráció közben egy tanulságos folyamatot kell használnia. Lassan építheti fel és automatizálhatja az adatszabályozást, hogy ne növelje a szervezet többletterhelését.
A megfigyelhetőséggel és az adatmegosztási megállapodásokkal kapcsolatos további információkért lásd : Felhőmonitorozási útmutató: Megfigyelhetőség.
Az adatszerződés dokumentációjának részeként szolgáltatási feltételekre és szolgáltatói szerződésekre (SLA-kra) is szüksége lesz. Az SLA-k segítségével felvázolhatja az adatkézbesítés és a felületek minőségi követelményeit, beleértve az üzemidőt, a hibaarányt és a rendelkezésre állást. Az SLA-k tartalmazhatnak bármilyen elavulással, ütemtervtel és verziószámmal kapcsolatos követelményt is, amit meg kell határozni.