Mi az az adattermék?
Minden alkalmazás ideiglenesen vagy véglegesen létrehozza és tárolja az adatokat. Számos alkalmazás is létrehoz és ment adatokat üzemeltetési felügyeleti célokra, például hibanaplózás és állapotfigyelés céljából. A központosított adatcsoportok ETL-folyamatokat használnak az alkalmazások által előállított adatok felhasználására és feldolgozására. Az alkalmazásműveleti csapatok gyakran további adatfeldolgozási folyamatokkal rendelkeznek, például az alkalmazás állapotának és a KPI állapotának monitorozásához.
Az adatintegrációban a csapatok és felelősségek vízesésének hagyományos megközelítése nem ideális. Olyan tudásbeli hiányosságokhoz, tulajdonjogi problémákhoz és kommunikációs ütközésekhez vezethet, amelyek befolyásolják az adatok minőségét, idősorait és értékét a végfelhasználók számára. Az alkalmazásteljesítményért és a sikerért az alkalmazásért felelős csapatok felelősek. A munkájuk során módosítaniuk kell a más csapatok tulajdonában lévő alsóbb rétegbeli folyamatokat, de ezek a módosítások gyakran nem a tervnek megfelelően történnek. Előfordulhat például, hogy egy úgynevezett kisebb felsőbb rétegbeli változás drasztikusan megváltoztatja a KPI trendjét. Az ilyen típusú adatproblémák befolyásolhatják a kritikus döntések meghozatalának képességét.
Az adathálós megközelítés megakadályozza ezeket a problémákat azáltal, hogy termékként alkalmazza az adatok fogalmát. Az alkalmazástulajdonosok és az alkalmazáscsapatok az adatokat teljes mértékben tartalmazott termékként kezelik, amelyekért ők felelősek, és nem egy olyan folyamat melléktermékeként, amelyet mások kezelnek. Az alkalmazások és az elemzési adatkiszolgáló feladatok a tartományi felelősségi területeken belül találhatók.
Az adattermékek kifejezetten elemzési felhasználás céljából jönnek létre. Definiáltak és elfogadott alakzatokat, felhasználói felületeket, valamint karbantartási és frissítési ciklusokat, amelyek mindegyike dokumentálva van.
Az adattermékek a tartományi adategységeket/adathalmazokat az alsóbb rétegbeli folyamatokkal közösen dolgozzák fel egy SLO interfészén keresztül. Ha másként nem szükséges, a nyers adatokat a felhasználás előtt fel kell dolgozni, formázni, megtisztítani, összesíteni és normalizálni kell, hogy megfeleljen a jóváhagyott minőségi szabványoknak.
Az alábbi szakaszok a jó adattermékek közös jellemzőit ismertetik.
Az adattermék jellemzői
A jól megtervezett adattermékek a következők:
Felderíthető, érthető és megbízható: A tartományi csapatok az egyes adattermékekről, azok adatairól, jelentéséről, az adatok formájának formátumáról és frissítési ciklusáról szóló információk megosztásával és frissítésével biztosítják a felderíthetőséget és az érthetőséget. Az adatok vagy alakzatok változásait időben közlik az alsóbb rétegbeli fogyasztókkal. Az interfészek az adattermék-alakzatok időkorlátos visszamenőleges kompatibilitásának biztosításával biztosítják a megbízhatóságot.
Címezhető, natív módon elérhető és biztonságos: Az egyes adattermék keresésére és elérésére vonatkozó definiált folyamatok biztosítják a kezelhetőséget. A különböző hozzáférési követelményekhez szükséges biztonsági intézkedések érvényben vannak. Az adattartomány tulajdonjogának mentalitása a kaputartási adatokról az adatok jól meghatározott biztonsági óvintézkedésekkel történő kiszolgálására vált. A kínált hozzáférési felületek jól dokumentáltak, és különböző technológiákban változhatnak. A natívan elérhető adattermékek gyakran használt felületei közé tartoznak az API-k, az adatbázis-felhasználók, a táblák vagy nézetek, valamint a szükséges hozzáférési jogosultságokkal rendelkező fájlok.
Interoperable, truthful és értékes: Az adatok a meghatározott közös szabványok követésével biztosítják az együttműködést, például ugyanazokkal az értékekkel, amelyek mindig azonos névvel és adattípussal rendelkeznek. Egy ügyfélazonosítási adatokat tartalmazó oszlop például minden adattermékben Ügyfélazonosító címmel rendelkezhet, és az adatok mindig egész számok lehetnek, vagy snake_case vagy camelCase használata minden példányban. Az adattermékek értéket biztosítanak az ügyfelek számára, és az azonos vagy különböző tartományokban lévő új adattermékek felsőbb rétegbeli forrásaiként is használhatók. Ezt az adatterméket azonban nem lehet egyszerre több helyen is szállítani és másolni. A korábbi adattermékből származó minden adatterméknek új értéket és információt kell biztosítania a továbbfelhasználók számára. Az adattermékeknek mindig valós, nem téves adatokat is meg kell adniuk.
A jól megtervezett, jól karbantartott adattermékek és azok felületei segítenek a szervezeteknek elkerülni az adatok duplikálását, és segítenek létrehozni egy natív, egyetlen igazságforrást.
Adattermék-tervezési javaslatok
Az adattermék-kiszolgálási követelmények teljesítéséhez a tartományi csapatoknak új készségeket kell szerezniük, és új eszközöket és platformokat kell használniuk.
A tartományi alkalmazáscsapatok teljes körű felszerelése az adatalkalmazások létrehozásához és az adattermékek előállításához vagy kiszolgálásához. A csapatok egy ismerős technológiai verem használatával hozhatnak létre adattermékeket. Ha lehetséges, saját Spark-példányt vagy folyamatmotort is előnyben részesíthetnek. Például egy nagy tartomány, amely sok adatterméket szolgál ki, dönthet úgy, hogy a saját Azure Synapse Analyticsből dolgozza fel és szolgálja ki az adattermékeket. A kisebb szervezetek és a nagyvállalatok kisebb tartományai dönthetnek úgy, hogy közös platformon fejlesztik és futtatják adatalkalmazásaikat, például egy központilag található Azure Data Factory, Azure Synapse Analytics vagy Azure Databricks.
Győződjön meg arról, hogy az adattermékek az ebben a cikkben ismertetett közös jellemzőkkel rendelkeznek, az adattár tükrözi az adatalkalmazások életútját, és a megvalósítás és a hozzáférés az irányadó.
Adattermék- és adatalkalmazási útmutató az Azure-hoz
Az adatalkalmazási környezet minden lehetséges megközelítését elhelyezheti az Azure-beli adat-kezdőzónákban, ha a tartományi alkalmazásért felelős csapatok megosztott platformot és szolgáltatáskészletet használnak.
Három különböző adatalkalmazás-mintasablont találhat az Azure-beli adat-kezdőzónákhoz a felhőalapú elemzési adattermékekben az Azure-ban – Mintaadatalkalmazások.