Felhőalapú elemzési adattermékek az Azure-ban
Az adattermékek olyan adatok, amelyeket termékként szolgálnak ki, és amelyeket kiszámítanak, mentenek és kiszolgálnak a többplatformos adatmegőrzési szolgáltatások, amelyeket bizonyos használati esetek megkövetelhetnek. Az adattermék létrehozásának és kiszolgálásának folyamata olyan szolgáltatásokat és technológiákat igényelhet, amelyek nem szerepelnek az adat-kezdőzóna alapvető szolgáltatásaiban. Ilyen például a hiánypótló követelményekkel kapcsolatos jelentéskészítés, például a megfelelőség és az adóbevallás.
Kialakítási szempontok
Az adat-célzóna több adatterméket is kiszolgálhat úgy, hogy az adatokat ugyanabban az adat-célzónán belülről vagy több adat-célzónából betölti. Ez az alábbi ábrán látható.
A fenti példa a következőt mutatja:
- Intrazone-adatfelhasználás:
- A B adattermék az A adattermékből, valamint a saját célzónán belül a data lake-ben meglévő egyéb adatokból vagy adattermékekből származó adatokat használja fel.
- A C és D adattermékek csak a saját adat-kezdőzónájukból használnak fel adatokat.
- Zónaközi adatfelhasználás:
- A B adattermék a C adattermékből és a 3. célzóna adattójában lévő adatokból is felhasznál adatokat.
Fontos
Az övezetek közötti adatfelhasználás esetében, mivel a B adattermék a 3. adat-kezdőzónából történő beolvasással jön létre, ez az olvasási hozzáférés a 3. adat-kezdőzóna műveleteinek és integrációs műveleti csapatainak jóváhagyását igényli.
Fontos
A B adattermék az A és A adattermékekből származó adatokat használja fel. Mielőtt ez bekövetkezne, a B adatterméknek adatmegosztási megállapodásokon keresztül regisztrálnia kell az adattermékek felhasználását. Ennek az adatmegosztási szerződésnek frissítenie kell az A adattermékről a B adattermékre, a C adattermékről a B adattermékre.
Az adattermék erőforráscsoportja tartalmazza a létrehozásukhoz és karbantartásához szükséges összes szolgáltatást. Ezt az erőforráscsoportot adatalkalmazásnak hívhatjuk. Az adatalkalmazások részét képező szolgáltatások közé tartozhatnak például az Azure Functions, a Azure-alkalmazás Service, a Logic Apps, az Azure Analysis Services, az Azure Cognitive Services, az Azure Machine Tanulás, az Azure SQL Database, az Azure Database for MySQL és az Azure Cosmos DB. További információ: adatalkalmazás-minták.
Az adattermékek olyan READ adatforrásokból származó adatokkal rendelkeznek, amelyeken adatátalakításokat alkalmaztak. Ilyen lehet például egy újonnan összeállított adathalmaz vagy egy BI-jelentés.
Tervezési javaslatok
Adattermékeket hozhat létre az adat-kezdőzónában az olyan tervezési alapelvek betartásával, amelyek lehetővé teszik az adatszabályozással való skálázást. Az alábbi szakaszok tervezési javaslatokat nyújtanak az adatalkalmazás ökoszisztémájának megtervezéséhez.
Több erőforráscsoport üzembe helyezése
Minden adatalkalmazás egy erőforráscsoport. Mivel az adatalkalmazások számítási szolgáltatások, többplatformos adatmegőrzési szolgáltatások vagy mindkettő, ezekre csak bizonyos használati esetektől függően lehet szükség. Ezért választható adat-kezdőzóna-összetevőnek minősülnek. Abban az esetben, ha szükség van adatalkalmazásra, hozzon létre több erőforráscsoportot adatalkalmazásonként az alábbi ábrán látható módon.
Védőkorlátok beállítása
Az Azure Policy az adat-kezdőzónán belüli szolgáltatások alapértelmezett konfigurációját vezérli. Az operatív elemzést több erőforráscsoportnak tekintheti, amelyeket az adattermék-csapat egy standard szolgáltatáskatalógusból kérhet le. Az Azure Policy használatával konfigurálhatja a biztonsági határt és a szükséges funkciókészletet.
Fontos
A konzisztencia érdekében konfiguráljon egy Azure Policyt minden adatalkalmazáshoz.
Adatok felhasználása több helyről
Az adatalkalmazások több adategységből származó adatokat kezelnek, rendszereznek és értelmeznek, és minden megszerzett megállapítást bemutatnak. Az adattermék egy vagy több adatalkalmazás adatainak eredménye az adat-kezdőzónákban. Szükség esetén lehetővé teszi az adatalkalmazások számára, hogy több és különböző forrásból származó adatokat férjenek hozzá.
Igény szerint skálázás
Az adatalkalmazásokat alkotó szolgáltatások növekményes üzembe helyezést jelentenek az adat-kezdőzónában. Igény szerint skálázza az adatalkalmazásokat.
Adatfelderítés engedélyezése
Az adattermékek automatikus regisztrálása egy adatkatalógusban, például az Azure Purview-ban az adatvizsgálat engedélyezéséhez.
Az adattermékek azonosítása
Az adat-kezdőzóna tervezésekor szükség szerint azonosítsa a lehető legtöbb adatterméket (és az azokat kiíró és karbantartó adatalkalmazásokat) az adattermék-alkalmazásarchitektúra kialakításához. A megvalósított platformszabályozásnak való megfelelőségnek kell a legnagyobb szerepet játszania a döntésekben.
Összpontosítson arra, hogy az adatalkalmazások hogyan használhatók adattermelők és felhasználók mások számára. Tegyük fel például, hogy azonosított egy adattermékcsomagot (A, B, C és D), amelyek előállított és felhasznált adatok. A B adattermékhez A és D adattermékekre van szükség a B adatalkalmazás adataihoz. A B adattermék az A és D adattermékekből származó adatokból jön létre. A B adatalkalmazás maga is adattermelőként működik, és a C adattermékhez is adatokat állít elő.
Az adatalkalmazási környezet szabályozása kódkénti infrastruktúrával
A szabályozásnak és az infrastruktúra mint kódnak szabályoznia kell az adatalkalmazási környezetet az adattermékek ökoszisztémájában, ahogy az az előző ábrán is látható.
Adatmodellek közzététele
Az adattermék-csapatoknak közzé kell tenniük az adatmodelleket egy modellezési adattárban.
Az adattermék-felhasználókkal kapcsolatos elvárások beállítása
Frissítse adatmegosztási szerződéseit szolgáltatási szintű szerződésekkel és minősítésekkel az adattermékekhez, hogy pontos elvárásokat közvetítsen az adattermék potenciális felhasználóinak.
A fogasság rögzítése
Ha a B adattermék az A és D adattermékekből származó adatokból jön létre, az adatterméket A és D és B között kell rögzíteni. A C adattermékhez további életútot is rögzíteni kell, mivel a B adattermékből származó adatokkal hozható létre. A frissített életútot az adattermék minden kiadása előtt rögzíteni kell egy adatsor-alkalmazásba.
Feljegyzés
Az Azure Pipelines használatával jóváhagyási kapukat hozhat létre, és olyan függvényeket hívhat meg, amelyek biztosítják, hogy a metaadatok, a lineage és az SLA-k regisztrálva legyenek a megfelelő szabályozási szolgáltatásban.
Adatalkalmazás-architektúra definiálása
Minden adattermékhez létre kell hoznia egy részletes architektúrát, amely teljes mértékben meghatározza a más adattermékekkel való kapcsolatát, függőségeit és hozzáférési követelményeit.
Példa a tervezési forgatókönyvre
Az architektúradefiníciós folyamat megértéséhez tekintse meg a következő példát egy pénzügyi intézményre és annak hitelmonitorozási adattermékére.
Az ebben a diagramban látható kreditmonitorozási adattermék egy olvasási adattárból származó adatokat használ fel, amelyet az integrációs műveleti csapat betöltött. Két másik adattermék által is felhasznált adatterméket állít elő.
Feljegyzés
Az olvasási adatforrást vagy -tárolót aranyrekordforrásnak is nevezik. Ezeket az adatforrásokat megtisztítottuk, de nem alkalmaztunk rájuk semmilyen átalakítást.
A kreditmonitorozási adattermék-csapat olvasási hozzáférést kér az adattermék létrehozásához szükséges adattárolókhoz. A kéréseket a rendszer jóváhagyásra irányítja az adatok tulajdonosaihoz. Miután megkapták a jóváhagyást, a termékcsapat megkezdheti az adatalkalmazás összeállítását.
Az olvasási adatforrásból származó adatok a kreditfigyelési adattermék(ek)ké alakulnak át. Minden új adattermék a Data Lake válogatott rétegében lesz tárolva. Ezeket az új adattermékeket és az új adatsorokat a DevOps üzembehelyezési folyamatának részeként kell regisztrálni. A függvények ellenőrizhetik a regisztrált metaadatokat az adategység fizikai szerkezetével. Regisztrálnia kell az olvasási adatforrás-adategységek és -adattermékek függőségét.
A hiteljóváhagyási adattermék-csapat függőségben van néhány hitelmonitorozási adattermékétől. A hitel-jóváhagyási csapat olvasási hozzáférést kérhet az adattermékeikhez szükséges hitelmonitorozási adattermékekhez. A hiteljóváhagyási adattermék és az adatalkalmazás kiadása után minden adattermék-objektumot, termékéletet és modellt regisztrálni kell az érintett szabályozási szolgáltatásokban.
Mintaadat-alkalmazások
A következő szakaszok mintaadat-alkalmazásokat tartalmaznak az adatalkalmazás-forgatókönyvek további szemléltetéséhez.
Adatelemzési és adatelemzési adatalkalmazás
Az adatelemzési és adatelemzési alkalmazások tartalmazhatják a mintaadatalkalmazásban product-analytics-rg
megjelenített szolgáltatásokat.
Feljegyzés
Az előző adatalkalmazást sablonként használhatja. Ez a sablon olyan szolgáltatásokat helyez üzembe, amelyeket adatelemzéshez és adatelemzéshez használhat. Ezzel az adattermék-alkalmazássablonnal gyorsan létrehozhat környezeteket a többfunkcionális csapatok számára. Explicit módon le kell tiltania a nem szükséges szolgáltatásokat.
A Data Product Analytics-sablon tartalmazza az adattermék elemzéshez és adatelemzéshez való üzembe helyezéséhez szükséges összes sablont egy felhőalapú elemzési forgatókönyv adat-kezdőzónájában.
Az üzembe helyezés és a kódösszetevők a következő szolgáltatásokat tartalmazzák:
- Machine Learning
- Key Vault
- Application Insights
- Tárolás
- Container Registry
- Cognitive Services (nem kötelező)
- Data Factory (válasszon a Data Factory és a Synapse között)
- Synapse-munkaterület (válasszon a Data Factory és a Synapse között)
- Azure Search (nem kötelező)
- SQL-készlet (nem kötelező)
- BigData-készlet (nem kötelező)
Batch-adatalkalmazás
A Batch-adatalkalmazás-sablon tartalmazza az adattermék üzembe helyezéséhez szükséges összes sablont a kötegelt adatfeldolgozáshoz egy felhőalapú elemzési forgatókönyv adat-kezdőzónájában.
Az üzembe helyezés és a kódösszetevők a következő szolgáltatásokat tartalmazzák:
- Key Vault
- Data Factory (válasszon a Data Factory és a Synapse között)
- Azure Cosmos DB (nem kötelező)
- Synapse-munkaterület (válasszon a Data Factory és a Synapse között)
- MySQL-adatbázis (nem kötelező)
- Azure SQL Database (nem kötelező)
- PostgreSQL Database (nem kötelező)
- MariaDB-adatbázis (nem kötelező)
- SQL-készlet (nem kötelező)
- SQL Server (nem kötelező)
- Rugalmas SQL-készlet (nem kötelező)
- BigData-készlet
Streamelési adatalkalmazás
A streamelési adatalkalmazás sablonja tartalmazza az adattermék valós idejű adatfeldolgozáshoz való üzembe helyezéséhez szükséges összes sablont egy felhőalapú elemzési forgatókönyv adat-kezdőzónájában
Az üzembe helyezés és a kódösszetevők a következő szolgáltatásokat tartalmazzák:
- Key Vault
- Event Hubs
- IoT hub
- Stream Analytics (nem kötelező)
- Azure Cosmos DB (nem kötelező)
- Synapse-munkaterület
- Azure SQL Database (nem kötelező)
- SQL-készlet (nem kötelező)
- SQL Server (nem kötelező)
- Rugalmas SQL-készlet (nem kötelező)
- BigData-készlet
- Adatkezelő (nem kötelező)
A korábban említett üzembehelyezési sablonokat tartalmazó adattárak megkereséséhez tekintse meg a felhőalapú elemzésekhez használható üzembehelyezési sablonokat