Megosztás a következőn keresztül:

Felhőalapú elemzési adattermékek az Azure-ban

  • Cikk

Az adattermékek olyan adatok, amelyeket termékként szolgálnak ki, és amelyeket kiszámítanak, mentenek és kiszolgálnak a többplatformos adatmegőrzési szolgáltatások, amelyeket bizonyos használati esetek megkövetelhetnek. Az adattermék létrehozásának és kiszolgálásának folyamata olyan szolgáltatásokat és technológiákat igényelhet, amelyek nem szerepelnek az adat-kezdőzóna alapvető szolgáltatásaiban. Ilyen például a hiánypótló követelményekkel kapcsolatos jelentéskészítés, például a megfelelőség és az adóbevallás.

Kialakítási szempontok

Az adat-célzóna több adatterméket is kiszolgálhat úgy, hogy az adatokat ugyanabban az adat-célzónán belülről vagy több adat-célzónából betölti. Ez az alábbi ábrán látható.

Adatközi kezdőzóna-felhasználás diagramja.

A fenti példa a következőt mutatja:

  • Intrazone-adatfelhasználás:
    • A B adattermék az A adattermékből, valamint a saját célzónán belül a data lake-ben meglévő egyéb adatokból vagy adattermékekből származó adatokat használja fel.
    • A C és D adattermékek csak a saját adat-kezdőzónájukból használnak fel adatokat.
  • Zónaközi adatfelhasználás:
    • A B adattermék a C adattermékből és a 3. célzóna adattójában lévő adatokból is felhasznál adatokat.

Fontos

Az övezetek közötti adatfelhasználás esetében, mivel a B adattermék a 3. adat-kezdőzónából történő beolvasással jön létre, ez az olvasási hozzáférés a 3. adat-kezdőzóna műveleteinek és integrációs műveleti csapatainak jóváhagyását igényli.

Fontos

A B adattermék az A és A adattermékekből származó adatokat használja fel. Mielőtt ez bekövetkezne, a B adatterméknek adatmegosztási megállapodásokon keresztül regisztrálnia kell az adattermékek felhasználását. Ennek az adatmegosztási szerződésnek frissítenie kell az A adattermékről a B adattermékre, a C adattermékről a B adattermékre.

Az adattermék erőforráscsoportja tartalmazza a létrehozásukhoz és karbantartásához szükséges összes szolgáltatást. Ezt az erőforráscsoportot adatalkalmazásnak hívhatjuk. Az adatalkalmazások részét képező szolgáltatások közé tartozhatnak például az Azure Functions, a Azure-alkalmazás Service, a Logic Apps, az Azure Analysis Services, az Azure Cognitive Services, az Azure Machine Tanulás, az Azure SQL Database, az Azure Database for MySQL és az Azure Cosmos DB. További információ: adatalkalmazás-minták.

Az adattermékek olyan READ adatforrásokból származó adatokkal rendelkeznek, amelyeken adatátalakításokat alkalmaztak. Ilyen lehet például egy újonnan összeállított adathalmaz vagy egy BI-jelentés.

Tervezési javaslatok

Adattermékeket hozhat létre az adat-kezdőzónában az olyan tervezési alapelvek betartásával, amelyek lehetővé teszik az adatszabályozással való skálázást. Az alábbi szakaszok tervezési javaslatokat nyújtanak az adatalkalmazás ökoszisztémájának megtervezéséhez.

Több erőforráscsoport üzembe helyezése

Minden adatalkalmazás egy erőforráscsoport. Mivel az adatalkalmazások számítási szolgáltatások, többplatformos adatmegőrzési szolgáltatások vagy mindkettő, ezekre csak bizonyos használati esetektől függően lehet szükség. Ezért választható adat-kezdőzóna-összetevőnek minősülnek. Abban az esetben, ha szükség van adatalkalmazásra, hozzon létre több erőforráscsoportot adatalkalmazásonként az alábbi ábrán látható módon.

Az adatalkalmazás erőforráscsoportjainak diagramja.

Védőkorlátok beállítása

Az Azure Policy az adat-kezdőzónán belüli szolgáltatások alapértelmezett konfigurációját vezérli. Az operatív elemzést több erőforráscsoportnak tekintheti, amelyeket az adattermék-csapat egy standard szolgáltatáskatalógusból kérhet le. Az Azure Policy használatával konfigurálhatja a biztonsági határt és a szükséges funkciókészletet.

Fontos

A konzisztencia érdekében konfiguráljon egy Azure Policyt minden adatalkalmazáshoz.

Adatok felhasználása több helyről

Az adatalkalmazások több adategységből származó adatokat kezelnek, rendszereznek és értelmeznek, és minden megszerzett megállapítást bemutatnak. Az adattermék egy vagy több adatalkalmazás adatainak eredménye az adat-kezdőzónákban. Szükség esetén lehetővé teszi az adatalkalmazások számára, hogy több és különböző forrásból származó adatokat férjenek hozzá.

Igény szerint skálázás

Az adatalkalmazásokat alkotó szolgáltatások növekményes üzembe helyezést jelentenek az adat-kezdőzónában. Igény szerint skálázza az adatalkalmazásokat.

Adatfelderítés engedélyezése

Az adattermékek automatikus regisztrálása egy adatkatalógusban, például az Azure Purview-ban az adatvizsgálat engedélyezéséhez.

Az adattermékek azonosítása

Az adat-kezdőzóna tervezésekor szükség szerint azonosítsa a lehető legtöbb adatterméket (és az azokat kiíró és karbantartó adatalkalmazásokat) az adattermék-alkalmazásarchitektúra kialakításához. A megvalósított platformszabályozásnak való megfelelőségnek kell a legnagyobb szerepet játszania a döntésekben.

Összpontosítson arra, hogy az adatalkalmazások hogyan használhatók adattermelők és felhasználók mások számára. Tegyük fel például, hogy azonosított egy adattermékcsomagot (A, B, C és D), amelyek előállított és felhasznált adatok. A B adattermékhez A és D adattermékekre van szükség a B adatalkalmazás adataihoz. A B adattermék az A és D adattermékekből származó adatokból jön létre. A B adatalkalmazás maga is adattermelőként működik, és a C adattermékhez is adatokat állít elő.

Egy adattermelő és -fogyasztó diagramja.

Az adatalkalmazási környezet szabályozása kódkénti infrastruktúrával

A szabályozásnak és az infrastruktúra mint kódnak szabályoznia kell az adatalkalmazási környezetet az adattermékek ökoszisztémájában, ahogy az az előző ábrán is látható.

Adatmodellek közzététele

Az adattermék-csapatoknak közzé kell tenniük az adatmodelleket egy modellezési adattárban.

Az adattermék-felhasználókkal kapcsolatos elvárások beállítása

Frissítse adatmegosztási szerződéseit szolgáltatási szintű szerződésekkel és minősítésekkel az adattermékekhez, hogy pontos elvárásokat közvetítsen az adattermék potenciális felhasználóinak.

A fogasság rögzítése

Ha a B adattermék az A és D adattermékekből származó adatokból jön létre, az adatterméket A és D és B között kell rögzíteni. A C adattermékhez további életútot is rögzíteni kell, mivel a B adattermékből származó adatokkal hozható létre. A frissített életútot az adattermék minden kiadása előtt rögzíteni kell egy adatsor-alkalmazásba.

Feljegyzés

Az Azure Pipelines használatával jóváhagyási kapukat hozhat létre, és olyan függvényeket hívhat meg, amelyek biztosítják, hogy a metaadatok, a lineage és az SLA-k regisztrálva legyenek a megfelelő szabályozási szolgáltatásban.

Adatalkalmazás-architektúra definiálása

Minden adattermékhez létre kell hoznia egy részletes architektúrát, amely teljes mértékben meghatározza a más adattermékekkel való kapcsolatát, függőségeit és hozzáférési követelményeit.

Példa a tervezési forgatókönyvre

Az architektúradefiníciós folyamat megértéséhez tekintse meg a következő példát egy pénzügyi intézményre és annak hitelmonitorozási adattermékére.

A define-data-product architektúra részletes ábrája.

Az ebben a diagramban látható kreditmonitorozási adattermék egy olvasási adattárból származó adatokat használ fel, amelyet az integrációs műveleti csapat betöltött. Két másik adattermék által is felhasznált adatterméket állít elő.

Feljegyzés

Az olvasási adatforrást vagy -tárolót aranyrekordforrásnak is nevezik. Ezeket az adatforrásokat megtisztítottuk, de nem alkalmaztunk rájuk semmilyen átalakítást.

A kreditmonitorozási adattermék-csapat olvasási hozzáférést kér az adattermék létrehozásához szükséges adattárolókhoz. A kéréseket a rendszer jóváhagyásra irányítja az adatok tulajdonosaihoz. Miután megkapták a jóváhagyást, a termékcsapat megkezdheti az adatalkalmazás összeállítását.

Az olvasási adatforrásból származó adatok a kreditfigyelési adattermék(ek)ké alakulnak át. Minden új adattermék a Data Lake válogatott rétegében lesz tárolva. Ezeket az új adattermékeket és az új adatsorokat a DevOps üzembehelyezési folyamatának részeként kell regisztrálni. A függvények ellenőrizhetik a regisztrált metaadatokat az adategység fizikai szerkezetével. Regisztrálnia kell az olvasási adatforrás-adategységek és -adattermékek függőségét.

A hiteljóváhagyási adattermék-csapat függőségben van néhány hitelmonitorozási adattermékétől. A hitel-jóváhagyási csapat olvasási hozzáférést kérhet az adattermékeikhez szükséges hitelmonitorozási adattermékekhez. A hiteljóváhagyási adattermék és az adatalkalmazás kiadása után minden adattermék-objektumot, termékéletet és modellt regisztrálni kell az érintett szabályozási szolgáltatásokban.

Mintaadat-alkalmazások

A következő szakaszok mintaadat-alkalmazásokat tartalmaznak az adatalkalmazás-forgatókönyvek további szemléltetéséhez.

Adatelemzési és adatelemzési adatalkalmazás

Az adatelemzési és adatelemzési alkalmazások tartalmazhatják a mintaadatalkalmazásban product-analytics-rgmegjelenített szolgáltatásokat.

Az Analytics-adatalkalmazás üzembe helyezéséhez választható lehetséges szolgáltatásokat bemutató ábra.

Feljegyzés

Az előző adatalkalmazást sablonként használhatja. Ez a sablon olyan szolgáltatásokat helyez üzembe, amelyeket adatelemzéshez és adatelemzéshez használhat. Ezzel az adattermék-alkalmazássablonnal gyorsan létrehozhat környezeteket a többfunkcionális csapatok számára. Explicit módon le kell tiltania a nem szükséges szolgáltatásokat.

A Data Product Analytics-sablon tartalmazza az adattermék elemzéshez és adatelemzéshez való üzembe helyezéséhez szükséges összes sablont egy felhőalapú elemzési forgatókönyv adat-kezdőzónájában.

Az üzembe helyezés és a kódösszetevők a következő szolgáltatásokat tartalmazzák:

Batch-adatalkalmazás

A Batch-adatalkalmazás-sablon tartalmazza az adattermék üzembe helyezéséhez szükséges összes sablont a kötegelt adatfeldolgozáshoz egy felhőalapú elemzési forgatókönyv adat-kezdőzónájában.

Az üzembe helyezés és a kódösszetevők a következő szolgáltatásokat tartalmazzák:

A Batch-adatalkalmazás üzembe helyezéséhez választható lehetséges szolgáltatásokat bemutató diagram.

Streamelési adatalkalmazás

A streamelési adatalkalmazás sablonja tartalmazza az adattermék valós idejű adatfeldolgozáshoz való üzembe helyezéséhez szükséges összes sablont egy felhőalapú elemzési forgatókönyv adat-kezdőzónájában

Az üzembe helyezés és a kódösszetevők a következő szolgáltatásokat tartalmazzák:

A streamelési adatalkalmazás üzembe helyezéséhez választható lehetséges szolgáltatásokat bemutató ábra.

A korábban említett üzembehelyezési sablonokat tartalmazó adattárak megkereséséhez tekintse meg a felhőalapú elemzésekhez használható üzembehelyezési sablonokat

Következő lépések

Adatalkalmazások (forráshoz igazított)