BI-megoldásarchitektúra a Kiválósági Központban

Ez a cikk az informatikai szakembereket és az informatikai vezetőket célozza meg. Megismerheti a BI megoldásarchitektúráját a COE-ban és az alkalmazott különböző technológiákat. A technológiák közé tartozik az Azure, a Power BI és az Excel. Ezek együttesen felhasználhatók skálázható és adatvezérelt felhőalapú BI-platform biztosításához.

A robusztus BI-platform tervezése valamivel olyan, mint egy híd létrehozása; egy híd, amely összekapcsolja az átalakított és gazdagított forrásadatokat az adatfelhasználókkal. Egy ilyen összetett struktúra tervezése mérnöki gondolkodásmódot igényel, bár ez lehet az egyik legkreatívabb és legjutalmasabb informatikai architektúra, amit megtervezhet. Egy nagy szervezetben a BI-megoldásarchitektúra a következőkből állhat:

  • Adatforrások
  • Adatok betöltése
  • Big data/ adatelőkészítés
  • Adattárház
  • BI szemantikai modellek
  • Jelentések

Diagram showing the BI platform architecture diagram, from data sources to data ingestion, big data, store, data warehouse, BI semantic modeling, reporting, and machine learning.

A platformnak támogatnia kell a konkrét igényeket. Az üzleti szolgáltatások és az adatfelhasználók elvárásainak megfelelően skáláznia és teljesítenie kell a skálázást és a teljesítményt. Ugyanakkor az alapoktól biztonságosnak kell lennie. És elég rugalmasnak kell lennie ahhoz, hogy alkalmazkodjon a változáshoz – mivel bizonyos, hogy időben új adatokat és tárgyterületeket kell online állapotba hozni.

Keretrendszerek

A Microsoftnál a kezdettől fogva rendszerszerű megközelítést alkalmaztunk a keretrendszerfejlesztésbe való befektetéssel. A műszaki és üzleti folyamatok keretrendszerei növelik a tervezés és a logika újrafelhasználását, és konzisztens eredményt biztosítanak. Emellett rugalmasságot biztosítanak a számos technológiát használó architektúrában, és megismételhető folyamatokon keresztül egyszerűsítik és csökkentik a mérnöki többletterhelést.

Megtudtuk, hogy a jól megtervezett keretrendszerek növelik az adatsorok láthatóságát, a hatáselemzést, az üzleti logika karbantartását, az osztályozás kezelését és a szabályozás rastreamelését. Emellett a fejlesztés is gyorsabb lett, és a nagy csapatok közötti együttműködés rugalmasabbá és hatékonyabbá vált.

Ebben a cikkben számos keretrendszert ismertetünk.

Adatmodellek

Az adatmodellek segítségével szabályozhatja az adatok struktúráját és elérését. Az üzleti szolgáltatások és az adatfelhasználók számára az adatmodellek az üzletiintelligráns platform felületét képezik.

A BI-platform három különböző modelltípust képes biztosítani:

  • Vállalati modellek
  • BI szemantikai modellek
  • Gépi Tanulás (ML) modellek

Vállalati modellek

A vállalati modelleket informatikai tervezők készítik és tartják karban. Ezeket néha dimenziómodelleknek vagy adat martoknak is nevezik. Az adatok tárolása általában relációs formátumban történik dimenzió- és ténytáblákként. Ezek a táblák számos rendszerből származó tisztított és gazdagított adatokat tárolnak, és mérvadó forrást jelentenek a jelentéskészítéshez és az elemzéshez.

A vállalati modellek egységes és egyetlen adatforrást biztosítanak a jelentéskészítéshez és a bi-hoz. Ezek egyszer lettek felépítve, és vállalati szabványként vannak megosztva. Az irányítási szabályzatok biztosítják az adatok biztonságát, ezért a bizalmas adathalmazokhoz – például az ügyféladatokhoz vagy a pénzügyi szolgáltatásokhoz – való hozzáférés igény szerint korlátozott. Elnevezési egyezményeket vezetnek be, amelyek biztosítják a konzisztenciát, ezáltal tovább erősítve az adatok és a minőség hitelességét.

A felhőalapú BI-platformon a vállalati modellek üzembe helyezhetők egy Synapse SQL-készletben az Azure Synapse-ban. A Synapse SQL-készlet ezután az igazság egyetlen verziójává válik, amelyre a szervezet számíthat a gyors és robusztus elemzésekhez.

BI szemantikai modellek

A BI szemantikai modellek szemantikai réteget képviselnek a vállalati modellek felett. Ezeket bi-fejlesztők és üzleti felhasználók építik és tartják karban. A BI-fejlesztők olyan alapvető BI szemantikai modelleket hoznak létre, amelyek vállalati modellekből származó adatokat nyernek. Az üzleti felhasználók kisebb méretű, független modelleket hozhatnak létre, vagy kiterjeszthetik az alapvető BI szemantikai modelleket részleges vagy külső forrásokkal. A BI szemantikai modelljei általában egyetlen témára összpontosítanak, és gyakran széles körben vannak megosztva.

Az üzleti képességeket nem csak az adatok, hanem a fogalmakat, kapcsolatokat, szabályokat és szabványokat leíró BI szemantikai modellek teszik lehetővé. Ily módon intuitív és könnyen érthető struktúrákat képviselnek, amelyek adatkapcsolatokat definiálnak, és számításként üzleti szabályokat foglalnak magukba. Emellett részletes adatengedélyeket is kikényszeríthetnek, biztosítva, hogy a megfelelő személyek hozzáférjenek a megfelelő adatokhoz. Fontos, hogy felgyorsítják a lekérdezési teljesítményt, és rendkívül rugalmas interaktív elemzést biztosítanak – akár több mint terabájtnyi adatot is. A vállalati modellekhez hasonlóan a BI szemantikai modellek is elnevezési konvenciót alkalmaznak, amelyek biztosítják a konzisztenciát.

A felhőalapú BI-platformon a BI-fejlesztők bi szemantikai modelleket helyezhetnek üzembe az Azure Analysis Servicesben vagy a Power BI Premium-kapacitásokban. Javasoljuk, hogy a Power BI-ban való üzembe helyezést a jelentéskészítési és elemzési rétegként használja. Ezek a termékek különböző tárolási módokat támogatnak, lehetővé téve az adatmodell-táblák számára az adatok gyorsítótárazását vagy a DirectQuery használatát, amely egy olyan technológia, amely a lekérdezéseket továbbítja az alapul szolgáló adatforrásnak. A DirectQuery ideális tárolási mód, ha a modelltáblák nagy adatmennyiségeket jelölnek, vagy közel valós idejű eredményeket kell szolgáltatni. A két tárolási mód kombinálható: Az összetett modellek olyan táblákat kombinálnak, amelyek különböző tárolási módokat használnak egyetlen modellben.

A nagy mértékben lekérdezett modellek esetében az Azure Load Balancer segítségével egyenletesen oszthatja el a lekérdezési terhelést a modellreplikák között. Emellett skálázhatja az alkalmazásokat, és magas rendelkezésre állású BI szemantikai modelleket hozhat létre.

Machine Learning-modellek

A gépi Tanulás (ML) modelleket adattudósok készítik és tartják karban. Leginkább a data lake-beli nyers forrásokból fejlesztették ki őket.

A betanított gépi tanulási modellek mintázatokat fedhetnek fel az adatokban. Ezek a minták számos esetben felhasználhatók olyan előrejelzések készítésére, amelyek felhasználhatók az adatok bővítésére. A vásárlási viselkedés például az ügyfelek változásának előrejelzésére vagy az ügyfelek szegmentálására használható. Az előrejelzési eredmények hozzáadhatók a vállalati modellekhez, hogy lehetővé tegyék az ügyfélszegmens szerinti elemzést.

Egy felhőalapú BI-platformon az Azure Machine Tanulás használatával taníthat be, helyezhet üzembe, automatizálhat, kezelhet és követhet ml-modelleket.

Adattárház

A BI-platform középpontjában az adattárház áll, amely a vállalati modelleket üzemelteti. Az engedélyezett adatok forrása – rekordrendszerként és központként – nagyvállalati modelleket szolgál ki a jelentéskészítéshez, a BI-hoz és az adatelemzéshez.

Számos üzleti szolgáltatás, beleértve az üzletági (LOB) alkalmazásokat is, az adattárházra támaszkodhat a vállalati ismeretek mérvadó és szabályozott forrásaként.

A Microsoftnál az adattárházat az Azure Data Lake Storage Gen2 (ADLS Gen2) és az Azure Synapse Analytics üzemelteti.

An image shows Azure Synapse Analytics connecting to Azure Data Lake Storage Gen2.

  • Az ADLS Gen2 teszi az Azure Storage-t az Azure-beli nagyvállalati adattavak készítésének alapjaként. Úgy tervezték, hogy több petabájtnyi információt kiszolgáljon, miközben több száz gigabites átviteli sebességet tart fenn. Emellett alacsony költségű tárolási kapacitást és tranzakciókat is kínál. Sőt, támogatja a Hadoop-kompatibilis hozzáférést, amely lehetővé teszi az adatok kezelését és elérését ugyanúgy, mint a Hadoop Elosztott fájlrendszer (HDFS) esetén. Az Azure HDInsight, az Azure Databricks és az Azure Synapse Analytics az ADLS Gen2-ben tárolt összes adathoz hozzáfér. Egy BI-platformon tehát jó választás a nyers forrásadatok, a félig feldolgozott vagy szakaszos adatok, valamint az éles üzemre kész adatok tárolása. Az összes üzleti adat tárolására használjuk.
  • Az Azure Synapse Analytics egy olyan elemzési szolgáltatás, amely egyesíti a nagyvállalati adattárházakat és a Big Data-elemzéseket. Lehetővé teszi, hogy saját tetszőleges módon kérje le az adatokat, kiszolgáló nélküli igény szerinti vagy kiosztott erőforrásokkal, nagy mennyiségben. Az Azure Synapse Analytics egyik összetevője, a Synapse SQL támogatja a teljes T-SQL-alapú elemzéseket, így ideális a dimenzió- és ténytáblákból álló vállalati modellek üzemeltetéséhez. A táblák hatékonyan betölthetők az ADLS Gen2-ből egyszerű Polybase T-SQL-lekérdezésekkel . Ezután az MPP nagy teljesítményű elemzéseket futtathat.

Üzleti szabályok motor keretrendszere

Az üzleti szabályok motorjának (BRE) keretrendszerét fejlesztettük ki az adattárház rétegben implementálható üzleti logika katalogizálásához. A BRE-k sok mindent jelenthetnek, de az adattárház kontextusában hasznos számított oszlopok létrehozása relációs táblákban. Ezek a számított oszlopok általában matematikai számításokként vagy kifejezésekként jelennek meg feltételes utasítások használatával.

A cél az üzleti logika felosztása az alapvető BI-kódból. Az üzleti szabályok hagyományosan szigorúan kódolt sql-alapú tárolt eljárások, ezért gyakran sok erőfeszítést igényel, hogy fenntartsák őket, amikor az üzleti igények változnak. A BRE-ben az üzleti szabályok egyszer vannak definiálva, és többször használatosak különböző adattárház-entitásokra alkalmazva. Ha a számítási logikát módosítani kell, csak egy helyen kell frissíteni, nem pedig számos tárolt eljárásban. Ennek is van egy előnye: a BRE-keretrendszer átláthatóságot és átláthatóságot biztosít a implementált üzleti logikában, amely önfrissítési dokumentációt létrehozó jelentéseken keresztül érhető el.

Adatforrások

Az adattárházak gyakorlatilag bármilyen adatforrásból összevonhatják az adatokat. Ez többnyire LOB-adatforrásokra épül, amelyek általában relációs adatbázisok, amelyek az értékesítés, marketing, pénzügy stb. tárgyspecifikus adatait tárolják. Ezek az adatbázisok lehetnek felhőben üzemeltetve, vagy a helyszínen is lehetnek. Más adatforrások lehetnek fájlalapúak, különösen a webes naplók vagy az eszközökről származó IOT-adatforrások. Emellett az adatok a szolgáltatott szoftver (SaaS) gyártóitól is származhatnak.

A Microsoftnál néhány belső rendszerünk nyers fájlformátumok használatával közvetlenül az ADLS Gen2-nek ad ki működési adatokat. A data lake mellett más forrásrendszerek relációs LOB-alkalmazásokat, Excel-munkafüzeteket, más fájlalapú forrásokat, master adatkezelés (MDM) és egyéni adattárakat is tartalmaznak. Az MDM-adattárak lehetővé teszik a főadatok kezelését az adatok mérvadó, szabványosított és érvényesített verzióinak biztosítása érdekében.

Adatok betöltése

Rendszeres időközönként, az üzlet ritmusának megfelelően az adatokat a forrásrendszerekből töltik be, és betöltik az adattárházba. Lehet, hogy naponta egyszer vagy gyakoribb időközönként. Az adatbetöltés az adatok kinyerésével, átalakításával és betöltésével foglalkozik. Vagy talán fordítva: adatok kinyerése, betöltése és átalakítása. A különbség ott van, ahol az átalakítás végbemegy. Az átalakítások az adatok megtisztítására, konformálására, integrálására és szabványosítására vonatkoznak. További információ: Kinyerés, átalakítás és betöltés (ETL).

Végső soron az a cél, hogy a lehető leggyorsabban és leghatékonyabban betöltse a megfelelő adatokat a vállalati modellbe.

A Microsoftnál az Azure Data Factoryt (ADF) használjuk. A szolgáltatások az adatérvényesítések, átalakítások és tömeges terhelések ütemezésére és vezénylésére szolgálnak külső forrásrendszerekből a data lake-be. Egyéni keretrendszerek kezelik az adatok párhuzamos és nagy léptékű feldolgozásához. Emellett átfogó naplózást végeznek a hibaelhárítás, a teljesítményfigyelés és a riasztási értesítések aktiválása érdekében, ha adott feltételek teljesülnek.

Eközben az Azure Databricks – az Azure cloud services platformra optimalizált Apache Spark-alapú elemzési platformok – kifejezetten adatelemzési átalakításokat hajt végre. Az ML-modelleket Python-jegyzetfüzetek használatával is létrehozza és végrehajtja. Ezekből az ML-modellekből származó pontszámokat a rendszer betölti az adattárházba az előrejelzések vállalati alkalmazásokkal és jelentésekkel való integrálásához. Mivel az Azure Databricks közvetlenül fér hozzá a Data Lake-fájlokhoz, kiküszöböli vagy minimalizálja az adatok másolásának vagy beszerzésének szükségességét.

An image shows Azure Data Factory sourcing data and orchestrating data pipelines with Azure Databricks over Azure Data Lake Storage Gen2.

Betöltési keretrendszer

Egy betöltési keretrendszert fejlesztettünk ki konfigurációs táblák és eljárások készleteként. Támogatja a nagy mennyiségű adat nagy sebességű és minimális kóddal történő beszerzésének adatvezérelt megközelítését. Röviden, ez a keretrendszer leegyszerűsíti az adatszerzés folyamatát az adattárház betöltéséhez.

A keretrendszer olyan konfigurációs tábláktól függ, amelyek az adatforrással és az adatforrással kapcsolatos információkat tárolják, például a forrástípust, a kiszolgálót, az adatbázist, a sémát és a táblázattal kapcsolatos adatokat. Ez a tervezési megközelítés azt jelenti, hogy nem kell konkrét ADF-folyamatokat vagy SSIS-csomagokat fejlesztenünk. Ehelyett az eljárásokat a választott nyelven írjuk, hogy létrehozzuk a dinamikusan generált és futtatott ADF-folyamatokat. Az adatgyűjtés tehát könnyen üzembe helyezett konfigurációs gyakorlattá válik. Hagyományosan széles körű fejlesztési erőforrásokra lenne szükség a kemény kóddal rendelkező ADF- vagy SSIS-csomagok létrehozásához.

A betöltési keretrendszert úgy tervezték, hogy leegyszerűsítse a forrásséma-módosítások kezelésének folyamatát is. A konfigurációs adatok egyszerűen frissíthetők manuálisan vagy automatikusan, ha sémamódosításokat észlel a forrásrendszerben újonnan hozzáadott attribútumok beszerzéséhez.

Vezénylési keretrendszer

Egy vezénylési keretrendszert fejlesztettünk ki az adatfolyamok üzembe helyezése és vezénylése érdekében. Olyan adatvezérelt kialakítást használ, amely konfigurációs táblák készletétől függ. Ezek a táblák a folyamatfüggőségeket leíró metaadatokat, valamint a forrásadatok céladatstruktúrákhoz való leképezését tárolják. Az adaptív keretrendszer fejlesztésére irányuló befektetés azóta önmagáért fizetett; Már nincs szükség az egyes adatáthelyezések szigorú kódjára.

Adattárolás

A data lake nagy mennyiségű nyers adatot tárolhat későbbi használatra az átmeneti adatátalakításokkal együtt.

A Microsoftnál az ADLS Gen2-t használjuk egyetlen igazságforrásként. Nyers adatokat tárol a szakaszos adatok és az éles üzemre kész adatok mellett. Nagy mértékben méretezhető és költséghatékony data lake-megoldást biztosít a big data-elemzésekhez. A nagy teljesítményű fájlrendszerek nagy léptékű teljesítményének kombinálásával az adatelemzési számítási feladatokhoz van optimalizálva, és felgyorsítja az elemzési időt.

Az ADLS Gen2 két világ közül a legjobbat biztosítja: a BLOB Storage-t és egy nagy teljesítményű fájlrendszer-névteret, amelyet részletes hozzáférési engedélyekkel konfigurálunk.

A finomított adatok ezután egy relációs adatbázisban lesznek tárolva, hogy nagy teljesítményű, nagy skálázható adattárat biztosítsanak a vállalati modellek számára, biztonsággal, irányítással és kezelhetőséggel. A tárgyspecifikus adattárolók az Azure Synapse Analyticsben vannak tárolva, amelyeket az Azure Databricks vagy a Polybase T-SQL-lekérdezések töltenek be.

Adathasználat

A jelentéskészítési rétegben az üzleti szolgáltatások az adattárházból származó vállalati adatforrásokat használnak fel. Emellett közvetlenül a data lake-ben is hozzáférnek az ad hoc elemzési vagy adatelemzési feladatokhoz.

A részletes engedélyek minden rétegben érvényesülnek: a data lake-ben, a vállalati modellekben és a BI szemantikai modellekben. Az engedélyek biztosítják, hogy az adatfelhasználók csak azokat az adatokat lássák, amelyekhez hozzáféréssel rendelkeznek.

A Microsoftnál Power BI-jelentéseket és irányítópultokat, valamint többoldalas Power BI-jelentéseket használunk. Néhány jelentéskészítési és alkalmi elemzés az Excelben történik, különösen a pénzügyi jelentések esetében.

Adatszótárakat teszünk közzé, amelyek referenciainformációkat nyújtanak az adatmodellekről. A felhasználók számára elérhetővé teszik őket, hogy információkat deríthessenek fel a BI-platformunkról. A szótárak dokumentálják a modellterveket, és leírásokat nyújtanak az entitásokról, formátumokról, szerkezetről, adatsorokról, kapcsolatokról és számításokról. Az Azure Data Catalog használatával könnyen felderíthetővé és érthetővé tesszük adatforrásainkat.

Az adatfelhasználási minták általában szerepkörtől függően eltérőek:

  • Az adatelemzők közvetlenül csatlakoznak az alapvető BI szemantikai modellekhez. Ha az alapvető BI szemantikai modellek tartalmazzák az összes szükséges adatot és logikát, élő kapcsolatokat használnak Power BI-jelentések és irányítópultok létrehozásához. Ha a modelleket részlegadatokkal kell kibővíteniük, power BI-összetett modelleket hoznak létre. Ha számolótáblás típusú jelentésekre van szükség, akkor az Excel használatával készítik el az alapvető BI szemantikai modelleken vagy részlegszintű BI szemantikai modelleken alapuló jelentéseket.
  • A BI-fejlesztők és az operatív jelentéskészítők közvetlenül csatlakoznak a vállalati modellekhez. A Power BI Desktopot használják élő kapcsolat elemzési jelentések létrehozásához. Működési típusú BI-jelentéseket is készíthetnek lapszámozott Power BI-jelentésekként, natív SQL-lekérdezéseket írhatnak az Azure Synapse Analytics vállalati modelljeiből származó adatok eléréséhez T-SQL- vagy Power BI szemantikai modellek használatával DAX vagy MDX használatával.
  • Az adattudósok közvetlenül csatlakoznak a data lake-beli adatokhoz. Az Azure Databricks és a Python-jegyzetfüzetek használatával fejlesztenek ml-modelleket, amelyek gyakran kísérleti jellegűek, és speciális készségeket igényelnek az éles használathoz.

An image shows consumption of Azure Synapse Analytics with Power BI, Excel, and Azure Machine Learning.

A cikkről további információt a következő forrásokban talál:

Professzionális szolgáltatások

Minősített Power BI-partnerek állnak rendelkezésre, amelyek segítenek a szervezet sikerességében a COE beállításakor. Költséghatékony képzést vagy az adatok naplózását biztosítják. Power BI-partner bevonásához látogasson el a Power BI partnerportálra.

Tapasztalt tanácsadó partnerekkel is kapcsolatba léphet. Segíthetnek a Power BI értékelésében, értékelésében vagy implementálásában .