Megosztás a következőn keresztül:

Elemzés és üzleti intelligencia (BI) az Azure Cosmos DB-adatokon

  • Cikk

Az Azure Cosmos DB különböző lehetőségeket kínál a nagyméretű elemzések és a bi jelentéskészítés engedélyezéséhez a működési adatokról.

Az Azure Cosmos DB-adatokkal kapcsolatos hasznos elemzések érdekében előfordulhat, hogy több partíciót, gyűjteményt vagy adatbázist kell lekérdeznie. Bizonyos esetekben kombinálhatja ezeket az adatokat a szervezet más adatforrásaival, például az Azure SQL Database-zel, az Azure Data Lake Storage Gen2-vel stb. Olyan összesítő függvényeket is lekérdezhet, mint például az összeg, a darabszám stb. Az ilyen lekérdezéseknek nagy számítási teljesítményre van szükségük, amely valószínűleg több kérelemegységet (kérelemegységet) használ fel, és emiatt ezek a lekérdezések hatással lehetnek a kritikus fontosságú számítási feladatok teljesítményére.

Ha el szeretné különíteni a tranzakciós számítási feladatokat az összetett elemzési lekérdezések teljesítményhatásától, az adatbázis-adatok éjszaka egy központi helyre kerülnek összetett extract-Transform-Load (ETL) folyamatok használatával. Az ilyen ETL-alapú elemzések összetettek, költségesek, és késleltetett elemzéseket nyújtanak az üzleti adatokról.

Az Azure Cosmos DB az ETL nélküli, költséghatékony elemzési ajánlatok biztosításával kezeli ezeket a kihívásokat.

No-ETL, közel valós idejű elemzés az Azure Cosmos DB-ben

Az Azure Cosmos DB nem kínál ETL nélküli, közel valós idejű elemzést az adatokon anélkül, hogy befolyásolná a tranzakciós számítási feladatok vagy kérelemegységek (RU-k) teljesítményét. Ezek az ajánlatok megszüntetik az összetett ETL-folyamatok szükségességét, így az Azure Cosmos DB-adatok zökkenőmentesen elérhetővé válnak az elemzési motorok számára. Az elemzések késésének csökkentésével jobb felhasználói élményt biztosíthat, és gyorsabban reagálhat a piaci feltételek vagy az üzleti környezet változásaira. Íme néhány példaforgatókönyv , amelyeket az adatok gyors elemzésével érhet el.

A no-ETL-elemzést és a BI-jelentéskészítést az Azure Cosmos DB-ben az alábbi lehetőségek használatával engedélyezheti:

  • Adatok tükrözése a Microsoft Fabricbe
  • Az Azure Synapse Link engedélyezése adatokhoz való hozzáféréshez az Azure Synapse Analyticsből

1. lehetőség: Azure Cosmos DB-adatok tükrözése a Microsoft Fabricbe

A tükrözéssel zökkenőmentesen hozhatja be azure Cosmos DB-adatbázisadatait a Microsoft Fabricbe. Az ETL nélkül gazdag üzleti elemzéseket kaphat az Azure Cosmos DB-adatokról a Fabric beépített elemzési, BI- és AI-képességeivel.

A Cosmos DB működési adatai növekményesen replikálódnak a Fabric OneLake-be közel valós időben. A OneLake-ben tárolt adatok nyílt forráskódú Delta Parquet formátumban tárolódnak, és elérhetővé válnak a Fabric összes elemzési motorja számára. Nyílt hozzáféréssel számos Azure-szolgáltatással használhatja, például az Azure Databrickshez, az Azure HDInsighthoz és sok máshoz. A OneLake az adatvagyon elemzési igényeinek egységesítésében is segít. A tükrözött adatok csatlakoztathatók a OneLake bármely más adatához, például a Lakehouseshoz, a Raktárakhoz vagy a parancsikonokhoz. Az Azure Cosmos DB-adatokhoz más tükrözött adatbázis-forrásokkal is csatlakozhat, például az Azure SQL Database-hez, a Snowflake-hez. A OneLake-be tükrözött Azure Cosmos DB-gyűjteményeket vagy adatbázisokat is lekérdezheti.

A Tükrözés a Hálóban szolgáltatással nem kell több gyártótól származó különböző szolgáltatásokat egyesítenie. Ehelyett élvezheti a nagymértékben integrált, a végpontok közötti és a könnyen használható termékeket, amelyek célja az elemzési igények egyszerűsítése. A T-SQL használatával összetett összesítő lekérdezéseket és Sparkot futtathat az adatfeltáráshoz. Zökkenőmentesen elérheti a jegyzetfüzetekben tárolt adatokat, adatelemzéssel gépi tanulási modelleket készíthet, és Power BI-jelentéseket készíthet a Direct Lake segítségével, gazdag Copilot-integrációval.

Az Azure Cosmos DB-tükrözés diagramja a Microsoft Fabricben.

Ha az Azure Cosmos DB-ben a működési adatok elemzését keresi, a tükrözés a következő lehetőségeket nyújtja:

  • No-ETL, költséghatékony, közel valós idejű elemzés az Azure Cosmos DB-adatokon anélkül, hogy befolyásolná a kérelemegység (RU) használatát
  • Egyszerűen hozhat létre adatokat különböző forrásokból a Fabric OneLake-be.
  • Az SQL-motor továbbfejlesztett lekérdezési teljesítménye a deltatáblák kezelésével, v-order optimalizálással
  • Továbbfejlesztett hidegindítási idő a Spark-motorhoz az ML-vel/notebookokkal való mély integrációval
  • Egykattintásos integráció a Power BI-val a Direct Lake és a Copilot használatával
  • Gazdagabb alkalmazásintegráció lekérdezések és nézetek eléréséhez a GraphQL használatával
  • Hozzáférés megnyitása más szolgáltatásokhoz, például az Azure Databrickshez

A tükrözés első lépéseit az "Első lépések a tükrözési oktatóanyagban" című témakörben találhatja meg.

Az Azure Cosmos DB-hez készült Azure Synapse Link szoros, zökkenőmentes integrációt hoz létre az Azure Cosmos DB és az Azure Synapse Analytics között, lehetővé téve az ETL nélküli, közel valós idejű elemzést a működési adatokon. A tranzakciós adatok zökkenőmentesen szinkronizálódnak az Elemzési tárba, amely az adatokat az elemzéshez optimalizált oszlopos formátumban tárolja.

Az Azure Synapse Analytics további mozgás nélkül hozzáférhet ezekhez az adatokhoz az Elemzési tárban az Azure Synapse Link használatával. Az üzleti elemzők, az adatszakértők és az adattudósok mostantól a Synapse Spark vagy a Synapse SQL használatával szinte valós idejű üzletiintelligencia-, elemzési és gépi tanulási folyamatokat futtathatnak.

Az alábbi képen az Azure Synapse Link és az Azure Cosmos DB és az Azure Synapse Analytics integrációja látható:

Az Azure Cosmos DB Synapse Link diagramja.

Fontos

A Microsoft Fabricben való tükrözés mostantól előzetes verzióban érhető el a NoSql API-hoz. Ez a funkció az Azure Synapse Link összes funkcióját biztosítja jobb elemzési teljesítménnyel, lehetővé teszi az adattulajdon egyesítését a Fabric OneLake-vel, valamint az adatokhoz való hozzáférést Delta Parquet formátumban, OneLake formátumban. Ha az Azure Synapse Linket fontolgatja, javasoljuk, hogy próbálkozzon tükrözéssel a szervezet általános megfelelőségének felméréséhez. A tükrözés használatának megkezdéséhez kattintson ide.

Az Azure Synapse Link használatának első lépéseit az "Azure Synapse Link használatának első lépései" című témakörben tekintheti meg.

Valós idejű elemzés és BI az Azure Cosmos DB-ben: Egyéb lehetőségek

Az Azure Cosmos DB-adatok valós idejű elemzésének engedélyezésére további lehetőségek is rendelkezésre állnak:

Bár ezeket a lehetőségeket a teljesség érdekében tartalmazzák, és valós időben jól működnek az önálló partíciós lekérdezésekkel, ezek a módszerek az elemzési lekérdezések esetében az alábbi kihívásokkal szembesülnek:

  • A számítási feladat teljesítményre gyakorolt hatása:

    Az elemzési lekérdezések általában összetettek, és jelentős számítási kapacitást használnak fel. Ha ezeket a lekérdezéseket közvetlenül az Azure Cosmos DB-adatokon futtatják, teljesítménycsökkenést tapasztalhat a tranzakciós lekérdezéseken.

  • Költséghatás:

    Ha az elemzési lekérdezések közvetlenül az adatbázison vagy gyűjteményeken futnak, növelik a lefoglalt kérelemegységek szükségességét, mivel az elemzési lekérdezések összetettek, és nagyobb számítási teljesítményt igényelnek. Ha összesített lekérdezéseket futtat, a megnövekedett ru-használat valószínűleg jelentős költséghatással jár.

A fenti lehetőségek helyett javasoljuk, hogy a Tükrözést a Microsoft Fabricben vagy az Azure Synapse Linkben használja, amely nem biztosít ETL-elemzést anélkül, hogy befolyásolná a tranzakciós számítási feladatok teljesítményét vagy a kérelemegységeket.

Kapcsolódó tartalom