Megoldási ötletek
Ez a cikk egy megoldási ötletet ismertet. A felhőmérnök ezen útmutató segítségével megjelenítheti az architektúra tipikus implementációjának fő összetevőit. Ez a cikk kiindulási pontként szolgál egy jól megtervezett megoldás megtervezéséhez, amely megfelel a számítási feladat egyedi követelményeinek.
Ez a megoldási ötlet azt ismerteti, hogy az Azure Data Explorer hogyan biztosít közel valós idejű elemzést a gyors áramlású, nagy mennyiségű streamelési adatokhoz az eszközök és érzékelők internetes hálózatáról. Ez az elemzési munkafolyamat egy átfogó IoT-megoldás része, amely integrálja a működési és elemzési számítási feladatokat az Azure Cosmos DB-vel és az Azure Data Explorerrel.
A Jupyter a megfelelő vállalat védjegye. A védjegy használata nem utal jóváhagyásra. Az Apache® és az Apache Kafka® az Apache Software Foundation bejegyzett védjegye vagy védjegye a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
Az Azure Event Hubs, az Azure IoT Hub vagy a Kafka számos gyorsan áramló streamelési adatot, például naplókat, üzleti eseményeket és felhasználói tevékenységeket fogad be.
Az Azure Functions vagy az Azure Stream Analytics közel valós időben dolgozza fel az adatokat.
Az Azure Cosmos DB JSON formátumban tárolja a streamelt üzeneteket, hogy valós idejű operatív alkalmazásokat szolgáljon ki.
Az Azure Data Explorer elemzési célokra használja az adatokat az Azure Event Hubshoz, az Azure IoT Hubhoz vagy a Kafkához készült összekötőivel az alacsony késés és a magas átviteli sebesség érdekében.
Másik lehetőségként az Azure Blob Storage-ból vagy az Azure Data Lake Storage-fiókból is betölthet blobokat az Azure Data Explorerbe egy Event Grid-adatkapcsolat használatával.
Emellett folyamatosan exportálhat adatokat az Azure Storage-ba tömörített, particionált Apache Parquet formátumban, és zökkenőmentesen lekérdezheti az adatokat az Azure Data Explorerrel. További részletekért tekintse meg a folyamatos adatexportálás áttekintését.
A működési és elemzési használati esetek kiszolgálásához az adatok az Azure Data Explorerbe és az Azure Cosmos DB-be párhuzamosan, vagy az Azure Cosmos DB-ből az Azure Data Explorerbe irányíthatók.
Az Azure Cosmos DB-tranzakciók a változáscsatornán keresztül aktiválhatják az Azure Functionst. A Függvények adatokat streamelnek az Event Hubsba az Azure Data Explorerbe való betöltéshez.
-vagy-
Az Azure Functions az API-jával meghívhatja az Azure Digital Twinst, amely ezután adatokat streamel az Event Hubsba az Azure Data Explorerbe való betöltéshez.
Az alábbi felületek az Azure Data Explorerben tárolt adatokból nyernek megállapításokat:
- Egyéni elemzési alkalmazások, amelyek az Azure Digital Twins és az Azure Data Explorer API-k adatait egyesítik
- Közel valós idejű elemzési irányítópultok, amelyek Azure Data Explorer-irányítópultokat, Power BI-t vagy Grafanát használnak
- Az Azure Logic Apps Azure Data Explorer-összekötőjének riasztásai és értesítései
- Az Azure Data Explorer webes felhasználói felülete, a Kusto.Explorer és a Jupyter-jegyzetfüzetek
Az Azure Data Explorer integrálható az Azure Databricks és az Azure Machine Learning szolgáltatással, hogy gépi tanulási (ML-) szolgáltatásokat nyújtson. Az ML-modelleket más eszközökkel és szolgáltatásokkal is létrehozhatja, és exportálhatja őket az Azure Data Explorerbe az adatok pontozásához.
Összetevők
Ez a megoldási ötlet a következő Azure-összetevőket használja:
Azure Adatkezelő
Az Azure Data Explorer egy gyors, teljes mértékben felügyelt és nagy mértékben méretezhető big data analytics szolgáltatás. Az Azure Data Explorer közel valós időben képes nagy mennyiségű streamelési adatot elemezni alkalmazásokból, webhelyekről és IoT-eszközökről az elemzési alkalmazások és irányítópultok kiszolgálása érdekében.
Az Azure Data Explorer natív speciális elemzéseket biztosít a következő célokra:
- Idősorozat-elemzés.
- Mintafelismerés.
- Anomáliadetektálás és előrejelzés.
- Gépi tanulás (ML).
Az Azure Data Explorer webes felhasználói felülete az Azure Data Explorer-fürtökhöz csatlakozik, hogy segítsen Kusto lekérdezésnyelv parancsok és lekérdezések írásában, futtatásában és megosztásában. Az Azure Data Explorer-irányítópultok az Adatkezelő webes felhasználói felületén található olyan funkciók, amelyek natív módon exportálják a Kusto-lekérdezéseket az optimalizált irányítópultokra.
Egyéb Azure-összetevők
- Az Azure Cosmos DB egy teljes körűen felügyelt, gyors NoSQL-adatbázis-szolgáltatás a modern alkalmazásfejlesztéshez nyílt API-kkal bármilyen mérethez.
- Az Azure Digital Twins fizikai környezetek digitális modelljeit tárolja, hogy segítsen a valós világot modellező új generációs IoT-megoldások létrehozásában.
- Az Azure Event Hubs egy teljes mértékben felügyelt, valós idejű adatbetöltési szolgáltatás.
- Az Azure IoT Hub kétirányú kommunikációt tesz lehetővé az IoT-eszközök és az Azure-felhő között.
- Az Azure Cosmos DB-hez készült Azure Synapse Link közel valós idejű elemzéseket futtat az Azure Cosmos DB működési adatain keresztül anélkül, hogy a tranzakciós számítási feladatok teljesítményére vagy költségeire hatással lenne. A Synapse Link az Azure Synapse-munkaterületről származó SQL Serverless és Spark Pools elemzési motorokat használja.
- A HDInsighton futó Kafka egy egyszerű, költséghatékony, nagyvállalati szintű szolgáltatás nyílt forráskódú elemzésekhez az Apache Kafkával.
Forgatókönyv részletei
Ez a megoldás az Azure Data Explorer használatával közel valós idejű IoT-telemetriai elemzéseket kap a gyors adatfolyamú, nagy mennyiségű streamelési adatokhoz számos IoT-eszközről.
Lehetséges használati esetek
- Flottakezelés a járműalkatrészek prediktív karbantartásához. Ez a megoldás ideális az autóipar és a közlekedési ágazat számára.
- Létesítmények kezelése az energia- és környezetoptimalizáláshoz.
- A valós idejű útviszonyok és az időjárási adatok kombinálása a biztonságosabb autonóm vezetés érdekében.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Ornat Spodek | Vezető tartalomkezelő