Megoldási ötletek
Ez a cikk egy megoldási ötletet ismertet. A felhőmérnök ezen útmutató segítségével megjelenítheti az architektúra tipikus implementációjának fő összetevőit. Ez a cikk kiindulási pontként szolgál egy jól megtervezett megoldás megtervezéséhez, amely megfelel a számítási feladat egyedi követelményeinek.
Ez a megoldási ötlet a big data-elemzést mutatja be nagy mennyiségű nagy sebességű, különböző forrásokból származó adatokon.
Az Apache® és az Apache Kafka® az Apache Software Foundation bejegyzett védjegye vagy védjegye a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- A nyers strukturált, részben strukturált és strukturálatlan (szabadszöveges) adatok, például bármilyen típusú naplók, üzleti események és felhasználói tevékenységek különböző forrásokból betölthetők az Azure Data Explorerbe.
- Adatok betöltése az Azure Data Explorerbe alacsony késéssel és nagy átviteli sebességgel az Azure Data Factory, az Azure Event Hubs, az Azure IoT Hub, a Kafka stb. összekötőivel. Másik lehetőségként az Adatok betöltése az Azure Storage-on (Blob vagy ADLS Gen2) keresztül, amely az Azure Event Gridet használja, és aktiválja a betöltési folyamatot az Azure Data Explorerbe. Emellett folyamatosan exportálhat adatokat az Azure Storage-ba tömörített, particionált parquet formátumban, és zökkenőmentesen lekérdezheti az adatokat a Folyamatos adatexportálás áttekintésében leírtak szerint.
- Exportálja az előre összesített adatokat az Azure Data Explorerből az Azure Storage-ba, majd betölti az adatokat a Synapse Analyticsbe adatmodellek és jelentések készítéséhez.
- Az Azure Data Explorer natív képességeivel feldolgozhatja, összesítheti és elemezheti az adatokat. A villámgyors elemzéshez közel valós idejű elemzési irányítópultokat hozhat létre az Azure Data Explorer-irányítópultok, a Power BI, a Grafana vagy más eszközök használatával. Az Azure Synapse Analytics használatával modern adattárházat hozhat létre, és az Azure Data Explorer-adatokkal kombinálva bi-jelentéseket hozhat létre válogatott és összesített adatmodelleken.
- Az Azure Data Explorer natív fejlett elemzési képességeket biztosít az idősorozat-elemzéshez, a mintafelismeréshez és az anomáliadetektáláshoz és -előrejelzéshez. Az Azure Data Explorer jól integrálva van az olyan ML-szolgáltatásokkal is, mint a Databricks és az Azure Machine Learning. Ez az integráció lehetővé teszi, hogy más eszközökkel és szolgáltatásokkal hozzon létre modelleket, és ml-modelleket exportáljon az Azure Data Explorerbe az adatok pontozásához.
Összetevők
- Azure Event Hubs: Teljes körűen felügyelt, valós idejű adatbetöltési szolgáltatás, amely egyszerű, megbízható és méretezhető.
- Azure IoT Hub: Felügyelt szolgáltatás az IoT-eszközök és az Azure közötti kétirányú kommunikáció engedélyezéséhez.
- Kafka on HDInsight: Egyszerű, költséghatékony, nagyvállalati szintű szolgáltatás nyílt forráskód elemzéshez az Apache Kafkával.
- Azure Data Explorer: Gyors, teljes mértékben felügyelt és nagy mértékben skálázható adatelemzési szolgáltatás alkalmazásokból, webhelyekről, IoT-eszközökről stb. származó nagy mennyiségű adatstreamelés valós idejű elemzéséhez.
- Azure Data Explorer-irányítópultok: A webes felhasználói felületen feltárt Kusto-lekérdezések natív exportálása optimalizált irányítópultokra.
- Azure Synapse Analytics: Nagyvállalati adatraktározást és Big Data-elemzést összehozó elemzési szolgáltatás.
Forgatókönyv részletei
Lehetséges használati esetek
Ez a megoldás bemutatja, hogyan egészíti ki egymást az Azure Data Explorer és az Azure Synapse Analytics a közel valós idejű elemzésekhez és a modern adattárházhasználati esetekhez.
Ezt a megoldást már használják a Microsoft ügyfelei. A szingapúri székhelyű Grab vállalat például valós idejű elemzéseket hajtott végre a taxi- és élelmiszer-szállítási szolgáltatásokból, valamint a kereskedelmi partneralkalmazásokból gyűjtött hatalmas mennyiségű adat alapján. A Grab csapata ebben a videóban (20:30-tól) bemutatta a megoldást az MS Ignite-ben. Ezzel a mintával a Grab naponta több mint ezer milliárd eseményt feldolgozott fel.
Ez a megoldás a kiskereskedelmi iparág számára van optimalizálva.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Ornat Spodek | Vezető tartalomkezelő
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.
Következő lépések
- Az Azure Data Explorer dokumentációja
- Oktatás: Bevezetés az Azure Data Explorer használatába
- Azure Synapse Analytics
- Azure-eseményközpontok