Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, az alternatív szolgáltatásokat, a megvalósítási szempontokat vagy a díjszabással kapcsolatos útmutatást, tudassa velünk a GitHub visszajelzésével.
Ez a megoldási ötlet a big data-elemzéseket mutatja be nagy mennyiségű nagy sebességű, különböző forrásokból származó adatokon keresztül.
Az Apache® és az Apache Kafka® az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- A nyers strukturált, félig strukturált és strukturálatlan (ingyenes szöveges) adatok, például bármilyen típusú naplók, üzleti események és felhasználói tevékenységek különböző forrásokból betölthetők az Azure Data Explorer.
- Adatok betöltése az Azure Data Explorer alacsony késéssel és nagy átviteli sebességgel a Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka stb. összekötőivel. Másik lehetőségként az adatok betöltése az Azure Storage-on keresztül (Blob vagy ADLS Gen2), amely Azure Event Grid használ, és elindítja a betöltési folyamatot az Azure Data Explorer. Az adatokat folyamatosan exportálhatja az Azure Storage-ba tömörített, particionált parquet formátumban, és zökkenőmentesen lekérdezheti az adatokat a Folyamatos adatexportálás áttekintésében leírtak szerint.
- Exportálja az előre összesített adatokat az Azure Data Explorer-ból az Azure Storage-ba, majd betölti az adatokat a Synapse Analyticsbe adatmodellek és jelentések készítéséhez.
- Az Azure Data Explorer natív képességeivel feldolgozhatja, összesítheti és elemezheti az adatokat. A villámgyors elemzéshez közel valós idejű elemzési irányítópultokat hozhat létre az Azure Data Explorer irányítópultok, a Power BI, a Grafana vagy más eszközök használatával. A Azure Synapse Analytics segítségével modern adattárházat hozhat létre, és az Azure Data Explorer-adatokkal kombinálva bi-jelentéseket hozhat létre válogatott és összesített adatmodelleken.
- Az Azure Data Explorer natív fejlett elemzési képességeket biztosít az idősorelemzéshez, a mintafelismeréshez, az anomáliadetektáláshoz és előrejelzéshez, valamint a gépi tanuláshoz. Az Azure Data Explorer jól integrálva van az olyan ML-szolgáltatásokkal is, mint a Databricks és az Azure Machine Learning. Ez az integráció lehetővé teszi modellek készítését más eszközökkel és szolgáltatásokkal, valamint ml-modellek exportálását az Azure Data Explorer pontozási adatokhoz.
Összetevők
- Azure Event Hubs: Teljes körűen felügyelt, valós idejű adatbetöltési szolgáltatás, amely egyszerű, megbízható és méretezhető.
- Azure IoT Hub: Felügyelt szolgáltatás az IoT-eszközök és az Azure közötti kétirányú kommunikáció engedélyezéséhez.
- Kafka a HDInsighton: Egyszerű, költséghatékony, nagyvállalati szintű szolgáltatás nyílt forráskód elemzéshez az Apache Kafkával.
- Azure Data Explorer: Gyors, teljes mértékben felügyelt és nagy mértékben méretezhető adatelemzési szolgáltatás az alkalmazásokból, webhelyekről, IoT-eszközökről és egyebekről nagy mennyiségű adatstreamelés valós idejű elemzéséhez.
- Azure Data Explorer irányítópultok: A webes felhasználói felületen feltárt Kusto-lekérdezéseket natív módon exportálja az optimalizált irányítópultokra.
- Azure Synapse Analytics: A nagyvállalati adattárházakat és Big Data-elemzéseket összehozó elemzési szolgáltatás.
Forgatókönyv részletei
Lehetséges használati esetek
Ez a megoldás azt szemlélteti, hogy az Azure Data Explorer és Azure Synapse Analytics hogyan egészíti ki egymást közel valós idejű elemzésekhez és modern adattárházak használati eseteihez.
Ezt a megoldást már használják a Microsoft ügyfelei. A szingapúri székhelyű Grab nevű ride-hailing vállalat például valós idejű elemzéseket hajtott végre a taxi- és ételkézbesítési szolgáltatásaikból, valamint a kereskedelmi partneralkalmazásokból gyűjtött hatalmas mennyiségű adat alapján. A Grab csapata ebben a videóban (20:30-tól) mutatta be megoldását az MS Ignite-ben. Ezzel a mintával a Grab naponta több mint ezer milliárd eseményt dolgoz fel.
Ez a megoldás a kiskereskedelmi ágazat számára van optimalizálva.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Ornat Spodek | Vezető tartalomkezelő
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.
Következő lépések
- Az Azure Data Explorer dokumentációja
- Oktatás: Az Azure Data Explorer bemutatása
- Azure Synapse Analytics
- Azure Event Hubs