Megoldási ötletek
Ez a cikk egy megoldási ötlet. Ha azt szeretné, hogy további információkkal bővítsük a tartalmat, például a lehetséges használati eseteket, alternatív szolgáltatásokat, megvalósítási szempontokat vagy díjszabási útmutatást, a GitHub visszajelzésével tudassa velünk.
Ez a cikk azt ismerteti, hogyan használható az Azure Data Explorer és az Azure Service Bus egy meglévő üzenetközvetítői architektúra továbbfejlesztésére közel valós idejű elemzéssel. Rendszergazdáknak, felhőmérnököknek, üzemeltetési és monitorozási csapatoknak készült.
Architektúra
Töltse le az architektúra Visio-fájlját.
A Grafana embléma a Raintank, Inc., dba Grafana Labs védjegye. A védjegy használata nem utal jóváhagyásra.
Az ábrán két adatútvonal látható. A fő útvonal, amelyet az 1–5. sorok és dobozok jelölnek, a különböző forrásokból származó adatok betöltése egy service busba, ahol egy streamelemzési feladat dolgozza fel és egy SQL-adatbázisban tárolja őket. A második útvonal, amelyet pontozott vonalak és mezők jelölnek, a service busból egy Azure Data Explorer-fürtbe áramló adatokat jeleníti meg, ahol lekérdezhető és elemezhető Kusto lekérdezésnyelv (KQL) használatával.
A Service Bus egy tranzakciós alkalmazás üzenetsoralapú terhelésegyenlítési mintájának implementálásához használható.
Az Azure Data Explorer az elemzések közel valós idejű futtatására szolgál, és api-kon vagy közvetlen lekérdezéseken keresztül teszi elérhetővé az adatokat például a Power BI-ban, az Azure Managed Grafana-ban vagy az Azure Data Explorer-irányítópultokon.
Adatfolyam
Az architektúra adatforrása egy meglévő Online Transaction Processing (OLTP) alkalmazás. A Service Bus az alkalmazás aszinkron méretezésére szolgál.
Az Azure-alkalmazás Szolgáltatásban üzemeltetett OLTP-alkalmazás (az adatforrás) adatokat küld a Service Busnak.
A Service Bus két irányban áramlik:
A meglévő OLTP-alkalmazásfolyamatban aktivál egy függvényalkalmazást, amely adatokat tárol az Azure SQL Database-ben, az Azure Cosmos DB-ben vagy egy hasonló operatív adatbázisban.
A közel valós idejű elemzési folyamatban elindít egy vezénylési folyamatot.
A vezénylési folyamat közel valós idejű elemzés céljából adatokat küld az Azure Data Explorernek. A folyamat a következőt használhatja:
- Olyan függvényalkalmazás, amely SDK-kkal küld adatokat mikro kötegekben, vagy az Azure Data Explorer által a streambetöltéshez konfigurált felügyelt streamelési betöltési támogatást használja.
- Egy lekérdezési szolgáltatás, például az Azure Kubernetes Service (AKS) szolgáltatásban vagy egy Azure-beli virtuális gépen üzemeltetett alkalmazás, amely mikro kötegekben küld adatokat az Azure Data Explorernek. Ehhez a beállításhoz nincs szükség az Azure Data Explorer streambetöltésének konfigurálására.
Az Azure Data Explorer sémaleképezési és frissítési szabályzatok használatával dolgozza fel az adatokat, és api-val, SDK-val vagy összekötővel teszi elérhetővé interaktív elemzésekhez vagy jelentéskészítéshez. Az Azure Data Explorer más adatforrásokból, például az SQL Database-ből vagy az Azure Data Lake Storage-ból is betölthet vagy hivatkozhat adatokat.
Az alkalmazások, egyéni szolgáltatások vagy jelentéskészítési szolgáltatások, például az Azure Data Explorer irányítópultjai, a Power BI és az Azure Managed Grafana közel valós időben lekérdezhetik az adatokat az Azure Data Explorerben.
Összetevők
- Az App Service lehetővé teszi webalkalmazások, mobil háttérrendszerek és RESTful API-k létrehozását és üzemeltetését a választott programozási nyelven az infrastruktúra kezelése nélkül.
- A Service Bus megbízható felhőbeli üzenetküldést biztosít szolgáltatásként.
- Az SQL Database egy teljes mértékben felügyelt SQL-adatbázis, amely a felhőhöz készült. Automatikus frissítéseket, kiépítést, skálázást és biztonsági mentéseket biztosít.
- Az Azure Cosmos DB egy globálisan elosztott, többmodelles adatbázis bármilyen méretű alkalmazáshoz.
- Az Azure Functions egy eseményvezérelt kiszolgáló nélküli számítási platform. A Functions segítségével nagy léptékben helyezhet üzembe és üzemeltethet a felhőben, és triggerekkel és kötésekkel integrálhatja a szolgáltatásokat.
- Az AKS egy magas rendelkezésre állású, rendkívül biztonságos és teljes körűen felügyelt Kubernetes-szolgáltatás alkalmazás- és mikroszolgáltatás-számítási feladatokhoz.
- Az Azure Data Explorer egy gyors, teljes mértékben felügyelt és nagy mértékben skálázható adatelemzési szolgáltatás, amellyel valós időben elemezhetők az alkalmazásokból, webhelyekről, IoT-eszközökről és egyebekről érkező nagy mennyiségű adat.
- Az Azure Blob Storage-ra épülő Data Lake Storage nagymértékben skálázható Data Lake-funkciókat biztosít.
- A Power BI segítségével koherens, vizuálisan magával ragadó, interaktív megállapításokká alakíthatja az adatokat.
- Az Azure Managed Grafana egy teljes mértékben felügyelt szolgáltatás, amely lehetővé teszi a Grafana üzembe helyezését anélkül, hogy időt töltene a konfigurációval.
Forgatókönyv részletei
A valós idejű elemzés az adatok elemzésének folyamata, amint létrejön, hogy betekintést nyerjen a rendszer aktuális állapotába. A szervezetek egyre inkább valós idejű elemzéseket vezetnek be, hogy versenyelőnyhöz jussanak. A közel valós idejű elemzés a valós idejű elemzések egyik változata, amely másodpercek vagy percek alatt nyújt elemzéseket az adatlétrehozás után.
Ezek a folyamatok lehetővé teszik a szervezetek számára, hogy gyorsabban szerezzenek betekintést, jobb döntéseket hozzanak, és hatékonyabban reagáljanak a változó feltételekre. A közel valós idejű elemzések különböző tartományokra alkalmazhatók, például az e-kereskedelemre, az egészségügyre, a gyártásra és a pénzügyekre. Egy e-kereskedelmi vállalat például közel valós idejű elemzéssel figyelheti az ügyfelek viselkedését, optimalizálhatja a díjszabást és személyre szabhatja a javaslatokat.
Számos szervezet közel valós idejű elemzéseket implementál a meglévő megoldásokban. Ez a megoldási ötlet bemutatja, hogyan adhat hozzá közel valós idejű elemzéseket egy üzenetközvetítőn alapuló és egy operatív OLTP-alkalmazás részét képező meglévő architektúrához.
Az OLTP az online tranzakciófeldolgozást jelenti. Ez egy olyan adatfeldolgozási típus, amely tranzakcióorientált alkalmazásokat kezel, jellemzően valós idejű környezet adatbeviteli és lekérési tranzakcióihoz. Az OLTP-rendszerek olyan kis, gyors tranzakciók feldolgozására szolgálnak, amelyek gyakran pénzügyi jellegűek, például banki tranzakciók vagy hitelkártya-vásárlások.
Lehetséges használati esetek
Íme néhány használati eset, amelyek a közel valós idejű elemzés előnyeit szemléltetik:
- Az egészségügyi szolgáltatók nyomon követhetik a betegek eredményeit, észlelhetik az anomáliákat, és javíthatják az ellátás minőségét.
- A gyártó vállalatok optimalizálhatják a termelést, csökkenthetik a hulladékot, és megakadályozhatják az állásidőt.
- A pénzügyi intézmények figyelhetik a tranzakciókat, észlelhetik a csalásokat, kezelhetik a kockázatokat, és biztosíthatják a szabályozásoknak való megfelelést.
- A kereskedelmi vállalatok figyelhetik a kampányokat, és betekintést nyerhetnek az előléptetés támogatásához.
- A vállalatok figyelhetik, optimalizálhatják, elemezhetik és előre jelezhetik az ellátási láncokat.
Közreműködők
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Shlomo Sagir | Vezető tartalomfejlesztő
Egyéb közreműködő:
- Mick Alberts | Műszaki író
A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.