Megoldási ötletek
Ez a cikk egy megoldási ötletet ismertet. A felhőmérnök ezen útmutató segítségével megjelenítheti az architektúra tipikus implementációjának fő összetevőit. Ez a cikk kiindulási pontként szolgál egy jól megtervezett megoldás megtervezéséhez, amely megfelel a számítási feladat egyedi követelményeinek.
Ez a cikk egy megoldást mutat be az Azure Kubernetes Service (AKS) használatával nagy mennyiségű streamelési adat gyors feldolgozására és elemzésére az eszközökről.
*Az Apache®, az Apache Kafka és az Apache Spark az Apache Software Foundation bejegyzett védjegyei vagy védjegyei az Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket. A Splunk a Cisco bejegyzett védjegye. *
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
- Az érzékelők adatokat hoznak létre és streamelnek az Azure API Managementbe.
- Az AKS-fürtök olyan mikroszolgáltatásokat futtatnak, amelyek tárolóként vannak üzembe helyezve egy szolgáltatásháló mögött. A tárolók devOps-folyamattal vannak létrehozva. A tárolórendszerképek az Azure Container Registryben vannak tárolva.
- Az AKS betöltési szolgáltatása az Azure Cosmos DB-ben tárolja az adatokat.
- Aszinkron módon az AKS-ben egy elemzési szolgáltatás fogadja az adatokat, és streameli azOkat az Apache Kafkába az Azure HDInsighton.
- Az adattudósok gépi tanulási modelleket használnak az Azure HDInsights és a Splunk platformon az adatok elemzéséhez.
- Az AKS feldolgozási szolgáltatása feldolgozza az adatokat, és az eredményeket az Azure Database for PostgreSQL-ben tárolja. A szolgáltatás az Azure Cache for Redisben is gyorsítótárazza az adatokat.
- A Azure-alkalmazás Szolgáltatásban futó webalkalmazás vizualizációkat hoz létre az eredményekről.
Összetevők
A megoldás a következő kulcsfontosságú technológiákat használja:
- API Management
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Forgatókönyv részletei
Ez a megoldás jó választás olyan forgatókönyvekhez, amelyek több millió adatpontot foglalnak magukban, ahol az adatforrások közé tartoznak az eszközök internetes hálózata (IoT) eszközök, érzékelők és járművek. Ilyen esetben a nagy mennyiségű adat feldolgozása kihívást jelent. Az adatok gyors elemzése egy másik igényes feladat, mivel a szervezetek igyekeznek betekintést nyerni az összetett forgatókönyvekbe.
Az AKS-ben a tárolóalapú mikroszolgáltatások a megoldás kulcsfontosságú részét képezik. Ezek az önálló szolgáltatások betöltik és feldolgozzák a valós idejű adatfolyamot. Szükség szerint skálázhatók is. A tárolók hordozhatósága lehetővé teszi, hogy a szolgáltatások különböző környezetben fussanak, és több forrásból származó adatokat dolgozzanak fel. A mikroszolgáltatások fejlesztéséhez és üzembe helyezéséhez a DevOps és a folyamatos integráció/folyamatos teljesítés (CI/CD) használatos. Ezek a megközelítések lerövidítik a fejlesztési ciklust.
A betöltött adatok tárolásához a megoldás az Azure Cosmos DB-t használja. Ez az adatbázis rugalmasan skálázza az átviteli sebességet és a tárolást, ami jó választás nagy mennyiségű adathoz.
A megoldás apache Kafkát is használ. Ez az alacsony késésű streamelési platform rendkívül nagy sebességgel kezeli a valós idejű adatcsatornákat.
Egy másik kulcsfontosságú megoldásösszetevő az Azure HDInsight, amely egy felügyelt felhőszolgáltatás, amely lehetővé teszi nagy mennyiségű adat hatékony feldolgozását a legnépszerűbb nyílt forráskód keretrendszerek használatával. Az Azure HDInsight leegyszerűsíti a big data-keretrendszerek nagy mennyiségben és sebességgel történő futtatását, miközben az Apache Sparkot használja az Azure-ban. A Splunk segít az adatelemzési folyamatban. A Splunk valós idejű adatokból hoz létre vizualizációkat, és üzleti intelligenciát biztosít.
Lehetséges használati esetek
Ez a megoldás a következő területeken előnyös:
- Járműbiztonság, különösen az autóiparban
- Ügyfélszolgálat a kiskereskedelemben és más iparágakban
- Egészségügyi felhőmegoldások
- Pénzügyi technológiai megoldások a pénzügyi iparágban
Következő lépések
Termékdokumentáció:
- Az Azure Cache for Redis ismertetése
- Mi az Az Azure API Management?
- Az App Service áttekintése
- Azure Kubernetes Service
- Az Azure Container Registry bemutatása
- Bevezetés az Azure Cosmos DB-e
- Mi az Az Azure Database for PostgreSQL?
- Mi az az Azure HDInsight?
- Mi az Az Azure Pipelines?
Microsoft-képzési modulok:
- Tárolórendszerképek létrehozása és tárolása az Azure Container Registry használatával
- Azure-alkalmazás szolgáltatáscsomagok konfigurálása
- Az Azure Cosmos DB használata
- Azure Database for PostgreSQL létrehozása és csatlakoztatása
- Fejlesztés az Azure Cache for Redishez
- Az API Management felfedezése
- Az Azure HDInsight bemutatása