解決方案構想
本文說明解決方案概念。 您的雲端架構師可以使用本指南,協助視覺化此架構的一般實作的主要元件。 以本文為起點,設計符合您工作負載具體要求的完善解決方案。
這個解決方案的想法描述了 Azure Data Explorer 如何為來自物聯網(IoT)裝置和感測器的快速、大量串流資料提供近乎即時的分析。 此資料流是整體物聯網解決方案的一部分,整合營運與分析工作負載,結合 Azure Cosmos DB 與 Azure Data Explorer。
Jupyter 是其各自公司的商標。 使用此標記時不會隱含任何背書。 Apache® 和 Apache Kafkak® 是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。
架構
下載此架構的 Visio 檔案。
數據流
下列資料流程對應至上一個圖表:
Azure 事件中樞、Azure IoT 中樞 或 Apache Kafka 會匯入大量快速流動的串流資料,例如日誌、商業事件和使用者活動。
Azure Functions 或 Azure 串流分析 會以近乎即時的方式處理這些資料。
Azure Cosmos DB 會以 JSON 格式儲存串流訊息,以提供即時作業應用程式。
Azure Data Explorer 透過其連接器使用 Event Hubs、IoT 中樞 或 Kafka 以低延遲和高吞吐量的方式來擷取資料進行分析。
或者,你也可以透過
Azure 事件方格 資料連線 ,將 Azure Blob 儲存體 或Azure Data Lake Storage 帳號的 blob 匯入 Azure Data Explorer。 你也可以持續以壓縮、分割的
Apache Parquet 格式匯出資料到Azure 儲存體,並用 Azure Data Explorer 無縫查詢資料。 欲了解更多資訊,請參閱 持續資料匯出概述。 為了同時滿足營運與分析的使用案例,可以將資料並行路由至 Azure Data Explorer 與 Azure Cosmos DB,或從 Azure Cosmos DB 路由至 Azure Data Explorer。
Azure Cosmos DB 交易可以透過變更饋送觸發 Azure Functions。 Azure Functions 將數據串流到 Event Hubs 以便導入 Azure Data Explorer. 另外,Azure Functions 可以透過其 API 呼叫 Azure Digital Twins,然後將資料串流至 Event Hubs,再導入 Azure Data Explorer。
下列介面會從儲存在 Azure 數據總管中的數據取得見解:
從 Azure Digital Twins 和 Azure 數據總管 API 混合數據的自定義分析應用程式
適用於 Azure Logic Apps 的 Azure 數據總管連接器的 警示和通知
Azure Data Explorer網頁介面,Kusto.Explorer,以及 Jupyter 筆記本
Azure Data Explorer 與
Azure Databricks 及 Azure Machine Learning 整合,提供機器學習服務。 你也可以利用其他工具和服務建立機器學習模型,並匯出到 Azure Data Explorer 進行評分。
元件
此解決方案概念使用下列 Azure 元件。
Azure Data Explorer
異常偵測和預測 是 Azure 資料總管中的內建分析功能。 它檢測異常值並預測未來值,以支持主動監控和決策。 在此架構中,它能識別物聯網資料中的異常模式,並預測隨時間的預期行為。
根分析的異常診斷 是一項 KQL 功能,有助於找出異常的根本原因。 它分析貢獻維度和指標以簡化故障排除。 在此架構中,它能隔離裝置資料中異常的來源。
Azure Data Explorer 是一個完全託管的高效能分析服務。 它能以近乎即時的方式處理來自應用程式、網站和物聯網裝置的大量串流資料。 在此架構中,它作為物聯網資料的擷取、查詢與視覺化的中央分析引擎。
Azure Data Explorer儀表板是Azure Data Explorer網頁介面中的視覺化功能。 你可以使用 Azure Data Explorer 儀表板,將 Kusto 查詢匯出到互動式儀表板,進行即時資料探索。 在此架構中,它們會顯示來自 IoT 資料串流和異常偵測結果的深入解析。
Azure Data Explorer 網頁 UI 是一個基於瀏覽器的介面,用於Azure Data Explorer叢集。 它支援撰寫、執行及分享 KQL 指令與查詢的使用者。 在此架構中,它提供一個工作空間,讓分析師可以查詢並探索物聯網資料。
時間序列分析 是 Azure 資料總管中的內建功能。 它幫助使用者探索時間型資料中的時間模式、趨勢與季節性。 在此架構中,它揭示了物聯網感測器讀數的長期趨勢和週期行為。
其他 Azure 元件
Azure Cosmos DB 是完全受控且快速的 NoSQL 資料庫,具有任何規模的開放 API。 在此架構中,它儲存來自物聯網設備的操作數據,以實現可擴展的低延遲存取。
Azure Digital Twins 是將實體環境建模為數位表示法的平台。 在此架構中,它維護物聯網連接資產的數字模型,以支持空間分析和上下文洞察。
IoT 中樞 實現物聯網裝置與Azure雲端之間的雙向通訊。 在此架構中,它作為裝置資料與指揮控制操作的中央訊息樞紐。
事件中樞 是完全受控的即時資料擷取服務。 在此架構中,它從物聯網裝置擷取資料,並匯入分析管線。
Kafka on HDInsight 是一項企業級且具成本效益的服務,專為 Azure 上的 Apache Kafka 提供。 在此架構中,它提供了物聯網資料擷取與分發的替代串流骨幹。
案例詳細資料
此解決方案使用 Azure Data Explorer,對來自各種物聯網裝置的高速、高流量串流資料,提供近乎即時的物聯網資料分析。
潛在的使用情境
車隊管理,用於車輛零件的預測性維護。 此解決方案適用於汽車和運輸業。
設施管理,用於能源和環境優化。
將即時路況與天氣數據相結合,實現更安全的自動駕駛。
參與者
本文由 Microsoft 維護。 以下貢獻者撰寫了這篇文章。
主要作者:
- Shlomo Sagir |資深內容開發人員
其他貢獻者:
- 斯里達爾·佩盧魯 |資深內容開發者
若要查看非公開的 LinkedIn 個人檔案,請登入 LinkedIn。