使用 Azure 資料總管進行巨量資料分析

Azure 資料總管
Azure 事件中樞
Azure IoT 中樞
Azure 儲存體
Azure Synapse Analytics

解決方案構想

本文是解決方案概念。 如果您想要以詳細資訊擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應讓我們知道。

此解決方案概念示範來自各種來源的大量高速資料巨量巨量資料分析。

Apache® 和 Apache Kafka® 是美國和/或其他國家/地區的 Apache Software Foundation 注冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。

架構

顯示 Azure Data Explorer巨量資料分析的圖表。

下載這個架構的 Visio 檔案

資料流程

  1. 原始結構化、半結構化和非結構化 (自由文字) 資料,例如任何類型的記錄、商務事件和使用者活動,都可以從各種來源內嵌到 Azure Data Explorer。
  2. 使用其連接器將資料內嵌至 Azure Data Explorer,並具有低延遲和高輸送量,以便Azure Data FactoryAzure 事件中樞Azure IoT 中樞Kafka等等。 或者,透過 Azure 儲存體 (BlobADLS Gen2) 擷取資料,它會使用Azure 事件方格並觸發擷取管線至 Azure Data Explorer。 您也可以以壓縮、分割的 parquet 格式持續將資料匯出至 Azure 儲存體,並順暢地查詢該資料,如 連續資料匯出概觀中所述。
  3. 將資料從 Azure Data Explorer匯出至 Azure 儲存體,然後將資料內嵌到 Synapse Analytics 以建置資料模型和報表。
  4. 使用 Azure Data Explorer的原生功能來處理、匯總和分析資料。 若要以閃電速度取得見解,請使用Azure Data Explorer 儀表板Power BIGrafana或其他工具建置近乎即時的分析儀表板。 使用 Azure Synapse Analytics 來建置新式資料倉儲,並將其與 Azure Data Explorer資料結合,以針對策劃和匯總的資料模型產生 BI 報表。
  5. Azure Data Explorer提供適用于時間序列分析、模式辨識、異常偵測和預測和機器學習的原生進階分析功能。 Azure Data Explorer也與 ML 服務緊密整合,例如DatabricksAzure Machine Learning。 此整合可讓您使用其他工具和服務來建置模型,並將 ML 模型匯出至 Azure 資料總管以評分資料。

單元

  • Azure 事件中樞:簡單、受信任且可調整的完整受控即時資料擷取服務。
  • Azure IoT 中樞:受控服務,以啟用 IoT 裝置與 Azure 之間的雙向通訊。
  • HDInsight 上的 Kafka:使用 Apache Kafka 進行開放原始碼分析的簡單、符合成本效益的企業級服務。
  • Azure Data Explorer:快速、完全受控且高度可調整的資料分析服務,以即時分析來自應用程式、網站、IoT 裝置等大量資料串流。
  • Azure Data Explorer 儀表板:原生匯出 Web UI 中探索到優化儀表板的 Kusto 查詢。
  • Azure Synapse分析:整合企業資料倉儲和巨量資料分析的分析服務。

實例詳細資料

潛在使用案例

此解決方案說明 Azure Data Explorer和Azure Synapse Analytics 如何彼此互補,以進行近乎即時的分析與新式資料倉儲使用案例。

Microsoft 客戶已使用此解決方案。 例如,以新加坡為基礎的車車公司擷取、針對從計程車和食物遞送服務以及商家合作夥伴應用程式收集的大量資料實作即時分析。 來自 Grab 的小組在此影片中于 MS Ignite 呈現解決方案, (20:30 之後) 。 使用此模式,擷取每天處理超過一萬個事件。

此解決方案已針對零售產業最佳化。

參與者

本文由 Microsoft 維護。 它原本是由下列參與者所撰寫。

主體作者:

若要查看非公用LinkedIn設定檔,請登入 LinkedIn。

下一步