Azure 資料總管 (ADX) 是一個完全受控的高效能巨量資料分析平台,可讓您輕易且近乎即時地分析大量資料。 Azure 資料總管工具箱提供了資料擷取、查詢、視覺效果及管理的端對端解決方案。
透過分析跨時間序列的結構化、半結構化及非結構化資料,並運用機器學習,Azure Data Explorer 使提取關鍵洞見、發現模式與趨勢,並建立預測模型變得簡單。 Azure Data Explorer 會使用傳統關係型模型,將資料組織成具有強型別架構的資料表。 數據表會儲存在資料庫內,而叢集可以管理多個資料庫。 Azure Data Explorer 具備可擴充性、安全性與穩健性,並已可供企業採用。 適用於記錄分析、時間序列分析、IoT 和一般用途探勘分析。
其他基於其查詢語言 Kusto Query Language (KQL) 的服務,則擴展了 Azure Data Explorer 的功能。 這些服務包括 Azure 監視器 日誌、應用程式洞察(Application Insights)以及 適用於端點的 Microsoft Defender。
何時應該使用 Azure 數據總管?
使用下列問題來協助判斷 Azure 數據總管是否適合您的使用案例:
- 互動式分析:互動式分析是解決方案的一部分嗎? 例如,匯總、相互關聯或異常偵測。
- 多樣性、速度、音量:你的圖式多樣嗎? 你需要在近乎即時的情況下大量匯入資料嗎?
- 數據組織:您要分析原始資料嗎? 例如,不是屬於經過完整整理的星型結構描述的資料。
- 查詢並行:多個用戶或進程是否會使用 Azure 數據總管?
- 建置與購買:你打算客製化你的數據平台嗎?
Azure Data Explorer 非常適合在高速且多元原始資料上實現互動式分析功能。 使用下列判定樹來協助您判斷 Azure 資料總管是否適合您:
Azure 數據總管的獨特之處為何?
資料的速度、多樣性和數量
透過 Azure 資料總管,您可以透過佇列擷取或串流擷取,以分鐘為單位內嵌數 TB 的數據。 您可以查詢 PB 級的資料,並在幾毫秒到幾秒內取得結果。 Azure 數據總管提供高速(每秒數百萬個事件)、低延遲(秒),以及原始數據的線性規模擷取。 以不同的格式和結構匯入來自各種資料管道和來源的資料。
使用者易用的查詢語言
使用 Kusto 查詢語言(KQL)查詢 Azure Data Explorer,這是 Azure Data Explorer 團隊所開發的開源語言。 此語言很容易了解、學習,且具高度生產力。 您可以使用簡單的運算子和進階分析。 Azure 數據總管也支援 T-SQL。
進階分析
使用 Azure Data Explorer 進行時間序列分析,功能豐富,包括加減時間序列、過濾、迴歸、季節性偵測、地理空間分析、異常偵測、掃描及預報。 時間序列函數優化以在數秒內處理數千個時間序列。 透過能診斷異常並進行根本原因分析的叢集外掛,模式偵測變得容易。 你也可以透過在 KQL 查詢中嵌入 Python 程式碼來擴展Azure Data Explorer能力。
易於使用的精靈
資料擷取體驗讓資料擷取流程變得簡單、快速且直觀。 Azure Data Explorer 網頁介面提供直覺且有引導性的體驗,幫助你快速開始擷取資料、建立資料庫資料表及映射結構。 它允許從多種來源和多種資料格式進行一次性或連續的擷取。 表格映射與結構會自動被建議且易於修改。
多樣化的資料視覺效果
資料視覺效果可協助您深入了解重要資訊。 Azure 數據總管提供現成可用的內建視覺效果和 儀錶板 ,並支援各種圖表和視覺效果。 它原生整合 Power BI,並支援 Grafana、Kibana 和 Databricks 的原生連接器,並支援 Tableau、Sisense、Qlik 等 ODBC。
自動擷取、處理和匯出
Azure Data Explorer 支援伺服器端儲存函式、持續匯入及持續匯出至 Azure Data Lake Storage。 它也支援伺服器端的擷取時間映射轉換、更新政策,以及預先計算好的排程聚合,並具備具體化檢視。
Azure 資料總管流程
下圖顯示使用 Azure 數據總管的不同層面。
當你與 Azure Data Explorer 互動時,通常會遵循以下工作流程:
建立資料庫: 建立一個 叢集,然後在該叢集中建立一個或多個 資料庫 。 每個 Azure Data Explorer 叢集最多可容納 10,000 個資料庫,每個資料庫最多可容納 10,000 個資料表。 每個資料表中的資料都儲存在資料分區中,也稱為 延伸區塊(extents)。 所有資料都會自動編製索引,並根據擷取時間進行資料分割。 這種儲存架構意味著你可以儲存大量多樣的資料,查詢時也能快速存取。 快速入門:建立 Azure 數據總管叢集和資料庫
擷取數據: 將數據載入資料庫數據表,以便您可以對它執行查詢。 Azure 數據總管支持數 個擷取方法,每個方法都有自己的目標案例。 這些方法包括擷取工具、用於連接各類服務的連接器和外掛程式、受管理的資料管道、使用 SDK 以程式方式進行擷取,以及直接存取擷取功能。 開始使用取得資料體驗。
查詢資料庫:Azure Data Explorer 使用 Kusto 查詢語言,這是一種表達力強、直覺且高產出的查詢語言。 它能順暢地從簡單的一句話過渡到複雜的資料處理腳本,並支援查詢結構化、半結構化及非結構化(文字搜尋)資料。 該語言擁有多種查詢運算子與函式,包括 聚合、篩選、 時間序列函數、 地理空間函數、 連接與 聯集。 KQL 支援 跨叢集與跨資料庫查詢,且功能豐富,適合解析 JSON 和 XML 等格式。 語言也原生支援進階分析。
使用 Web 應用程式來執行、檢閱及共用查詢和結果。 您也可以以程式設計方式傳送查詢(使用 SDK)或 REST API 端點。 如果你熟悉 SQL,建議先從 SQL 轉 Kusto 速查表和 Azure Data Explorer 網頁介面中的快速入門:查詢資料開始。
將結果視覺化:在原生 Azure Data Explorer 儀表板中,以不同的視覺化方式呈現您的資料。 你也可以透過連接一些頂尖視覺化服務的連接器,如 Power BI 和 Grafana,來展示你的結果。 Azure Data Explorer 也支援供 Tableau 和 Sisense 等工具使用的 ODBC 與 JDBC 連接器。
提供意見反應
若要分享對 Azure Data Explorer 與 Kusto 查詢語言的回饋,請使用以下資源: