什麼是 Azure 資料總管？

  • 發行項

Azure Data Explorer 是完全受控、高效能的巨量數據分析平臺，可讓您輕鬆地近乎即時地分析大量數據。 Azure 資料總管工具箱提供了資料擷取、查詢、視覺效果及管理的端對端解決方案。

藉由在時間序列中分析結構化、半結構化和非結構化資料，以及使用機器學習，Azure 資料總管可讓您輕鬆地擷取重要的深入解析、找出模式和趨勢，以及建立預測模型。 Azure Data Explorer 使用傳統的關係型模型，將數據組織成具有強型別架構的數據表。 數據表會儲存在資料庫內，而叢集可以管理多個資料庫。 Azure Data Explorer 是可擴充、安全、穩健且符合企業需求的功能，可運用在 Log Analytics、時間序列分析、IoT 和一般用途的探索分析。

Azure Data Explorer 功能是由建置在其查詢語言上的其他服務所擴充：Kusto 查詢語言 (KQL) 。 這些服務包括 Azure 監視器記錄、Application Insights、時間序列深入解析，以及 適用於端點的 Microsoft Defender。

何時應該使用 Azure Data Explorer？

使用下列問題來協助決定 Azure Data Explorer 是否適合您的使用案例：

  • 互動式分析：解決方案的互動式分析部分是嗎？ 例如，匯總、相互關聯或異常偵測。
  • 多樣性、速度、磁碟區：您的架構是否不同？ 您是否需要近乎即時地內嵌大量數據？
  • 數據組織：您要分析原始資料嗎？ 例如，未完全策劃 star 架構。
  • 查詢並行：多個用戶或進程是否會使用 Azure Data Explorer？
  • 建置與購買：您是否打算自定義數據平臺？

Azure Data Explorer 非常適合透過高速、多樣化的原始數據來啟用互動式分析功能。 使用下列判定樹來協助您決定 Azure Data Explorer 是否適合您：

此影像是 Azure Data Explorer 判定樹的圖解工作流程影像。

是什麼讓 Azure 資料總管與眾不同？

資料的速度、多樣性和數量

透過 Azure Data Explorer，您可以透過佇列擷取或串流擷取，以分鐘為單位擷取數 TB 的數據。 您可以查詢數 PB 的數據，並在毫秒到秒內傳回的結果。 Azure Data Explorer 提供每秒) 數百萬個事件的高速 (、低延遲 (秒) ，以及線性規模擷取原始數據。 以不同格式和結構擷取您的數據，從各種管線和來源流動。

使用者易用的查詢語言

使用 Kusto 查詢語言 (KQL) 查詢 Azure Data Explorer，這是一開始由小組所發明的開放原始碼語言。 此語言很容易了解、學習，且具高度生產力。 您可以使用簡單的運算子和進階分析。 Azure Data Explorer 也支援 T-SQL。

進階分析

使用 Azure Data Explorer 搭配大量功能進行時間序列分析，包括：新增和減去時間序列、篩選、回歸、季節性偵測、地理空間分析、異常偵測、掃描和預測。 時間序列函式經過最佳化，可在幾秒內處理數千個時間序列。 使用可診斷異常及執行根本原因分析的叢集外掛程式，可輕鬆地進行模式偵測。 您也可以在 KQL 查詢中內嵌 Python 程式代碼來擴充 Azure Data Explorer 功能。

易於使用的精靈

擷 取精靈 可讓數據擷取程式變得簡單、快速且直覺。 Azure Data Explorer Web UI 提供直覺且引導式的體驗，可協助您快速開始內嵌數據、建立資料庫數據表和對應結構。 它可讓您從各種來源和各種數據格式連續擷取一次或連續擷取。 資料表對應和結構描述是自動建議的，很容易修改。

多樣化的資料視覺效果

資料視覺效果可協助您深入了解重要資訊。 Azure Data Explorer 提供現成可用的內建視覺效果和儀錶板，並支援各種圖表和視覺效果。 它與 Power BI 的原生整合、 Grafana、 Kibana 和 Databricks 的原生連接器、 Tableau、 Sisense、Qlik 等的 ODBC 支援。

自動擷取、處理和匯出

Azure 資料總管支援伺服器端的預存函式、連續擷取，以及連續匯出至 Azure Data Lake 存放區的功能。 它也支援在伺服器端擷取時間對應轉換、更新原則，以及使用具體化檢視預先計算的排程匯總。

Azure 資料總管流程

下圖顯示使用 Azure 資料總管的不同層面。

Azure Data Explorer 流程。

一般而言，當您與 Azure Data Explorer 互動時，您將經歷下列工作流程：

注意

您可以在 Azure Data Explorer Web UI 或使用 SDK 存取 Azure Data Explorer 資源。

  1. 建立資料庫： 建立「叢集」 ，然後在該叢集中建立一或多個「資料庫」 。 每個 Azure 資料總管叢集最多可保存 10,000 個資料庫，而每個資料庫最多可保存 10,000 個資料表。 每個資料表中的資料會儲存在資料分區中，也稱為「範圍」。 所有資料都會自動編製索引，並根據擷取時間進行資料分割。 這表示您可以儲存許多不同的資料，而且由於儲存的方式，您可以快速存取查詢。 快速入門：建立 Azure 資料總管叢集與資料庫

  2. 內嵌資料： 將資料載入資料庫資料表中，讓您可以對資料執行查詢。 Azure Data Explorer 支持數個擷取方法，每個方法都有自己的目標案例。 這些方法包括擷取工具、各種服務的連接器和外掛程式、受控管線、使用 SDK 的程式設計擷取，以及擷取的直接存取權。 開始使用擷 取精靈。

  3. 查詢資料庫：Azure Data Explorer 使用 Kusto 查詢語言，這是具表達性、直覺且具生產力的查詢語言。 它可讓您從簡單的單一命令列順暢轉換為複雜的資料處理指令碼，並支援查詢結構化、半結構化和非結構化 (文字搜尋) 資料。 有各種不同的查詢語言運算元和函式 (匯總、篩選、 時間序列函數、 地理空間函式、 聯結、 等位，以及語言中的更多) 。 KQL 支援 跨叢集和跨資料庫查詢，而且從剖析 (json、XML 等) 觀點而言，功能豐富。 語言也以原生方式支援進階分析。

    使用 Web 應用程式來執行、檢閱及共用查詢和結果。 您可以使用程式設計方式 (使用 SDK) 或 REST API 端點傳送查詢。 如果您熟悉 SQL，請開始使用 SQL 至 Kusto 速查表。 快速入門：在 Azure Data Explorer Web UI 中查詢數據

  4. 將結果可視化：使用原生 Azure Data Explorer 儀錶板中數據的不同視覺效果顯示。 您也可以使用連接器將結果顯示至一些 前置視覺效果服務，例如 Power BI 和 Grafana。 Azure Data Explorer 也支援 Tableau 和 Sisense 等工具的 ODBC 和 JDBC 連接器。

如何提供意見反應

我們很高興聽到您對 Azure Data Explorer 和 Kusto 查詢語言 的意見反應：

相關內容