Azure 資料總管叢集深入解析

Azure Data Explorer 叢集深入解析透過提供叢集效能、作業、使用量和故障的統一檢視,為您的叢集提供全面監視。

其提供以下功能:

  • 大規模視角。 叢集主要計量的快照集檢視可協助您追蹤查詢、擷取和導出作業的效能。
  • 向下鑽取分析。 您可以向下切入至特定的 Azure 資料總管叢集,以執行詳細的分析。
  • 自訂。 您可以變更您想要查看的計量、修改或設定符合限制的臨界值,以及儲存您自己的自定義活頁簿。 活頁簿中的圖表可以釘選至 Azure 儀錶板。

本文將協助您了解如何開始使用及使用 Azure 資料總管叢集深入解析。

從 Azure 監視器 查看(大規模視角)

您可以從 Azure 監視器檢視叢集的主要效能計量。 這些計量包括訂用帳戶中多個叢集的查詢、擷取和導出作業的相關信息。 它們可協助您找出效能問題。

若要檢視您所有訂用帳戶的叢集效能:

  1. 登入 Azure 入口網站。

  2. 從左窗格中選取 [監視 ]。 在 [ 深入解析中樞 ] 區段中,選取 [Azure 數據總管叢集]。

用於檢視 Azure 資料總管叢集效能之選取項目的螢幕快照。

訂閱概觀索引標籤

在所選訂用帳戶的 [ 概觀 ] 索引標籤上,數據表會顯示訂用帳戶內分組之 Azure 數據總管叢集的互動式計量。 您可以根據從下列下拉式清單選取的選項來篩選結果:

  • 訂用帳戶:只會列出具有 Azure Data Explorer 叢集的訂用帳戶。

  • Azure 數據總管叢集:根據預設,最多會預先選取五個叢集。 如果您在範圍選取器中選取所有或多個叢集,最多會傳回 200 個叢集。

  • 時間範圍:預設情況下,表格會根據所做的對應選取,顯示過去 24 小時的資訊。

計數器圖格會在下拉式清單中提供所選訂用帳戶中的 Azure 數據總管叢集總數,並顯示已選取多少個。 數據行有條件色彩編碼: 保持運作、 CPU、 擷取使用率和 快取使用率。 以橙色標示的儲存格,其值對叢集而言無法維持。

若要進一步瞭解每個計量所代表的內容,建議您閱讀 Azure 數據總管計量的檔。

查詢效能分頁

查詢效能索引標籤會顯示查詢持續時間、並行查詢的總數,以及受到節流限制的查詢總數。

[查詢效能] 索引標籤的螢幕快照。

擷取效能索引標籤

擷取效能 索引標籤會顯示事件中樞和 IoT 中樞的擷取延遲、成功的擷取結果、失敗的擷取結果、擷取量,以及已處理的事件數。

[擷取效能] 索引標籤的螢幕快照。

串流內嵌效能索引標籤

[ 串流擷取效能] 索引標籤提供平均數據速率、平均持續時間和要求速率的相關信息。

匯出效能索引標籤

[匯出效能] 索引標籤提供有關連續匯出作業之匯出記錄、延遲、擱置計數和使用率百分比的資訊。

從 Azure 資料總管叢集資源檢視 (向下切入分析)

若要直接從 Azure 數據總管叢集存取 Azure 數據總管叢集深入解析:

  1. 在 Azure 入口網站 中,選取 [Azure 數據總管叢集]。

  2. 從清單中,選擇 Azure 數據總管叢集。 在 [監視] 區段中,選取 見解。

您也可以從 Azure 監視器深入解析檢視內選取 Azure 數據總管叢集的資源名稱,以存取這些檢視。

附註

Azure 資料總管叢集見解結合日誌和計量資訊,提供全方位的監視解決方案。 包含以記錄為基礎的視覺效果時,使用者必須 啟用其 Azure Data Explorer 叢集的診斷記錄,並將記錄傳送至 Log Analytics 工作區。 應啟用的診斷日誌為 Command、Query、SucceededIngestion、FailedIngestion、IngestionBatching、TableDetails,以及 TableUsageStatistics。 (啟用 成功擷取記錄 的成本可能很高。只有在您需要監視成功的擷取時,才啟用它們。

用於設定監視記錄的按鈕螢幕快照。

總覽索引標籤

概觀索引標籤會顯示:

  • 可醒目顯示叢集可用性與整體狀態的指標方塊,便於快速評估其健康狀態。

  • 目前作用中的 Azure Advisor 建議 和 資源健康狀態摘要。

  • 顯示前幾個 CPU 和記憶體取用者和一段時間內唯一用戶數目的圖表。

Azure 數據總管叢集資源的檢視螢幕快照。

關鍵指標頁籤

關鍵指標 分頁會顯示叢集中部分指標的整合檢視。 它們會分組為一般計量、查詢相關計量、擷取相關計量,以及串流擷取相關計量。

[金鑰計量] 索引標籤上圖表的螢幕快照。

使用量索引標籤

使用量標籤提供叢集指令與查詢效能的詳細見解。 在此分頁中,您可以:

  • 查看哪些工作負載群組、用戶和應用程式正在傳送最多查詢,或耗用最多CPU和記憶體。 接著,您可以瞭解哪些工作負載提交了需要由叢集處理的最繁重查詢。
  • 藉由失敗的查詢識別頂級工作負載群組、用戶和應用程式。
  • 根據工作負載群組、使用者和應用程式,識別查詢數目的最新變更,相較於過去16天的歷史每日平均數。
  • 依工作負載群組、使用者、應用程式和命令類型識別查詢、記憶體和CPU耗用量數目的趨勢和尖峰。

使用量分頁包括由使用者直接執行的動作。 此索引標籤中未包含內部叢集作業。

作業檢視的螢幕快照,其中包含與命令和查詢相關的環圈圖。

作業檢視的螢幕快照,其中包含與查詢和記憶體相關的摺線圖。

[數據表] 索引標籤

資料表分頁會顯示叢集中資料表的最新和歷史屬性。 您可以看到哪些數據表耗用最多空間。 您也可以依資料表大小、熱資料,以及一段時間內的資料列數來追蹤成長歷史。

快取索引標籤

快取分頁讓你分析實際查詢的回望視窗模式,並與每個資料表設定的快取政策做比較。 您可以找出被最多查詢使用的資料表,以及完全沒有被查詢的資料表,並據此調整快取策略。

您可能會在 Azure Advisor 中取得特定數據表的快取原則建議。 目前,快取建議僅可從 Azure Advisor 主儀表板取得。 它們是根據過去 30 天內實際查詢的回溯時間範圍,以及至少 95% 的查詢所採用的未最佳化快取政策。

Azure Advisor 中的快取縮減建議適用於「受資料容量限制」的叢集。這表示該叢集的 CPU 使用率和資料擷取使用率都偏低,但因為資料容量過高,叢集無法縮減或縮小規模。

快取詳細資料分頁的螢幕擷取畫面,顯示查詢回溯視窗的模式。

叢集邊界索引標籤

叢集邊界索引標籤會根據您的使用情況顯示叢集邊界。 在此分頁中,您可以查看 CPU、資料擷取和快取的使用率。 這些計量會評分為 [低]、[ 中] 或 [ 高]。 當您決定叢集的最佳 SKU 和實例計數時,這些計量和分數很重要。 在 Azure Advisor SKU/大小建議中,會將其納入考慮。

在此索引標籤上,您可以選取計量磚並深入探討,以瞭解其趨勢及其分數的決定方式。 您也可以查看 Azure Advisor 提供的叢集 SKU/大小建議。 例如,在下圖中,您可以看到所有計量都會評分為 Low。 叢集會收到成本最佳化建議,以便調整規模(擴展或縮減)並節省成本。

擷取索引標籤(預覽索引標籤)

「擷取」標籤讓你可以監控佇列中對叢集的擷取操作狀態。

在 佇列擷取 程式中,數據擷取已針對高輸送量進行優化。 這是藉由根據可 設定的擷取批處理原則,將傳入數據的小型區塊分組為批次來完成。

擷取索引標籤提供下列項目的詳細資訊:

  • 依資料庫或數據表數據粒度進行佇列擷取的結果。
  • 依資料表區分的擷取錯誤詳細資訊。
  • 擷取的數據量。
  • 佇列式擷取的延遲及其發生在何處。
  • 批次處理程序本身,包括關於 擷取批次處理原則 的監控資訊,以及批次如何被封存。
  • 對於 Event Hubs、Event Grid 和 IoT 中樞 的資料擷取:叢集收到的事件數,以及傳送以進行實際擷取的事件數。

釘選至 Azure 儀表板

您可以選取該區段右上角的圖釘圖示,將「大規模」檢視中的任一個計量區段釘選到 Azure 儀表板。

已選取的 [釘選到 Azure 儀表板] 圖示螢幕擷取畫面。

自訂 Azure 資料總管叢集見解

您可以編輯活頁簿,以根據您的資料分析需求進行自訂:

  • 將活頁簿的範圍設定為一律選取特定訂用帳戶或 Azure Data Explorer 叢集。
  • 變更方格中的計量。
  • 變更臨界值或色彩轉譯/編碼。

您可以選取 頂端工具列上的 [自訂 ] 按鈕,開始自定義。

[自定義活頁簿] 按鈕的螢幕快照。

自定義專案會儲存至自定義活頁簿,以防止覆寫已發佈活頁簿中的預設組態。 活頁簿會儲存在資源群組內,位於您私人使用的 [我的報表] 區段中,或是可供每個具有資源群組存取權的人員存取的 [共用報表] 區段中。 儲存自定義活頁簿之後,請移至活頁簿資源庫加以開啟。

活頁簿庫按鈕的螢幕擷取畫面。

疑難排解

如需一般疑難排解指引,請參閱活頁簿型深入解析的疑難排解。

下列各節將協助您診斷和疑難解答使用 Azure 數據總管叢集深入解析時可能會遇到的一些常見問題。

為什麼我在訂用帳戶選取器中看不到所有訂用帳戶?

僅顯示包含從所選訂閱篩選器中選取的 Azure Data Explorer 叢集的訂閱。 您可以在 Azure 入口網站的 目錄 + 訂用帳戶 下選取訂用帳戶篩選器。

選取訂用帳戶篩選的螢幕快照。

為什麼我在 [使用量]、[數據表] 或 [快取] 區段下看不到 Azure 數據總管叢集的任何數據?

若要檢視記錄型數據,您必須 針對您想要監視的每個 Azure 數據總管叢集啟用診斷記錄 。 您可以在每個叢集的診斷設定下執行這項操作。 您必須將數據傳送至 Log Analytics 工作區。 應該啟用的診斷記錄為 Command、 Query、 TableDetails 和 TableUsageStatistics。

我已經為我的 Azure 資料總管叢集啟用記錄功能。 為什麼我仍然無法在命令和查詢下看到我的數據?

目前,診斷記錄不會回溯生效。 數據會在 Azure 數據總管中採取動作之後開始顯示。 視 Azure 數據總管叢集的作用程度而定,可能需要一些時間,範圍從小時到一天。

附註

在 Azure 入口網站中,Metrics 和 Insights 頁面的原始計量資料會儲存在 Azure 監視器 中。 這些頁面上的查詢會直接查詢原始計量數據,以提供最精確的結果。 使用診斷設定功能時,您可以將原始計量數據遷移至Log Analytics工作區。 在移轉期間,某些數據精確度可能會因為四捨五入而遺失;因此,查詢結果可能會與原始數據稍有不同。 錯誤的邊界小於 1%。