使用 Azure 入口網站為 Azure Cosmos DB 工作區數據添加轉換教學

本教學將引導你使用 Azure 入口網站來設定工作區資料收集規則 (DCR) 中的範例轉換

Note

為了幫助降低啟用 Log Analytics 的成本,我們現在支援在您的 Log Analytics 資源上新增資料收集規則與轉換功能,以過濾欄位、減少回傳結果數量,並在資料傳送至目的地前建立新欄位。

工作區轉換會一同儲存在 DCR中,這些稱為工作區 DCR。 每個轉換都與特定的表格相關聯。 轉換會應用於任何非使用 DCR 的工作流程中傳送到此資料表的所有資料。

Note

本教學課程會使用 Azure 入口網站來設定工作區轉換。 關於使用 Azure Resource Manager 範本和 REST API 的相同教程,請參見 教程:使用 Resource Manager 範本在工作區資料收集規則中向 Azure 監視器 添加轉換

在本教學課程中,您將瞭解如何:

  • 為 Log Analytics 工作區中的資料表設定 工作區轉換
  • 撰寫工作空間轉換的日誌查詢。

Prerequisites

若要完成本教學課程,您需要:

教學概述

在這個教學中,你透過過濾某些紀錄來降低資料表的 CDBDataPlaneRequests 儲存需求。 你在解析欄位資料時,也會移除欄位內容,將一段資料儲存在自訂欄位中。 CDBDataPlaneRequests 表格會在你啟用工作區的日誌分析時建立。

這個教程使用 Azure 入口網站,該入口網站提供向導引導你完成建立 ingestion-time 轉換的過程。 完成步驟後,你會看到巫師:

  • 更新表的架構,並加入查詢中的其他欄位。
  • 建立一個 WorkspaceTransformation DCR,並在預設 DCR 尚未連結到工作區時將其連結至工作區。
  • 建立一個資料攝取時間轉換並將其加入 DCR。

啟用查詢稽核日誌

你需要啟用 工作區的日誌分析 ,才能建立 CDBDataPlaneRequests 你正在處理的資料表。 這個步驟並非所有攝取時間轉換都必須完成。 這只是為了產生我們正在使用的樣本資料。

將轉換新增至資料表

現在表格已經建立好,你可以為它建立轉換。

  1. 在Azure入口網站的 Log Analytics workspaces選單中,選擇 Tables。 找到該 CDBDataPlaneRequests 表格並選擇 建立轉換

    截圖顯示建立新變身的過程。

  2. 因為這個轉換是工作區的第一個轉換,你必須建立 一個工作區轉換 DCR。 如果你在同一工作區為其他資料表建立轉換,它們會儲存在同一個 DCR。 選擇 建立新的資料收集規則訂閱資源群組已經為工作區預先填入。 輸入 DCR 名稱並選擇 「完成」。

  3. 選取 [下一步] 以檢視資料表的範例資料。 當你定義轉換時,結果會套用到樣本資料上。 因此,你可以先評估結果,再應用於實際數據。 選取 [轉換編輯器] 來定義轉換。

    此螢幕擷取畫面顯示記錄資料表的範例資料。

  4. 在轉換編輯器中,你可以看到資料在被匯入資料表前所套用的轉換。 一個名為 source 虛擬資料表的虛擬資料表代表進入的資料,該資料具有與目的資料表相同的欄位集合。 轉換最初包含一個簡單的查詢,回傳 source 資料表且不做任何變更。

  5. 將查詢修改為以下範例:

    source
    | where StatusCode != 200 // searching for requests that are not successful
    | project-away Type, TenantId
    

    此修改做出以下改動:

    • 為了節省空間,與查詢 CDBDataPlaneRequests 資料表相關的資料列被刪除,因為這些日誌條目沒什麼用。
    • TenantIdType欄位中的資料被移除以節省空間。
    • 轉換也支援在查詢中使用 extend 運算子來新增欄位。

    Note

    使用 Azure 入口網站,轉換的輸出會在需要時啟動對資料表結構的變更。 如果欄位尚未存在,將會加入以匹配轉換輸出。 確保你的輸出沒有包含任何你不想被加入表格的欄位。 如果輸出中沒有包含已經在表格中的欄位,這些欄位不會被移除,但資料不會被加入。

    任何新增到內建表格的自訂欄位都必須以 結尾。_CF 新增到自訂表格的欄位不需要這個後綴。 自訂資料表的名稱以_CL結尾。

  6. 將查詢複製到轉換編輯器,並選擇 執行 以查看樣本資料的結果。 你可以確認新 Workspace_CF 欄位是否在查詢中。

    截圖顯示變形編輯器。

  7. 選取 [套用] 以儲存轉換,然後選取 [下一步] 以檢閱設定。 選取 建立,以使用新的轉換來更新 DCR。

    這個螢幕擷取畫面顯示儲存轉換的過程。

測試轉換

大約等 30 分鐘讓轉換生效,然後透過對資料表執行查詢來測試。 此轉換僅影響轉換後傳送到資料表的資料。

在這個教學中,執行一些範例查詢,將資料傳送到 CDBDataPlaneRequests 資料表。 對 CDBDataPlaneRequests 執行一些查詢,以便驗證轉換能否過濾這些記錄。

Troubleshooting

本節描述您可能會收到的不同錯誤狀況,以及更正的方式。

Log Analytics 中的 IntelliSense 無法辨識表格中的新欄位

驅動 IntelliSense 的快取最多可能需要 24 小時才能更新。

動態欄位的轉換無法運作

目前已知的問題影響動態欄位。 一個臨時的解決方法是使用 parse_json() 來明確解析動態欄位資料,然後再執行任何操作。

下一步