擷取時間正規化

查詢時間剖析

如同 ASIM 概述中所述，Microsoft Sentinel 同時使用查詢時間與 inest time 正規化，以發揮兩者的優勢。

若要使用查詢時正規化，請在查詢中使用 查詢時統一剖析器，例如 _Im_Dns。 使用查詢時間解析進行正規化有多項優點：

  • 保留原始格式：查詢時間正規化不需修改資料，因此保留來源所傳送的原始資料格式。
  • 避免潛在的重複儲存：由於正規化資料僅是原始資料的視圖，無需同時儲存原始資料與正規化資料。
  • 開發更簡單：由於查詢時間解析器呈現資料視圖，且不修改資料，因此開發起來相當簡單。 開發、測試和修復解析器都可以在現有資料上完成。 此外，當發現問題時，解析器可以被修正，並將修正套用到現有資料上。

內嵌時間剖析

雖然 ASIM 查詢時間解析器有優化，但查詢時間解析可能會拖慢查詢速度，尤其是在大型資料集上。

導入時間解析能將事件轉換為正規化結構，並以正規化格式儲存在 Microsoft Sentinel 中。 導入時間解析較不靈活，解析器較難開發，但由於資料以正規化格式儲存，效能較佳。

正規化資料可以儲存在 Microsoft Sentinel 的原生正規化資料表中，或是使用 ASIM 架構的自訂資料表中。 具有與 ASIM 結構描述接近但不完全相同之結構描述的自訂資料表，也能提供資料擷取時正規化的效能優勢。

目前，ASIM 支援以下原生正規化表格作為導入時間正規化的目的地：

原生正規化資料表的優點是它們預設包含在 ASIM 統一解析器中。 自訂正規化資料表可包含在統一解析器中，詳見 管理解析器。

結合擷取時與查詢時的正規化

查詢應始終使用 查詢時間統一解析器，例如 _Im_Dns 同時利用查詢時間與擷取時間正規化。 原生正規化資料表透過存根解析器包含在查詢資料中。

存根解析器是一種在查詢時執行的解析器，並以正規化後的資料表作為輸入。 由於正規化表不需要解析，存根解析器效率較高。

Stub 剖析器會向呼叫查詢呈現一個檢視，並將下列內容新增至 ASIM 原生資料表：

  • 別名 - 為了避免浪費重複值的儲存空間，別名不會儲存在 ASIM 原生資料表中，而是由存根解析器在查詢時加入。
  • 常數值 ——就像別名一樣，ASIM 正規化資料表也不會儲存像 EventSchema 這類常數值。 存根解析器會加入這些欄位。 ASIM 正規化表被多個來源共用，且 ingest time 解析器可以更改其輸出版本。 因此，像 EventProduct、 EventVendor 和 EventSchemaVersion 這類欄位並非常數，且存根分析器不會新增。
  • 過濾 ——存根解析器同時實作過濾功能。 雖然 ASIM 原生資料表不需要過濾解析器來提升效能，但為了支援整合解析器中的包含，則需要過濾。
  • 匯報與修正 - 使用存根解析器能更快解決問題。 例如，如果資料被錯誤地擷取，擷取時可能沒有從訊息欄位擷取 IP 位址。 存根解析器可在查詢時擷取 IP 位址。

使用自訂正規化資料表時，請建立您自己的 stub 剖析器來實作此功能，並如 管理剖析器 所述，將其新增至整合剖析器中。 以原生資料表的存根解析器為起點，例如 DNS 原生資料表存根解析器 及其 過濾對應工具。 如果你的表格是半正規化的，可以使用存根解析器進行額外的解析和正規化。

想了解更多關於撰寫解析器的資訊，請參閱 《開發 ASIM 解析器》。

實作擷取時間正規化

若要在資料擷取時將資料標準化，您需要使用 資料收集規則 (DCR)。 DCR 的實作程序取決於所採用的資料擷取方法。 欲了解更多資訊，請參閱文章《在 Microsoft Sentinel 中擷取時轉換或自訂資料》。

KQL 轉換查詢是 DCR 的核心。 DCR 所使用的 KQL 版本與 Microsoft Sentinel 其他地方的版本略有不同，以因應管線事件處理的需求。 因此，你需要修改任何查詢時解析器來使用它在 DCR 中。 欲了解更多差異，以及如何將查詢時解析器轉換為擷取時間解析器，請閱讀 DCR KQL 限制。

相關內容

  • Last updated on