Microsoft Sentinel 中的自訂資料擷取與轉換

Azure Monitor Logs 是 Microsoft Sentinel 的資料平台。 所有匯入 Microsoft Sentinel 的日誌都會儲存在 Log Analytics 工作空間中,並用 KQL) 撰寫的日誌查詢Kusto 查詢語言 (用來偵測威脅並監控您的網路活動。

Log Analytics 讓你對匯入工作區的資料有高度控制權,並可自訂資料擷取 與資料收集規則 (DCRs) 。 DCR 允許你在資料儲存到工作區前收集並操作它們。 DCR 既能格式化並將資料傳送至標準 Log Analytics 資料表,也能針對產生獨特日誌格式的可自訂資料來源資料表。

在資料擷取時,可以對資料進行過濾與分割轉換,以降低雜訊並將資料導向適當的儲存層級。 這些轉換不需要你建立 DCR,且定義在 Microsoft Sentinel 的 Defender 入口網站資料表管理頁面中。 欲了解更多資訊,請參閱 Microsoft Sentinel 中的篩選與分割轉換

Azure Monitor tools for custom data ingestion in Microsoft Sentinel

Microsoft Sentinel 使用以下 Azure Monitor 工具來控制自訂資料擷取:

  • 轉換 是在 DCR 中定義的,並在資料儲存到工作空間前對輸入資料套用 KQL 查詢。 這些轉換可以過濾掉無關資料、用分析或外部資料豐富現有資料,或掩蓋敏感或個人資訊。

  • Logs 導入 API 允許你從任何資料來源將自訂格式的日誌傳送到 Log Analytics 工作區,並將這些日誌儲存在特定標準資料表或你建立的自訂格式資料表中。 你可以完全控制這些自訂資料表的建立,甚至指定欄位名稱和類型。 API 使用 DCR 來定義、配置並套用這些資料流的轉換。

注意事項

啟用 Microsoft Sentinel 的 Log Analytics workspaces 不需繳納 Azure Monitor 的過濾匯入費用,無論轉換過濾了多少資料。 然而,Microsoft Sentinel 的轉換功能與其他 Azure Monitor 有相同的限制。 欲了解更多資訊,請參閱 限制與考量

Microsoft Sentinel 中的 DCR 支援

資料擷取時間轉換定義於資料收集規則 (DCRs) 中,這些規則控制Azure監控器中的資料流。 DCR 被基於 AMA 的 Sentinel 連接器及使用 Logs 擷取 API 的工作流程所使用。 每個 DCR 包含特定資料收集情境的配置,多個連接器或來源可共用同一個 DCR。

工作區轉換 DCR 支援不使用 DCR 的工作流程。 工作區轉換 DCR 包含任何 支援資料表 的轉換,並套用於所有傳送到該資料表的流量。

如需詳細資訊,請參閱:

使用案例與範例情境

文章《Azure Monitor 中的範例轉換》提供了使用 Azure Monitor 中常見擷取時間轉換的描述與範例查詢。 對 Microsoft Sentinel 特別有用的情境包括:

Data ingestion flow in Microsoft Sentinel

下圖顯示了 Microsoft Sentinel 中資料擷取時間轉換如何進入資料擷取流程。 這些資料可以支援標準表格,或是 特定自訂表格集合。

Microsoft Sentinel 資料轉換架構示意圖。

這張圖片顯示了雲端管線,代表 Azure Monitor 的資料收集元件。 你可以在 Azure Monitor 中的資料收集規則 (DCR) 中了解更多相關資訊。

Microsoft Sentinel 在 Log Analytics 工作空間中從多個來源收集資料。

  • 從日誌擷取API端點或Azure監控代理收集的資料 (AMA) 由特定的DCR處理,該DCR可能包含資料擷取時間轉換。
  • 來自內建資料連接器 的資料會透過 Log Analytics 透過硬編碼工作流程與工作區 DCR 中的資料擷取時間轉換來處理。

下表說明 Microsoft Sentinel 資料連接器類型的 DCR 支援:

資料連接器類型 DCR 支援
Azure Monitor 代理 (AMA) 日誌,例如:
  • Windows 安全性事件透過 AMA 進行
  • 視窗轉發事件
  • CEF 資料
  • Syslog 資料
  • 與代理人相關的一個或多個 DCR
    透過 Logs 擷取 API 直接擷取 在 API 呼叫中指定 DCR
    內建基於 API 的資料連接器,例如:
  • 無碼資料連接器
  • 為連接器建立的 DCR
    基於診斷設定的連線 支援輸出表的工作區轉換 DCR
    內建的基於 API 的資料連接器,例如:
  • 傳統無碼資料連接器
  • Azure Functions-based data connectors
  • 目前不支援
    內建的服務對服務資料連接器,例如:
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
  • 支援轉換的表格工作區轉換 DCR

    如需詳細資訊,請參閱: