分享方式：

Microsoft Sentinel 中的自訂資料擷取和轉換

  • 文章

Azure 監視器的記錄分析可做為 Microsoft Sentinel 工作區背後的平台。 根據預設，內嵌到 Microsoft Sentinel 的全部記錄會儲存在記錄分析中。 您可以從 Microsoft Sentinel 存取預存記錄，並執行 Kusto 查詢語言 (KQL) 查詢來偵測威脅並監視您的網路活動。

記錄分析的自訂資料擷取程序可讓您高度控制擷取的資料。 它會使用資料收集規則 (DCR) 收集資料，並在儲存在工作區之前加以操作。 這可讓您篩選和擴充標準資料表，並建立高度自訂的資料表，藉以儲存來自產生唯一記錄格式的來源資料。

Microsoft Sentinel 提供兩個工具來控制此程序：

  • 記錄擷取 API 可讓您從任何資料來源將自訂格式的記錄傳送到 Log Analytics 工作區，並將這些記錄儲存在特定標準資料表中，或儲存在您建立的自訂格式資料表中。 您可以完全控制這些自訂資料表的建立，藉以指定資料行名稱和類型。 您可以 建立資料收集規則 (DCR)，藉以定義和設定轉換並套用至這些資料流程。

  • 資料收集轉換會使用 DCR，將基本 KQL 查詢套用至傳入的標準記錄 (以及特定類型的自訂記錄)，再儲存在工作區中。 這些轉換可以篩選無關的資料、流量分析或外部資料擴充現有的資料，或遮罩敏感性或個人資訊。

以下將詳細說明這兩個工具。

使用案例和範例案例

篩選

擷取時間轉換可讓您篩選無關的資料，即使資料第一次儲存在工作區中。

您可以藉由移除特定欄位的內容，來篩選記錄 (資料列) 等級、指定要包含記錄的準則，或在欄位 (資料行) 等級篩選。 篩選無關的資料可以：

  • 協助您降低成本，因為您減少儲存體需求
  • 改善效能，因為需要較少的查詢時間調整

擷取時間資料轉換支援多個工作區案例。

正規化

擷取時間轉換也可讓您在擷取至內建或客戶 ASIM 正規化資料表時將記錄正規化。 使用擷取時間正規化可改善正規化查詢效能。

如需使用轉換進行擷取時間正規化的詳細資訊，請參閱擷取時間正規化。

擴充和標記

擷取時間轉換也可讓您使用新增至已設定 KQL 轉換的額外資料行來擴充資料，藉以改善分析。 額外的資料行可能包含從現有資料行剖析或計算的資料，或從即時建立的資料結構所擷取的資料。

例如，您可以新增額外的資訊，例如外部 HR 資料、展開的事件描述，或視使用者、位置或活動類型而定的分類。

遮罩

擷取時間轉換也可以用來遮罩或移除個人資訊。 例如，您可以使用資料轉換來遮罩社會安全號碼或信用卡號碼的最後一個數字，或者您可以使用非授權、標準文字或虛擬資料來取代其他類型的個人資料。 在擷取時遮罩個人資訊，藉以提高整個網路的安全性。

Microsoft Sentinel 中的資料擷取流程

下圖顯示擷取時間資料轉換將 Microsoft Sentinel 輸入到資料擷取流程的位置。

Microsoft Sentinel 會從多個來源將資料收集到 Log Analytics 工作區。

  • 來自內建資料接器的資料在記錄分析中使用工作區 DCR 中的硬式編碼工作流程和擷取時間轉換的某種組合進行處理。 此資料可以儲存在標準資料表或一組特定的自訂資料表中。
  • 直接內嵌至記錄擷取 API 端點的資料是由可能包含擷取時間轉換的標準 DCR 處理。 然後，此資料可以儲存在任何種類的標準或自訂資料表中。

Microsoft Sentinel 資料轉換結構的圖表。

Microsoft Sentinel 中的 DCR 支援

在記錄分析中，資料收集規則 (DCR) 會判斷不同輸入資料流程的資料流程。 資料流程包括：要轉換 (標準或自訂) 的資料流程、目的地工作區、KQL 轉換和輸出資料表。 對於標準輸入資料流，輸出資料表與輸入資料流相同。

Microsoft Sentinel 中的 DCR 支援包括：

  • 標準 DCR 目前僅支援使用新記錄擷取 API 的 AMA 型連接器和工作流程。

    每個連接器或記錄來源工作流程都可以有本身的專用標準 DCR，但多個連接器或來源也可以共用一般標準 DCR。

  • 工作區轉換 DCR，適用於目前不支援標準 DCR 的工作流程。

    單一工作區轉換 DCR 會為工作區中未由標準 DCR 提供服務的全部支援工作流程提供服務。 工作區只能有一個工作區轉換 DCR，但該 DCR 包含每個輸入資料流的個別轉換。 此外，只有一組特定的資料表才支援工作區轉換 DCR。

Microsoft Sentinel 對擷取時間轉換的支援取決於您使用的資料連接器類型。 如需自訂記錄、擷取時間轉換和資料收集規則的詳細資訊，請參閱本文章結尾的 後續步驟一節中連結的文章。

Microsoft Sentinel 資料連接器的 DCR 支援

下列資料表描述 Microsoft Sentinel 資料類型的 DCR 支援：

資料連接器類型 DCR 支援
透過記錄擷取 API 直接擷取 標準 DCR
AMA 標準記錄，例如：
  • 透過 AMA 的 Windows 安全性事件
  • Windows 轉寄事件
  • CEF 資料
  • syslog 資料
    		•  標準 DCR
    診斷設定型連線 對於特定資料連接器，根據支援的輸出資料表，工作區會轉換 DCR
    內建的服務對服務資料連接器，例如：
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  對於特定資料連接器，根據支援的輸出資料表，工作區會轉換 DCR
    內建 API 型資料連接器，例如：
  • 無程式碼資料連接器
    		•  標準 DCR
    內建的 API 型資料連接器，例如：
  • 舊版無程式碼資料連接器
  • 以 Azure Functions 為基礎的資料連接器
    		•  目前不支援

    自訂資料連接器的資料轉換支援

    如果您已建立 Microsoft Sentinel 的自訂資料連接器，您可以使用 DCR 來設定資料在工作區中的記錄分析中剖析和儲存的方式。

    自訂記錄擷取目前僅支援下列資料表：

    如需詳細資訊，請參閱支援擷取時間轉換的資料表。

    限制

    擷取時間資料轉換目前有下列 Microsoft Sentinel 資料連接器的已知問題：

    • 只有每個資料表支援使用工作區轉換 DCR 的資料轉換，而不是每個連接器。

      整個工作區只能有一個工作區轉換 DCR。 在該 DCR 內，每個資料表都可以使用個別的輸入資料流搭配本身的轉換。 無法使用工作區轉換 DCR 將資料分割至多個目的地 (Log Analytics 工作區)。 AMA 型資料連接器會使用您在相關聯 DCR 中針對輸入和輸出資料流和轉換所定義的組態，並忽略工作區轉換 DCR。

    • 僅透過 API 支援下列設定：

    • 套用資料轉換組態最多可能需要 60 分鐘的時間。

    • KQL 語法：並未支援全部運算子。 如需詳細資訊，請參閱 Azure 監視器文件中 KQL 限制和支援的 KQL 功能。

    • 您只能將記錄從一個特定資料來源傳送至一個工作區。 若要將資料從單一資料來源傳送至具有標準 DCR 的多個工作區 (目的地)，請為每個工作區建立一個 DCR。

    下一步

    開始在 Microsoft Sentinel 中設定擷取時間資料轉換。

    深入瞭解 Microsoft Sentinel 資料連接器類型。 如需詳細資訊，請參閱

    如需擷取時間轉換、自訂記錄 API 和資料收集規則的詳細資訊，請參閱 Azure 監視器文件中的下列文章：