從 Splunk 移轉到 Azure 監視器記錄

  • 發行項

Azure 監視器記錄 是雲端式受控監視和可觀察性服務，在成本管理、延展性、彈性、整合和低維護負荷方面提供許多優點。 此服務的設計目的是要處理大量數據，並輕鬆地進行調整，以符合各種規模的組織需求。

Azure 監視器記錄會從各種不同的來源收集數據，包括 Windows 事件記錄、Syslog 和自定義記錄，以提供所有 Azure 和非 Azure 資源的統一檢視。 使用複雜的查詢語言和策劃的視覺效果，您可以快速分析數百萬筆記錄，以識別、瞭解和響應監視數據中的重要模式。

本文說明如何將 Splunk Observability 部署遷移至 Azure 監視器記錄以進行記錄和記錄數據分析。

如需將安全性資訊和事件管理 （SIEM） 部署從 Splunk Enterprise Security 移轉至 Azure Sentinel 的相關信息，請參閱 規劃移轉至 Microsoft Sentinel。

為什麼要移轉至 Azure 監視器？

移轉至 Azure 監視器的優點包括：

比較供應專案

Splunk 供應專案 Products Azure 供應專案
Splunk 平臺
  • Splunk Cloud Platform
  • Splunk Enterprise
 Azure 監視器記錄 是集中式軟體即服務 （SaaS） 平臺，可用來收集、分析和處理 Azure 和非 Azure 資源和應用程式所產生的遙測數據。
Splunk Observability
  • Splunk 基礎結構監視
  • Splunk 應用程式 效能監視器
  • Splunk IT 服務智慧
 Azure 監視器 是一種端對端解決方案，可用來收集、分析及處理來自雲端、多重雲端和內部部署環境的遙測數據，其建置方式是透過與 Microsoft Sentinel 共用的強大數據擷取管線所建置。 Azure 監視器為企業提供監視雲端、混合式和內部部署環境的完整解決方案，具有 網路隔離、 復原功能和數據中心失敗、 報告和 警示和回應 功能的保護。
Azure 監視器的內建功能包括：
  • Azure 監視器深入解析 - 具有預先設定的數據輸入、搜尋、警示和視覺效果的現成使用、策劃的監視體驗。
  • Application Insights - 為即時 Web 應用程式提供應用程式效能管理 （APM）。
  • Azure 監視器 AIOps 和內建機器學習功能 - 提供深入解析並協助您針對問題進行疑難解答，並將數據驅動工作自動化，例如預測容量使用量和自動調整、識別和分析應用程式效能問題，以及偵測虛擬機、容器和其他資源中的異常行為。
這些功能是免費的安裝費用。
Splunk 安全性
  • Splunk Enterprise Security
  • Splunk Mission Control
    Splunk SOAR
 Microsoft Sentinel 是透過 Azure 監視器平台執行的雲端原生解決方案，可在整個企業提供智慧型手機安全性分析和威脅情報。

重要概念簡介

Azure 監視器記錄 類似的Splunk概念 描述
Log Analytics 工作區 Namespace Log Analytics 工作區是一個環境，您可以從所有 Azure 和非 Azure 監視的資源收集記錄數據。 工作區中的數據可用於查詢和分析、Azure 監視器功能和其他 Azure 服務。 類似於 Splunk 命名空間，您可以在 Log Analytics 工作區中管理數據和成品的存取權，例如警示和活頁簿。
根據您的需求設計Log Analytics工作區架構 ，例如分割計費、區域數據記憶體需求和復原考慮。
數據表管理 編製索引 Azure 監視器記錄會將記錄數據內嵌至受控 Azure 數據 總管資料庫中的數據表。 在擷取期間，服務會自動為數據編製索引和時間戳，這表示您可以使用 Kusto 查詢語言 （KQL） 查詢快速儲存不同類型的數據並存取數據。
使用數據表屬性來管理數據表架構、數據保留和封存，以及是否要儲存數據，以便偶爾進行稽核和疑難解答，或供功能和服務持續分析及使用。
如需 Splunk 和 Azure 數據總管數據處理和查詢概念的比較，請參閱 Splunk 以 Kusto 查詢語言 對應。
基本和分析記錄數據計劃 Azure 監視器記錄提供兩個記錄數據計劃，可讓您根據需求減少記錄擷取和保留成本，並利用 Azure 監視器的進階功能和分析功能。
分析計劃可讓記錄數據可供互動式查詢使用，並由功能和服務使用。
基本記錄數據計劃提供低成本的方式來內嵌和保留記錄，以進行疑難解答、偵錯、稽核和合規性。
封存和快速存取封存的數據 資料貯體狀態（熱、暖、冷、解凍）、封存、動態數據使用中封存 （DDAA） 符合成本效益的封存選項會將記錄保留在Log Analytics工作區中，並可讓您在需要時立即存取封存的記錄數據。 封存組態變更會立即生效，因為數據不會實際傳輸至外部記憶體。 您可以 還原封存的數據 或執行 搜尋作業 ，讓特定時間範圍的封存數據可供即時分析使用。
存取控制 角色型使用者存取權、許可權 使用 Azure 角色型存取控制 （RBAC） 定義哪些人員和資源可以在特定資源上讀取、寫入及執行作業。 具有資源存取權的使用者可以存取資源的記錄。
Azure 利用內建角色、自定義角色、角色繼承和稽核歷程記錄等功能，促進數據安全性和存取管理功能。
您也可以設定工作區層級存取和數據表層級存取，以對特定數據類型進行細微訪問控制。
資料轉換 轉換、欄位擷取 轉換可讓您先篩選或修改傳入的數據，再傳送至Log Analytics工作區。 使用轉換來移除敏感數據、擴充Log Analytics工作區中的數據、執行計算，以及篩選出您不需要降低數據成本的數據。
資料收集規則 數據輸入、數據管線 定義要收集的數據、如何轉換該數據，以及傳送數據的位置。
Kusto 查詢語言 （KQL） Splunk 搜尋處理語言 （SPL） Azure 監視器記錄會使用適用於簡單記錄查詢的大型 KQL 子集，但也包含進階功能，例如匯總、聯結和智慧分析。 使用 Splunk 來 Kusto 查詢語言 對應，將 Splunk SPL 知識轉譯為 KQL。 您也可以 使用教學課程 和 KQL 訓練課程模組來學習 KQL。
Log Analytics Splunk Web， 搜尋應用程式， 樞紐工具 Azure 入口網站 中的工具，用於在 Azure 監視器記錄中編輯和執行記錄查詢。 Log Analytics 也提供一組豐富的工具來探索和可視化數據，而不需要使用 KQL。
成本最佳化 Azure 監視器提供 工具和最佳做法，可協助您根據需求瞭解、監視及優化成本 。

1.瞭解您目前的使用量

您目前在 Splunk 中的使用量將協助您決定要在 Azure 監視器中選取的 定價層 ，並預估未來的成本：

2.設定 Log Analytics 工作區

Log Analytics 工作區是您從所有受監視的資源收集記錄數據的位置。 您可以在 Log Analytics 工作區中保留最多七年的數據。 工作區內的低成本數據封存可讓您在需要時快速且輕鬆地存取封存的數據，而不需要管理外部數據存放區的額外負荷。

建議您在單一 Log Analytics 工作區中收集所有記錄數據，以方便管理。 如果您要考慮使用多個工作區，請參閱 設計Log Analytics工作區架構。

若要為數據收集設定 Log Analytics 工作區：

  1. 建立 Log Analytics 工作區。

    Azure 監視器記錄會根據您使用 的 Azure 服務和您為 Azure 資源定義的數據收集設定 ，自動在您的工作區中建立 Azure 數據表。

  2. 設定 Log Analytics 工作區，包括：

    1. 定價層。
    2. 如果您的Log Analytics工作區符合定價層的資格，請將Log Analytics工作區連結至專用叢集 ，以利用進階功能。
    3. 每日上限。
    4. 資料保留 \(英文\)。
    5. 網路隔離。
    6. 存取控制。

  3. 使用 資料表層級組態設定 來：

    1. 定義每個數據表的記錄數據計劃。

      默認記錄數據計劃是 Analytics，可讓您利用 Azure 監視器豐富的監視和分析功能。

    2. 如果您需要與工作區層級的數據保留和封存原則不同，請為特定數據表設定數據保留和封存原則。

    3. 根據您的數據模型修改數據表架構 。

3.將 Splunk 成品遷移至 Azure 監視器

若要移轉大部分的 Splunk 成品，您需要將 Splunk 處理語言 （SPL） 翻譯成 Kusto 查詢語言 （KQL）。 如需詳細資訊，請參閱 Splunk 以 Kusto 查詢語言 對應和開始使用 Azure 監視器中的記錄查詢。

下表列出 Splunk 成品，以及 Azure 監視器中設定對等成品指引的連結：

Splunk 成品 Azure 監視器成品
警示 警示規則
警示動作 動作群組
基礎結構監視 Azure 監視器深入解析 是一組現成可用的策劃監視體驗，其中包含預先設定的數據輸入、搜尋、警示和視覺效果，可讓您快速且有效地分析數據。
儀表板​​ 活頁簿
查詢 Azure 監視器提供各種擴充數據的方式，包括：
- 數據收集規則，可讓您將數據從多個來源傳送至Log Analytics工作區，並在擷取數據之前執行計算和轉換。
- KQL 運算符，例如 聯結運算符，其會結合不同數據表的數據，以及 從外部記憶體傳回數據的 externaldata 運算符。
- 與 Azure 機器學習 或 Azure 事件中樞 等服務整合，以在其他數據中套用進階機器學習和串流。
命名空間 您可以根據您在Log Analytics工作區或 Azure 資源群組上定義的訪問控制，授與或限制 Azure 監視器中的成品許可權。
權限 存取管理
報表 Azure 監視器提供各種選項來分析、視覺化及共享資料，包括：
- 與 Grafana 整合
- 深入解析
- 活頁簿
- 儀表板
- 與 Power BI 的整合
- 與 Excel 整合
搜尋 查詢
來源類型 在Log Analytics工作區中定義您的數據模型。 使用 擷取時間轉換 來篩選、格式化或修改傳入數據。
數據收集方法 請參閱 收集專為特定資源設計的 Azure 監視器工具數據 。

如需移轉 Splunk SIEM 成品的相關信息，包括偵測規則和 SOAR 自動化，請參閱 規劃移轉至 Microsoft Sentinel。

4.收集數據

Azure 監視器提供工具，可從 Azure 上的記錄 數據源 和非 Azure 資源在您的環境中收集數據。

若要從資源收集資料：

  1. 根據下表設定相關的數據收集工具。
  2. 決定您需要從資源收集哪些數據。
  3. 使用 轉換 來移除敏感數據、擴充數據或執行計算，以及篩選掉您不需要的數據，以降低成本。

下表列出 Azure 監視器提供從各種資源類型收集資料的工具。

資源類型 數據收集工具 類似的Splunk工具 收集的資料
Azure 診斷設定 Azure 租使用者 - Microsoft Entra 稽核記錄提供登入活動歷程記錄，以及租用戶內所做的變更稽核記錄。
Azure 資源 - 記錄和性能計數器。
Azure 訂用帳戶 - 服務健康情況 記錄，以及對 Azure 訂用帳戶中資源所做的任何組態變更的記錄。
應用程式 Application insights Splunk 應用程式 效能監視器 應用程式效能監視數據。
容器 容器深入解析 容器監視 容器效能數據。
作業系統 Azure 監視器代理程式 通用轉寄站、重型轉寄站 從 Azure 和非 Azure 虛擬機的客體作業系統監視數據。
非 Azure 來源 記錄擷取 API HTTP 事件收集器 （HEC） 檔案型記錄，以及您傳送至 受監視資源上數據收集端點 的任何數據。

此圖顯示連線至 Azure 監視器記錄的各種數據源。

5.轉換至 Azure 監視器記錄

常見的方法是逐漸轉換至 Azure 監視器記錄，同時在 Splunk 中維護歷程記錄數據。 在此期間，您可以：

若要從 Splunk 匯出歷程記錄資料：

  1. 使用其中 一個 Splunk 匯出方法來 匯出 CSV 格式的數據。
  2. 若要收集匯出的數據：

    1. 使用 Azure 監視器代理程式收集您從 Splunk 匯出的數據，如使用 Azure 監視器代理程式收集文字記錄中所述。

      或

    2. 使用記錄擷取 API 直接收集匯出的數據，如使用 REST API 將數據傳送至 Azure 監視器記錄中所述。

此圖顯示從 Splunk 串流至 Azure 監視器記錄中的 Log Analytics 工作區。

下一步