此解決方案會長期將安全性記錄儲存在 Azure 資料總管中。 此解決方案可將成本降至最低，並在您需要查詢數據時提供輕鬆的存取。
Grafana 和 Jupyter Notebook 是 各自公司的商標。 使用這些標記時，不會隱含任何背書。
架構
資料流程
針對 SIEM 和 SOAR，企業會使用 Sentinel 和適用於端點的 Defender。
適用於端點的 Defender 會使用原生功能將數據匯出至 Azure 事件中樞 和 Azure Data Lake。 Sentinel 內嵌適用於端點的 Defender 數據以監視裝置。
Sentinel 使用 Log Analytics 作為將數據匯出至事件中樞和 Azure Data Lake 的數據平臺。
Azure 數據總管會使用事件中樞、Azure Blob 儲存體 和 Azure Data Lake Storage 的連接器來內嵌低延遲和高輸送量的數據。 此程式會使用 Azure 事件方格，這會觸發 Azure 數據總管擷取管線。
如有需要，Azure 數據總管會持續將安全性記錄導出至 Azure 儲存體。 這些記錄採用壓縮、分割的 Parquet 格式，並已準備好進行查詢。
若要遵循法規需求，Azure 數據總管會將預先匯總的數據導出至 Data Lake Storage 以進行封存。
Log Analytics 和 Sentinel 支援 Azure 數據總管的跨服務查詢。 SOC 分析師會使用這項功能，對安全性數據執行全範圍調查。
Azure 數據總管提供原生功能，可用來處理、匯總和分析數據。
各種工具提供近乎即時的分析儀錶板，可快速提供深入解析：
元件
適用於端點 的Defender可保護組織免於裝置、身分識別、應用程式、電子郵件、數據和雲端工作負載的威脅。
Sentinel 是雲端原生 SIEM 和 SOAR 解決方案。 它會使用進階 AI 和安全性分析來偵測、搜捕、防止及響應企業間的威脅。
監視器 是軟體即服務 （SaaS） 解決方案，可收集和分析環境和 Azure 資源上的數據。 此數據報括應用程式遙測，例如效能計量和活動記錄。 監視也提供警示功能。
Log Analytics 是監視服務，可用來查詢和檢查監視記錄數據。 Log Analytics 也提供對查詢結果進行製圖和統計分析的功能。
事件中 樞是完全受控的實時數據擷取服務，其簡單且可調整。
Data Lake Storage 是可調整的記憶體存放庫，可保存數據原生原始格式的大量數據。 此數據湖建置在 Blob 記憶體之上，並提供儲存和處理數據的功能。
Azure 數據總 管是快速、完全受控且高度可調整的數據分析平臺。 您可以使用此雲端服務對大量資料進行即時分析。 Azure 數據總管已針對互動式臨機操作查詢進行優化。 它可以處理來自應用程式、網站、IoT 裝置和其他來源的各種數據流。
Azure 數據總管儀錶板會從 Azure 數據總管 Web UI 查詢原生匯入數據。 這些優化的儀錶板提供顯示和探索查詢結果的方式。
替代項目
您可以使用記憶體，而不是使用 Azure 資料總管長期儲存安全性記錄。 此方法可簡化架構，並可協助控制成本。 缺點是需要重新凍結安全性稽核和互動式調查查詢的記錄。 使用 Azure 數據總管，您可以藉由變更原則，將數據從冷分割區移至經常性分割區。 此功能可加速數據探索。
此解決方案的另一個選項是同時將所有數據，不論其安全性值為何，傳送至 Sentinel 和 Azure 數據總管。 某些重複結果，但節省成本可能相當重要。 因為 Azure 數據總管提供長期記憶體，因此您可以使用這種方法來降低 Sentinel 保留成本。
Log Analytics 目前不支持導出自定義記錄數據表。 在此案例中，您可以使用 Azure Logic Apps 從 Log Analytics 工作區導出數據。 如需詳細資訊，請參閱使用LogicApps將數據從Log Analytics工作區封存到 Azure 儲存體。
案例詳細資料
安全性記錄對於識別威脅和追蹤未經授權存取數據的嘗試很有用。 在探索到安全性攻擊之前，安全性攻擊可以順利開始。 因此，存取長期安全性記錄很重要。 查詢長期記錄對於識別威脅的影響和調查非法存取嘗試的散布至關重要。
本文概述長期保留安全性記錄的解決方案。 架構的核心是 Azure 數據總管。 此服務會以最低成本提供安全性數據的記憶體，但會以您可以查詢的格式保留該數據。 其他主要元件包括：
適用於端點的 Microsoft Defender 和Microsoft Sentinel，適用於這些功能：
- 完整的端點安全性
- 安全性資訊及事件管理 (SIEM)
- 安全性協調流程自動化回應 (SOAR)
Log Analytics，用於 Sentinel 安全性記錄的短期儲存。
潛在使用案例
此解決方案適用於各種案例。 具體來說，安全性作業中心 （SOC） 分析師可以使用此解決方案來進行：
- 全面調查。
- 鑑識分析。
- 威脅搜捕。
- 安全性稽核。
客戶會向解決方案的實用性作證：「我們部署了近一年半前的 Azure 數據總管叢集。 在最後一個 Solorigate 數據外洩中，我們使用 Azure 數據總管叢集進行鑑識分析。 Microsoft達特小組也使用 Azure 數據總管叢集來完成調查。 長期安全性數據保留對於全面數據調查至關重要。
監視堆疊
下圖顯示 Azure 監視堆疊：
- Sentinel 使用 Log Analytics 工作區來儲存安全性記錄，並提供 SIEM 和 SOAR 解決方案。
- 監視會追蹤 IT 資產的狀態，並在需要時傳送警示。
- Azure 數據總管提供基礎數據平臺，可儲存Log Analytics工作區、監視器和Sentinel的安全性記錄。
主要功能
解決方案的主要功能提供許多優點，如下列各節所述。
長期可查詢的數據存放區
Azure 數據總管會在記憶體程式期間為數據編製索引，讓數據可供查詢使用。 當您需要專注於執行稽核和調查時，就不需要處理數據。 查詢數據很簡單。
全面鑑識分析
Azure 數據總管、Log Analytics 和 Sentinel 支援跨服務查詢。 因此，在單一查詢中，您可以參考這些服務中儲存的數據。 SOC 分析師可以使用 Kusto 查詢語言 （KQL） 來執行完整的調查。 您也可以在 Sentinel 中使用 Azure 數據總管查詢進行搜捕。 如需詳細資訊，請參閱 新功能：Sentinel 搜捕支援 ADX 跨資源查詢。
隨選數據快取
Azure 數據總管支援 以窗口為基礎的熱快取。 這項功能可讓您將數據從選取的期間移至經常性快取。 然後，您可以對數據執行快速查詢，讓調查更有效率。 您可能需要為此目的，將計算節點新增至經常性快取。 調查完成後，您可以變更經常性快取原則，將數據移至冷分割區。 您也可以將叢集還原為其原始大小。
連續匯出至封存數據
若要遵循法規需求，某些企業需要無限時間儲存安全性記錄。 Azure 數據總管支持連續匯出數據。 您可以使用這項功能，將安全性記錄儲存在記憶體中，以建置封存層。
經過證實的查詢語言
Kusto 查詢語言是 Azure 數據總管的原生語言。 此語言也適用於Log Analytics工作區和Sentinel威脅搜捕環境。 此可用性可大幅降低 SOC 分析師的學習曲線。 您在 Sentinel 上執行的查詢也適用於儲存在 Azure 數據總管叢集中的數據。
考量
這些考量能實作 Azure Well-Architected Framework 的要素，其為一組指導原則，可以用來改善工作負載的品質。 如需詳細資訊，請參閱 Microsoft Azure Well-Architected Framework (部分機器翻譯)。
當您實作此解決方案時，請記住下列幾點。
延展性
請考慮下列延展性問題：
數據匯出方法
如果您需要從 Log Analytics 匯出大量數據，您可能會達到事件中樞容量限制。 若要避免這種情況：
- 將數據從Log Analytics 匯出至 Blob 記憶體。
- 使用 Azure Data Factory 工作負載定期將數據匯出至 Azure 數據總管。
藉由使用此方法，您只能在 Sentinel 或 Log Analytics 中的數據接近其保留限制時，從 Data Factory 複製數據。 因此，您可以避免重複數據。 如需詳細資訊，請參閱 將數據從Log Analytics匯出至 Azure 資料總管。
查詢使用方式和稽核準備
一般而言，您會將數據保留在 Azure 數據總管叢集中的冷快取中。 這種方法可將叢集成本降到最低，而且足以處理涉及過去幾個月數據的大多數查詢。 但是，當您查詢大型數據範圍時，您可能需要相應放大叢集，並將數據載入經常性快取。
您可以針對此目的使用經常性快取原則的經常性視窗功能。 當您稽核長期數據時，您也可以使用此功能。 當您使用經常性存取視窗時，可能需要相應增加或相應放大叢集，以騰出空間讓經常性快取中的更多數據。 完成查詢大型數據範圍之後，請變更熱快取原則以降低計算成本。
藉由在 Azure 數據總管叢集中開啟優化的自動調整功能，您可以根據快取原則優化叢集大小。 如需在 Azure 數據總管中查詢冷數據的詳細資訊，請參閱 使用經常性窗口查詢冷數據。
效能效益
效能效率可讓您的工作負載進行調整，以有效率的方式符合使用者對其放置的需求。 如需詳細資訊，請參閱效能效率要件概觀。
如果您需要長時間或無限制地儲存安全性數據，請將記錄匯出至記憶體。 Azure 數據總管支持連續匯出數據。 藉由使用這項功能，您可以將數據匯出至已壓縮、分割的 Parquet 格式的記憶體。 然後，您可以順暢地查詢該數據。 如需詳細資訊，請參閱 連續數據導出概觀。
成本最佳化
成本最佳化是關於考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱成本最佳化要素的概觀。
Azure 數據總管叢集成本主要是以用來將數據儲存在熱快取中的運算能力為基礎。 經常性快取數據的查詢可透過冷快取查詢提供更佳的效能。 此解決方案會將大部分的數據儲存在冷快取中，將計算成本降至最低。
若要探索在您的環境中執行此解決方案的成本，請使用 Azure 定價計算機。
部署此案例
若要自動化部署，請使用此 PowerShell 腳本。 此文稿會建立下列元件：
- 目標數據表
- 原始數據表
- 數據表對應，定義事件中樞記錄在原始數據表中的登陸方式
- 保留和更新原則
- 事件中樞命名空間
- Log Analytics 工作區中的數據導出規則
- 事件中樞與 Azure 數據總管原始數據表之間的數據連線
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主體作者：
- Deepak Agrawal |產品經理
若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。
下一步
- 整合 Azure 資料總管以進行長期記資料保留
- 輕鬆將Microsoft Sentinel 記錄移至長期記憶體
- 使用 Azure 監視器來跨資源查詢 Azure 數據總管
- 如何：設定長期儲存Microsoft Sentinel 數據導出
- 使用 Azure 數據總管長期保留 Microsoft Sentinel 記錄
- 新功能：Microsoft Sentinel 搜捕支援 ADX 跨資源查詢
- 如何在 Azure 數據總管中串流Microsoft Defender ATP 搜捕記錄
- 部落格系列：使用 Azure 數據總管進行無限制的進階搜捕 （ADX）
相關資源
- Azure 數據總管監視
- [Azure 數據總管互動式分析][Azure 數據總管互動式分析]
- 使用 Azure 資料總管進行巨量資料分析