此解決方案會長期將安全性記錄儲存在 Azure Data Explorer中。 當您需要查詢資料時，此解決方案可將成本降至最低，並提供輕鬆存取。
Grafana 和 Jupyter Notebook 是 其各自公司的商標。 使用這些標記不會隱含任何背書。
架構
下載這個架構的 Visio 檔案 。
資料流程
針對 SIEM 和 SOAR，企業會選用 Azure Sentinel 和 Defender 以作為端點。
適用於端點的 Defender 使用原生功能，將資料匯出至 Azure 事件中樞和 Azure 資料湖。 Azure Sentinel 內嵌適用於端點資料的 Defender 以監視裝置。
Sentinel 將 Log Analytics 作為匯出資料至事件中樞與 Azure 資料湖之資料平台。
Azure 資料總管會使用事件中樞、 Azure Blob 儲存體和Azure Data Lake Storage的連接器，來內嵌具有低延遲與高輸送量之資料。 此流程使用 Azure 事件格線，該格線可觸發 azure 資料總管內嵌管線。
如有需要，Azure 資料總管會持續將安全性記錄匯出至 Azure 儲存體。 這些記錄是採壓縮、分割之 Parquet 格式，並已準備好接受查詢。
為遵循法規需求，Azure 資料總管會將預先匯總之資料匯出至 Data Lake Storage 進行封存。
Log Analytics 與 Sentinel 支援使用 Azure 資料總管的跨服務查詢。 SOC 分析師會使用這項功能，對安全性資料執行完整範圍之調查。
Azure 資料總管為處理、匯總與分析資料提供原生功能。
各種工具提供近即時的分析儀表板，可快速提供見解：
單元
適用於端點的 Defender 可保護組織免受裝置、身分識別、應用程式、電子郵件、資料與雲端工作負載之間的威脅。
Azure Sentinel 是雲端原生的 SIEM 與 SOAR 解決方案。 該服務使用先進的 AI 與安全性分析，可偵測、搜尋、預防與回應企業之間的威脅。
Monitor 是一項軟體即服務 (SaaS) 之解決方案，可收集並分析環境與 Azure 資源上之資料。 該資料包括應用程式遙測，例如效能計量與活動記錄。 Monitor 也提供警示功能。
Log Analytics 是一項監視服務，可讓您用來查詢和檢查監視器記錄資料。 Log Analytics 也提供圖表與統計分析查詢結果之功能。
Azure 事件中樞是完全受控的即時擷取服務，該服務相當簡單且可擴充。
Data Lake Storage是可調整的儲存體存放庫，並以資料之原生、原始格式保存大量資料。 此資料湖建置於 Blob 儲存體之上，並提供儲存和處理資料之功能。
Azure 資料總管 是快速、完全受控且可高度調整的資料分析平台。 您可以使用此雲端服務進行大量資料之即時分析。 Azure 資料總管已最佳化互動式的臨機操作查詢。 其可以處理來自應用程式、網站、IoT 裝置與其他來源的各種資料流。
Azure 資料總管儀表板 會以原生方式，從 Azure 資料總管 Web UI 查詢匯入資料。 這些最佳化的儀表板提供了顯示及探索查詢結果之方式。
替代方案
您可以使用儲存體取代 Azure 資料總管，以長期儲存安全性記錄。 該方法可簡化架構，並可協助控制成本。 缺點是必須解除凍結記錄，以進行安全性稽核與互動式調查查詢。 您可以使用 Azure 資料總管，並透過變更原則，將資料從冷分割區移至經常性存取層分割區。 該功能可加快資料探索之速度。
此解決方案的另一個選項是同時將所有資料 (無論其安全性值為何) 傳送給 Sentinel 與 Azure 資料總管。 或許會產生一些重複結果，但節省成本更為重要。 由於 Azure 資料總管提供長期儲存體，您可以使用此方法降低 Sentinel 資料保留之成本。
Log Analytics 目前並不支援匯出自訂記錄資料表。 在此案例中，您可以使用 Azure Logic Apps，並從 Log Analytics 工作區匯出資料。 如需詳細資訊，請參閱使用 Logic Apps 並從 Log Analytics 工作區封存資料至 Azure 儲存體。
實例詳細資料
安全性記錄適用於識別威脅，以及追蹤未經授權的資料存取嘗試。 在探索安全性攻擊之前，其會先順利開始。 如此一來，具有長期安全性記錄之存取極為重要。 查詢長期記錄對於識別威脅之影響，以及調查非法存取嘗試之擴散而言極為重要。
本文為安全性記錄長期保留之解決方案提供大綱。 架構之核心是 Azure 資料總管。 這項服務會以最低成本提供安全性資料的儲存體，但會以您可查詢之格式保存該資料。 其他的主要元件包括：
適用於端點與 Microsoft Sentinel 的 Microsoft Defender，具有下述功能：
- 全方位的端點安全性
- 安全性資訊及事件管理 (SIEM)
- 安全性協調流程自動化回應 (SOAR)
Log Analytics，為適用於 Azure Sentinel 安全性記錄的短期儲存體。
潛在使用案例
此解決方案可適用於各種情況。 具體而言，安全性作業中心 (SOC) 分析師可將此解決方案用於：
- 完整規模之調查。
- 鑑識分析。
- 威脅搜捕。
- 安全性稽核。
客戶測試解決方案之實用性：「我們幾乎在一年半之前就已部署了 Azure 資料總管叢集。 在最後一次的 Solorigate 資料缺口中，我們使用了 Azure 資料總管叢集進行鑑識分析。 Microsoft Dart 小組也使用 Azure 資料總管叢集來完成調查。 對於全面的資料調查而言，長期的安全性資料保留是不可或缺的。」
監視堆疊
下圖顯示 Azure 監視堆疊：
- Azure Sentinel 使用 Log Analytics 工作區儲存安全性記錄，並提供 SIEM 與 SOAR 解決方案。
- Monitor 會追蹤 IT 資產之狀態，並在需要時傳送警示。
- Azure 資料總管提供基礎資料平台，可儲存 Log Analytics 工作區、Monitor 與 Azure Sentinel 之安全性記錄。
主要功能
解決方案的主要功能具有許多優點，如下列各節所述。
長期可查詢資料存放區
Azure 資料總管會在儲存體流程期間編制資料索引，使資料得以查詢。 當您需要專注於執行稽核與調查時，不需要處理資料。 資料查詢非常輕鬆。
全規模的鑑識分析
Azure 資料總管、Log Analytics 與 Azure Sentinel 支援使用之跨服務查詢。 因此，在單一查詢中，您可以參考儲存在這些服務中的資料。 SOC 分析師可以透過 Kusto 查詢語言 (KQL)，執行完整範圍之調查。 您也可以在 Azure Sentinel 中使用 Azure 資料總管查詢，作為搜尋之目的。 如需詳細資訊，請參閱 新功能：Azure Sentinel 搜尋支援 ADX 跨資源查詢。
隨選資料快取
Azure 資料總管支援以視窗為基礎之經常性存取層快取。 該功能提供移轉資料之方式，可在選取期間將資料移至經常性存取層快取中。 然後您可以快速查詢資料，使調查更有效率。 出於此目的，您或許需要將計算節點新增至經常性存取層快取。 在完成調查之後，您可以變更經常性存取層快取原則，並將資料移至冷資料分割區。 您也可以將叢集還原成其原始大小。
連續匯出至封存資料
為了遵循法規需求，某些企業需要無限制時間地儲存安全性記錄。 Azure 資料總管支援資料連續匯出。 您可以透過儲存安全性記錄於儲存體中，使用此功能組建封存階層。
經過證實的查詢語言
Kusto 查詢語言是 Azure 資料總管的原生語言。 此語言也適用於 Log Analytics 工作區與 Azure Sentinel 威脅搜尋環境。 此可用性會大幅減少 SOC 分析師的學習曲線。 您在 Azure Sentinel 上執行的查詢也適用於您儲存在 Azure 資料總管叢集中的資料。
考量
這些考慮會實作 Azure Well-Architected Framework 的要素，這是一組可用來改善工作負載品質的指引原則。 如需詳細資訊，請參閱 Microsoft Azure Well-Architected Framework。
當您實作此解決方案時，請記住下列幾點。
延展性
請考慮這些可擴縮性問題：
資料匯出方法
如果您需要從 Log Analytics 匯出大量資料，您可能會達到 Azure 事件中樞之容量限制。 若要避免這種情況：
- 從 Log Analytics 匯出資料至 Azure Blob 儲存體。
- 使用 Azure Data Factory 工作負載，定期將資料匯出至 Azure 資料總管。
藉由使用此方法，您僅可以在資料接近 Azure Sentinel 或 Log Analytics 的資料保留限制時，從 Data Factory 複製資料。 因此，您避免複製資料。 如需詳細資訊，請參閱從 Log Analytics 匯出資料至 Azure 資料總管。
查詢使用方式與稽核準備
一般而言，您將資料保留在 Azure 資料總管叢集中的冷快取中。 這種方法可將您的叢集成本降至最低，且對於牽涉到前幾個月資料的大部分查詢而言，都可適用。 但是，當您查詢大型資料範圍時，您可能需要向外擴充叢集，並將資料負載至經常性存取層快取。
您可以針對此目的，使用經常性存取層快取原則之經常性存取視窗功能。 您也可以在稽核長期資料時使用此功能。 當您使用經常性存取層視窗時，您可能需要縮放叢集，以在經常性存取層快取中為資料騰出更多空間。 當您完成查詢大型資料範圍後，請變更經常性存取層快取原則，降低您的運算成本。
透過開啟 Azure 資料總管叢集中的最佳化自動調整功能，您可以根據快取原則，並最佳化叢集大小。 如需在 Azure 資料總管中查詢冷資料的詳細資訊，請參閱使用經常性存取層視窗查詢冷資料。
效能效率
效能效率可讓您的工作負載進行調整，以有效率的方式符合使用者對其放置的需求。 如需詳細資訊，請參閱效能效率要件概觀。
如果您需要長時間或無期限儲存安全性資料，請將記錄匯出至儲存體。 Azure 資料總管支援資料連續匯出。 藉由使用此功能，您可以將資料匯出成壓縮、分割 Parquet 格式之儲存體。 您即可以順暢地查詢該資料。 如需詳細資訊，請參閱持續資料匯出總覽。
成本最佳化
成本最佳化是關於考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱成本最佳化要素的概觀。
Azure 資料總管叢集成本，主要是根據儲存資料於經常性存取層快取中的運算能力來計算。 對經常性存取層快取之查詢提供優於冷快取查詢之效能。 此解決方案會將大部分的資料儲存在冷快取中，並將運算成本降至最低。
若要探索在您的環境中執行此解決方案之成本，請使用 Azure 價格計算機。
部署此案例
若要自動執行部署，請使用此PowerShell 指令碼。 此指令碼會建立下列元件：
- 目標資料表
- 原始資料表
- 定義 Azure 事件中樞如何在原始資料表中記錄之資料表對應
- 資料保留與更新原則
- Azure 事件中樞命名空間
- Log Analytics 工作區中的資料匯出規則
- Azure 事件中樞與 Azure 資料總管原始資料表之間的資料連線
參與者
本文由 Microsoft 維護。 它原本是由下列參與者所撰寫。
主體作者：
- Deepak Agrawal |產品經理
若要查看非公用LinkedIn設定檔，請登入 LinkedIn。
後續步驟
- 整合 Azure 資料總管以進行長期記資料保留
- 輕鬆將您的 Microsoft Sentinel 記錄檔移至長期儲存體
- 使用 Azure 監視器跨資源查詢 Azure 資料總管
- 作法：設定 Microsoft Sentinel 資料匯出以進行長期儲存
- 使用 Azure 資料總管長期保留 Microsoft Sentinel 記錄
- 新功能：Azure Sentinel 搜尋支援 ADX 跨資源查詢
- 如何在 Azure 資料總管中串流 Microsoft Defender ATP 搜尋記錄
- 部落格系列：使用Azure 資料總管 (ADX) 之無限制進階搜尋