選取資料擷取工具

在您為歷程記錄資料選取目標平台之後，下一個步驟是選取用來傳輸資料的工具。

本文說明一組不同的工具，可用來將歷程記錄資料傳送至所選目標平台。 下表列出每個目標平台可用的工具，以及可協助您進行擷取程序的一般工具。

Azure 監視器基本記錄/封存	Azure 資料總管	Azure Blob 儲存體	一般工具
• Azure 監視器自訂記錄擷取工具 • 直接 API	• LightIngest • Logstash	• Azure Data Factory 或 Azure Synapse • AzCopy	• Azure 資料箱 • SIEM 資料移轉加速器

Azure 監視器基本記錄/封存

將資料內嵌至 Azure 監視器基本記錄或封存之前，若要降低擷取價格，請確認您要寫入的資料表已設為基本記錄。 檢閱 Azure 監視器自訂記錄擷取工具和Azure 監視器基本記錄的直接 API 方法。

Azure 監視器自訂記錄擷取工具

自訂記錄擷取工具是 PowerShell 指令碼，可將自訂資料傳送至 Azure 監視器記錄工作區。 您可以將指令碼指向所有記錄檔所在的資料夾，而指令碼會將檔案推送至該資料夾。 指令碼接受記錄檔的 CSV 或 JSON 格式。

直接 API

使用此選項時，您會將自訂記錄內嵌至 Azure 監視器記錄。 您可以透過使用 REST API 的 PowerShell 指令碼內嵌記錄。 或者，您可以使用任何其他程式設計語言來執行擷取，並使用其他 Azure 服務將計算層抽象化，例如 Azure Functions 或 Azure Logic Apps。

Azure 資料總管

您可以透過數種方式將資料內嵌至 Azure Data Explorer (ADX)。

ADX 接受的擷取方法會以不同元件為基礎：

• 適用於不同語言的 SDK，例如 .NET、Go、Python、JAVA、NodeJS 和 API。
• 受控管線，例如事件方格或儲存體 Blob 事件中樞，以及 Azure Data Factory。
• 連接器或外掛程式，例如 Logstash、Kafka、Power Automate 和 Apache Spark。

檢閱 LightIngest 和 Logstash，這是專為資料移轉使用案例打造的兩種方法。

LightIngest

ADX 已特別針對歷程記錄資料移轉使用案例開發 LightIngest 公用程式。 您可以使用 LightIngest 將資料從本機檔案系統或 Azure Blob 儲存體複製到 ADX。

以下是 LightIngest 的一些主要優點和功能：

• 因為擷取持續時間沒有時間限制，所以當您想要內嵌大量資料時，LightIngest 是最實用的工具。
• 當您想要依據記錄的建立時間查詢記錄，而非依據內嵌記錄的時間查詢時，LightIngest 相當實用。
• 您不需要為 LightIngest 處理複雜的調整問題，因為這個公用程式不會執行實際的複製作業。 LightIngest 會通知 ADX 需要複製的 Blob，由 ADX 複製資料。

如果您選擇 LightIngest，請檢閱這些祕訣和最佳做法。

• 若要加速移轉並降低成本，請增加 ADX 叢集的大小，以建立更多可用的節點來進行擷取。 移轉完成後，請減少規模大小。
• 為了在將資料內嵌至 ADX 之後更有效率的查詢，請確保複製的資料使用原始事件的時間戳記。 資料不應該在將資料複製到 ADX 時使用時間戳記。 將時間戳記作為檔案名稱路徑提供給 LightIngest，作為 CreationTime 屬性的一部分。
• 如果路徑或檔案名稱不包含時間戳記，您仍可指示 ADX 使用資料分割原則來組織資料。

Logstash

Logstash 是開放原始碼的伺服器端資料處理管線，可同時從許多來源擷取資料、轉換資料，然後將資料傳送至您最愛的「隱藏」。 了解如何將資料從 Logstash 內嵌至 Azure 資料總管。 Logstash 會在 Windows、Linux 和 MacOS 電腦上執行。

若要將效能最佳化，請根據每秒的事件設定 Logstash 階層大小。 建議您盡可能使用 LightIngest，因為 LightIngest 依賴 ADX 叢集運算來執行複製。

Azure Blob 儲存體

您可以透過數種方式內嵌資料至 Azure Blob 儲存體。

• Azure Data Factory 或 Azure Synapse
• AzCopy
• Azure 儲存體總管
• Python
• SSIS

檢閱 Azure Data Factory (ADF) 和Azure Synapse 方法，這些方法更適合用於資料移轉使用案例。

Azure Data Factory 或 Azure Synapse

若要使用 Azure Data Factory (ADF) 或 Synapse 管線中的複製活動：

1. 建立和設定自我裝載整合執行階段。 此元件負責從內部部署主機複製資料。
2. 為來源資料存放區 (filesystem) 和接收資料存放區 Blob 儲存體建立連結的服務。
3. 若要複製資料，請使用複製資料工具。 或您可以使用 PowerShell、Azure 入口網站、.NET SDK 等方法。

AzCopy

AzCopy 是簡單的命令列公用程式，可將檔案複製到儲存體帳戶或從儲存體帳戶複製檔案。 AzCopy 適用於 Windows、Linux 和 macOS。 了解如何使用 AzCopy 將內部部署資料複製到 Azure Blob 儲存體。

您也可以使用以下選項來複製資料：

• 了解如何將 AzCopy 的效能最佳化。
• 了解如何設定 AzCopy。
• 了解如何使用複製命令。

Azure 資料箱

在來源 SIEM 無法與 Azure 連線的情況下，使用本節所述的工具內嵌資料，速度可能很慢或甚至無法擷取。 若要解決此情況，您可以使用 Azure 資料箱，將資料從客戶的資料中心本機複製到設備上，然後將該設備寄送至 Azure 資料中心。 雖然 Azure 資料箱無法取代 AzCopy 或 LightIngest，但您可以使用此工具來加速客戶資料中心與 Azure 之間的資料傳輸。

Azure 資料箱根據要移轉的資料量提供三個不同的 SKU：

• 資料箱磁碟
• 資料箱
• Data Box Heavy

完成移轉之後，資料就會出現在其中一個 Azure 訂閱下的儲存體帳戶中。 接下來您可以使用 AzCopy、LightIngest 或 ADF 從儲存體帳戶內嵌資料。

SIEM 資料移轉加速器

除了選取擷取工具之外，您的小組還需要投入時間來設定基礎環境。 若要簡化此流程，可以使用 SIEM 資料移轉加速器，將下列工作自動化：

• 部署 Windows 虛擬機器，用於將記錄從來源移至目標平台
• 將下列工具下載並解壓縮至虛擬機器桌面：
  • LightIngest：用來將資料移轉至 ADX
  • Azure 監視器自訂記錄擷取工具：用來將資料移轉至 Log Analytics
  • AzCopy：用來將資料移轉至 Azure Blob 儲存體
• 部署要裝載歷程記錄的目標平台：
  • Azure 儲存體帳戶 (Azure Blob 儲存體)
  • Azure 資料總管叢集和資料庫
  • Azure 監視器記錄工作區 (基本記錄；已啟用 Microsoft Sentinel)

若要使用 SIEM 資料移轉加速器：

1. 從 SIEM 資料移轉加速器頁面，按一下頁面底部的 [部署至 Azure]，然後進行驗證。
2. 選取 [基本]，選取資源群組和位置，然後選取 [下一步]。
3. 選取 [移轉 VM]，然後執行下列動作：
   • 輸入虛擬機器名稱、使用者名稱和密碼。
   • 選取現有的 vNet，或為虛擬機器連線建立新的 vNet。
   • 選取虛擬機器大小。
4. 選取 [目標平台] ，然後執行下列其中一項動作：
   • 跳過此步驟。
   • 提供 ADX 叢集和資料庫名稱、SKU 和節點數目。
   • 針對 Azure Blob 儲存體帳戶，請選取現有的帳戶。 如果您沒有帳戶，請提供新的帳戶名稱、類型和備援。
   • 針對 Azure 監視器記錄，輸入新工作區的名稱。

下一步

在本文中，您已了解如何選取工具以將資料內嵌至目標平台。

內嵌資料