使用 Azure 監視器代理程式從文字檔收集記錄

發行項
07/26/2024

自訂文字記錄 是資料收集規則 (DCR) 中使用的資料來源其中之一。使用 Azure 監視器代理程式收集資料提供建立 DCR 的詳細資料。本文提供文字記錄類型的其他詳細資料。

許多應用程式和服務會將資訊記錄到文字檔，而不是標準記錄服務，例如 Windows 事件記錄檔或 Syslog。您可以使用 Azure 監視器代理程式來收集此資料，並儲存在 Log Analytics 工作區中，以及從其他來源收集的資料。

必要條件

您至少擁有參與者權限所在的 Log Analytics 工作區。
如果您打算使用 Azure 監視器 Private Links，則為資料收集端點 (DCE)。資料收集端點必須位於與 Log Analytics 工作區相同的區域中。如需詳細資訊，請參閱如何根據您的部署設定資料收集端點。
使用 Azure 監視器代理程式收集資料中所述的新 DCR 或現有 DCR。

基本作業

下圖顯示從文字檔收集記錄資料的基本作業。

代理程式會監看本機磁碟上符合指定名稱模式的任何記錄檔。
記錄中的每個項目都會收集並傳送至 Azure 監視器。傳入資料流會在單一資料行中包含整個記錄項目。
如果使用預設轉換，則會將整個記錄項目傳送至目標資料表中的單一資料行。
如果使用自訂轉換，記錄項目就可以剖析成目標資料表中的多個資料行。

文字檔需求和最佳做法

Azure 監視器代理程式正在監視的檔案必須符合下列需求：

檔案必須儲存在機器的本機磁碟機上，且該磁碟機的受監視目錄中具有 Azure 監視器代理程式。
每個記錄都必須以行結尾來劃定。
檔案必須使用 ASCII 或 UTF-8 編碼。不支援其他格式，例如 UTF-16。
新記錄應該附加至檔案結尾，而不是覆寫舊記錄。覆寫會導致資料遺失。

請遵循下列建議，以確保您不會發生資料遺失或效能問題：

每天建立新的記錄檔，以便您可以輕鬆地清除舊檔案。
持續清除受監視目錄中的記錄檔。追蹤可能會提升代理程式 CPU 和記憶體使用量的記錄檔。等候至少 2 天，以便有足夠的時間可以處理所有記錄。
請勿將符合檔案掃描模式的檔案重新命名為另一個也符合檔案掃描模式的名稱。這會導致擷取重複的資料。
請勿將符合檔案掃描模式的大型記錄檔重新命名或複製到受監視的目錄。如果有此必要，請勿每分鐘超過 50 MB。

傳入資料流

資料傳入資料流包含下表中的資料行。

資料行	類型	描述
`TimeGenerated`	datetime	產生記錄的時間。此值會自動填入記錄新增至 Log Analytics 工作區的時間。您可以使用轉換來覆寫此值，將 `TimeGenerated` 設定為另一個值。
`RawData`	字串	單一資料行中的整個記錄項目。如果您想要將此資料分解成多個資料行，然後再傳送至資料表，您可以使用轉換。
`FilePath`	字串	如果您將此資料行新增至 DCR 中的傳入資料流，則會填入記錄檔的路徑。此資料行不會自動建立，且無法使用入口網站新增。您必須手動修改入口網站所建立的 DCR，或使用另一種方法建立 DCR，您可以在其中明確定義傳入資料流。

自訂資料表

您必須先在 Log Analytics 工作區中建立自訂資料表，才能從文字檔收集記錄資料。資料表結構描述必須符合您收集的資料，或者您必須新增轉換，以確保輸出結構描述符合資料表。

警告

您不應該使用 MMA 代理程式所使用的現有自訂記錄資料表。第一個 AMA 代理程式寫入資料表後，就無法將 MMA 代理程式寫入資料表。您應該為 AMA 建立新的資料表，以用於防止 MMA 資料遺失。

例如，您可以使用下列 PowerShell 指令碼來建立具有 RawData 和 FilePath 的自訂資料表。您不需要轉換此資料表，因為結構描述符合傳入資料流的預設結構描述。

$tableParams = @'
{
    "properties": {
        "schema": {
               "name": "{TableName}_CL",
               "columns": [
                    {
                        "name": "TimeGenerated",
                        "type": "DateTime"
                    }, 
                    {
                        "name": "RawData",
                        "type": "String"
                    },
                    {
                        "name": "FilePath",
                        "type": "String"
                    }
              ]
        }
    }
}
'@

Invoke-AzRestMethod -Path "/subscriptions/{subscription}/resourcegroups/{resourcegroup}/providers/microsoft.operationalinsights/workspaces/{WorkspaceName}/tables/{TableName}_CL?api-version=2021-12-01-preview" -Method PUT -payload $tableParams

建立資料收集規則，如使用 Azure 監視器代理程式收集資料中所述。在 [收集並傳遞] 步驟中，從 [資料來源類型] 下拉式清單中選取 [自訂文字記錄]。

設定	描述
檔案模式	識別本機磁碟機上記錄檔的位置和名稱。針對檔名使用萬用字元，例如，每天使用新名稱建立新檔案時。您可以輸入以逗號分隔的多個檔案模式。範例： - C:\Logs\MyLog.txt - C:\Logs\MyLog.txt - C:\App01\AppLog.txt, C:\App02\AppLog.txt - /var/mylog.log - /var/mylog.log
資料表名稱	Log Analytics 工作區中的目的地資料表名稱。
記錄分隔符號	目前未使用，但保留供未來使用，允許目前支援的行結尾 (`/r/n`) 以外的分隔符號。
轉換	擷取時間轉換篩選記錄或格式化目的地資料表的傳入資料。使用 `source` 讓傳入的資料保持不變。

使用下列 ARM 範本來建立或修改 DCR 以收集文字記錄檔。除了參數值之外，您可能需要修改範本中的下列值：

columns：如果您不想收集，請移除 FilePath 資料行。
transformKql：如果您想要修改或篩選傳入資料流，請修改預設轉換，例如，將記錄項目剖析成多個資料行。轉換的輸出結構描述必須符合目標資料表的結構描述。

重要

如果您使用 ARM 範本建立 DCR，您必須將 DCR 與將使用它的代理程式產生關聯。您可以在 Azure 入口網站中編輯 DCR，並選取代理程式，如新增資源中所述

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
              "description": "Unique name for the DCR. "
            },
        },
        "location": {
            "type": "string",
            "metadata": {
              "description": "Region for the DCR. Must be the same location as the Log Analytics workspace. "
            },
        },
        "filePatterns": {
            "type": "string",
            "metadata": {
              "description": "Path on the local disk for the log file to collect. May include wildcards.Enter multiple file patterns separated by commas (AMA version 1.26 or higher required for multiple file patterns on Linux)."
            },
        },
        "tableName": {
            "type": "string",
            "metadata": {
              "description": "Name of destination table in your Log Analytics workspace. "
            },
        },
        "workspaceResourceId": {
            "type": "string",
            "metadata": {
              "description": "Resource ID of the Log Analytics workspace with the target table."
            },
        }
    },
    "variables": {
      "tableOutputStream": "['Custom-',concat(parameters('tableName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-stream": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                            {
                                "name": "FilePath",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-stream"
                            ],
                            "filePatterns": [
                                "[parameters('filePatterns')]"
                            ],
                            "format": "text",
                            "name": "Custom-Text-dataSource"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "[parameters('workspaceResourceId')]",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-dataSource"
                        ],
                        "destinations": [
                            "workspace"
                        ],
                        "transformKql": "source",
                        "outputStream": "[variables('tableOutputStream')]"
                    }
                ]
            }
        }
    ]
}

分隔的記錄檔

許多文字記錄檔都有以逗號等字元分隔的項目。若要將此資料剖析成不同的資料行，請使用具有分割函數的轉換。

例如，請考慮使用下列逗號分隔資料的文字檔。這些欄位可描述為：Time、Code、Severity、Module 和 Message。

2024-06-21 19:17:34,1423,Error,Sales,Unable to connect to pricing service.
2024-06-21 19:18:23,1420,Information,Sales,Pricing service connection established.
2024-06-21 21:45:13,2011,Warning,Procurement,Module failed and was restarted.
2024-06-21 23:53:31,4100,Information,Data,Nightly backup complete.

下列轉換會將資料剖析成不同的資料行。由於 split 會傳回動態資料，因此您必須使用 tostring 和 toint 等函數，將資料轉換成正確的純量類型。您也需要為每個符合目標資料表中資料行名稱的項目提供名稱。請注意，此範例提供 TimeGenerated 值。如果未提供，則會使用擷取時間。

source | project d = split(RawData,",") | project TimeGenerated=todatetime(d[0]), Code=toint(d[1]), Severity=tostring(d[2]), Module=tostring(d[3]), Message=tostring(d[4])

使用記錄查詢擷取此資料會傳回下列結果。

疑難排解

如果您從文字記錄沒有收集到預期的資料，請執行下列步驟。

確認資料正在寫入所收集的記錄檔。
確認記錄檔的名稱和位置符合您指定的檔案模式。
確認目標資料表的結構描述與傳入資料流相符，或您有能將傳入資料流轉換成正確結構描述的轉換。
請參閱確認作業以確認代理程式是否運作，以及是否正在接收資料。

下一步

深入了解：

共用方式為