Naplók gyűjtése szövegfájlból az Azure Monitor-ügynökkel

Cikk
10/31/2024

Az egyéni szövegnaplók az adatgyűjtési szabályban (DCR) használt adatforrások egyike. A DCR létrehozásának részleteit az Adatok gyűjtése az Azure Monitor-ügynökkel című témakörben találja. Ez a cikk további részleteket tartalmaz a szövegnaplók típusával kapcsolatban.

Számos alkalmazás és szolgáltatás a szabványos naplózási szolgáltatások, például a Windows-eseménynapló vagy a Syslog helyett szöveges fájlokba naplózza az adatokat. Ezek az adatok összegyűjthetők az Azure Monitor-ügynökkel, és egy Log Analytics-munkaterületen tárolhatók más forrásokból gyűjtött adatokkal.

Előfeltételek

Log Analytics-munkaterület, ahol legalább közreműködői jogosultságokkal rendelkezik.
Egy adatgyűjtési végpont (DCE) ugyanabban a régióban, mint a Log Analytics-munkaterület. A részletekért tekintse meg az adatgyűjtési végpontok üzembe helyezése alapján történő beállítását ismertető cikket.
Vagy egy új vagy meglévő DCR, amelyet az Adatok gyűjtése az Azure Monitor-ügynökkel című cikkben ismertetünk.

Alapművelet

Az alábbi ábra a naplóadatok szöveges fájlból történő gyűjtésének alapműveletét mutatja be.

Az ügynök figyeli azokat a naplófájlokat, amelyek megfelelnek a helyi lemez megadott névmintájának.
A napló minden bejegyzését összegyűjtjük és elküldjük az Azure Monitornak. A bejövő stream egyetlen oszlopban tartalmazza a teljes naplóbejegyzést.
Ha az alapértelmezett átalakítást használja, a rendszer a teljes naplóbejegyzést a céltábla egyetlen oszlopára küldi.
Ha egyéni átalakítást használ, a naplóbejegyzés a céltábla több oszlopába is elemezhető.

Szövegfájlokkal kapcsolatos követelmények és ajánlott eljárások

Az Azure Monitor-ügynök által figyelt fájlnak meg kell felelnie a következő követelményeknek:

A fájlt a számítógép helyi meghajtóján kell tárolni az Azure Monitor-ügynökkel a figyelt könyvtárban.
Minden rekordot sorvéggel kell elhatároltnak lennie.
A fájlnak ASCII vagy UTF-8 kódolást kell használnia. Más formátumok, például az UTF-16 nem támogatottak.
Az új rekordokat hozzá kell fűzni a fájl végéhez, és nem szabad felülírni a régi rekordokat. A felülírás adatvesztést fog okozni.

Tartsa be az alábbi ajánlásokat, hogy ne tapasztaljon adatvesztéssel vagy teljesítménnyel kapcsolatos problémákat:

Minden nap hozzon létre egy új naplófájlt, hogy könnyen törölhesse a régi fájlokat.
A naplófájlok folyamatos törlése a figyelt címtárban. Számos naplófájl nyomon követése felgyorsíthatja az ügynök processzor- és memóriahasználatát. Várjon legalább 2 napot, hogy elegendő időt hagyjon az összes napló feldolgozására.
Ne nevezze át a fájlvizsgálati mintának megfelelő fájlt egy másik névre, amely szintén megfelel a fájlvizsgálati mintának. Ez duplikált adatok betöltését eredményezi.
Ne nevezze át vagy másolja a fájlvizsgálati mintának megfelelő nagyméretű naplófájlokat a figyelt könyvtárba. Ha kell, ne lépje túl a percenkénti 50 MB-ot.

Bejövő stream

Feljegyzés

Mostantól elérhető a többsoros támogatás, amely időbélyeggel tagolt eseményeket használ. Erőforrás-kezelési sablon üzembe helyezését addig kell használnia, amíg a portál felhasználói felületén nem lesz támogatás.

A bejövő adatfolyam az alábbi táblázat oszlopait tartalmazza.

Oszlop	Típus	Leírás
`TimeGenerated`	dátum/idő	A rekord létrehozásának időpontja. Ez az érték automatikusan fel lesz töltve azzal az időponttal, amikor a rekord bekerül a Log Analytics-munkaterületre. Ezt az értéket egy átalakítással felülbírálhatja egy másik értékre való beállításhoz `TimeGenerated` .
`RawData`	húr	A teljes naplóbejegyzés egyetlen oszlopban. Az átalakítást akkor használhatja, ha több oszlopra szeretné bontani ezeket az adatokat, mielőtt elküldené őket a táblába.
`FilePath`	húr	Ha hozzáadja ezt az oszlopot a bejövő streamhez a DCR-ben, az a naplófájl elérési útjával lesz feltöltve. Ez az oszlop nem jön létre automatikusan, és nem vehető fel a portálon. Manuálisan kell módosítania a portál által létrehozott DCR-t, vagy létre kell hoznia a DCR-t egy másik módszerrel, ahol explicit módon definiálhatja a bejövő streamet.
`Computer`	húr	Ha hozzáadja ezt az oszlopot a bejövő streamhez a DCR-ben, az a naplófájlt tartalmazó számítógép nevével lesz feltöltve. Ez az oszlop nem jön létre automatikusan, és nem vehető fel a portálon. Manuálisan kell módosítania a portál által létrehozott DCR-t, vagy létre kell hoznia a DCR-t egy másik módszerrel, ahol explicit módon definiálhatja a bejövő streamet.

Egyéni tábla

Mielőtt naplóadatokat gyűjthet egy szövegfájlból, létre kell hoznia egy egyéni táblát a Log Analytics-munkaterületen az adatok fogadásához. A táblasémának meg kell egyeznie a gyűjtött adatokkal, vagy hozzá kell adnia egy átalakítást, hogy a kimeneti séma megfeleljen a táblának.

Figyelmeztetés

Az adatvesztés elkerülése érdekében fontos, hogy ne használjon olyan meglévő egyéni naplótáblát, amelyet az MMA-ügynökök jelenleg használnak. Ha egy AMA-ügynök egy meglévő egyéni naplótáblába ír, az MMA-ügynökök már nem tudnak írni a táblába. Ehelyett létre kell hoznia egy új táblát kifejezetten az AMA-ügynökök számára, hogy zökkenőmentes átmenetet biztosítson az egyik ügynökről a másikra.

Az alábbi PowerShell-szkripttel például létrehozhat egy egyéni táblát a következővel RawData: , FilePathés Computer. Ehhez a táblához nincs szükség átalakításra, mert a séma megfelel a bejövő stream alapértelmezett sémájának.

$tableParams = @'
{
    "properties": {
        "schema": {
               "name": "{TableName}_CL",
               "columns": [
                    {
                        "name": "TimeGenerated",
                        "type": "DateTime"
                    }, 
                    {
                        "name": "RawData",
                        "type": "String"
                    },
                    {
                        "name": "FilePath",
                        "type": "String"
                    },
                    {
                        "name": "Computer",
                        "type": "String"
                    }
              ]
        }
    }
}
'@

Invoke-AzRestMethod -Path "/subscriptions/{subscription}/resourcegroups/{resourcegroup}/providers/microsoft.operationalinsights/workspaces/{WorkspaceName}/tables/{TableName}_CL?api-version=2021-12-01-preview" -Method PUT -payload $tableParams

Adatgyűjtési szabály létrehozása szövegfájlhoz

Portál
Resource Manager-sablon

Hozzon létre egy adatgyűjtési szabályt az Adatok gyűjtése az Azure Monitor-ügynökkel című cikkben leírtak szerint. A Gyűjtési és kézbesítési lépésben válassza az Egyéni szövegnaplók lehetőséget az Adatforrás típusa legördülő listában.

Beállítás	Leírás
Fájlminta	Azonosítja a naplófájlok helyét és nevét a helyi lemezen. Használjon helyettesítő karaktert a különböző fájlnevekhez, például ha minden nap új fájl jön létre új névvel. Több fájlmintát is megadhat vesszővel elválasztva. Példák: - C:\Logs\MyLog.txt - C:\Logs\MyLog.txt - C:\App01\AppLog.txt, C:\App02\AppLog.txt - /var/mylog.log - /var/mylog.log
Tábla neve	A Log Analytics-munkaterület céltáblájának neve.
Rekordelválasztó	Jelenleg nincs használatban, de a jövőbeli potenciális használatra van fenntartva, így a jelenleg támogatott vonalvégtől (`/r/n`) eltérő elválasztójelek használhatók.
Átalakítás	Betöltési idő átalakítás rekordok szűréséhez vagy a céltábla bejövő adatainak formázásához. A `source` bejövő adatok változatlan maradnak.

A következő ARM-sablonnal hozzon létre egy DCR-t a szöveges naplófájlok gyűjtéséhez, és hajtsa végre az előző szakaszokban leírt módosításokat. Az alábbi táblázat azokat a paramétereket ismerteti, amelyek értékeket igényelnek a sablon üzembe helyezésekor.

Beállítás	Leírás
Fájlminta	Azonosítja a naplófájlok helyét és nevét a helyi lemezen. Használjon helyettesítő karaktert a különböző fájlnevekhez, például ha minden nap új fájl jön létre új névvel. Több fájlmintát is megadhat vesszővel elválasztva. Példák: - C:\Logs\MyLog.txt - C:\Logs\MyLog.txt - C:\App01\AppLog.txt, C:\App02\AppLog.txt - /var/mylog.log - /var/mylog.log
Tábla neve	A Log Analytics-munkaterület céltáblájának neve.
Rekordelválasztó	Jelenleg nincs használatban, de a jövőbeli potenciális használatra van fenntartva, így a jelenleg támogatott vonalvégtől (`/r/n`) eltérő elválasztójelek használhatók.
Átalakítás	Betöltési idő átalakítás rekordok szűréséhez vagy a céltábla bejövő adatainak formázásához. A `source` bejövő adatok változatlan maradnak.
timeFormat	A következő időformátumok támogatottak. Használja az idézőjelek sztringeit az ARM-sablonban. Ne adja meg a zárójelben szereplő mintaidőt. - "yyyy-MM-ddTHH:mm:ssk" (2024-10-29T18:28:34) - "YYYY-MM-DD HH:MM:SS" (2024-10-29 18:28:34) - "M/D/YYYY HH:MM:SS AM/PM" (2024. 10. 29. 06:28:34) - "H DD, YYYY HH:MM:SS" (okt[ober] 29, 2024 18:28:34) - "yyMdd HH:mm:ss" (241029 18:28:34) - "ddMMyy HH:mm:ss" (291024 18:28:34) - "MMM d HH:mm:ss" (október 29. 18:28:34) - "dd/MMM/yyyyy:HH:mm:ss zzz" (2024. október 14.:18:28:34 -000)

A következő ARM-sablonnal létrehozhat vagy módosíthat egy DCR-t a szöveges naplófájlok gyűjtéséhez. Előfordulhat, hogy a paraméterértékek mellett a következő értékeket is módosítania kell a sablonban:

columns: Távolítsa el az FilePath oszlopot, ha nem szeretné összegyűjteni.
transformKql: Módosítsa az alapértelmezett átalakítást, ha módosítani vagy szűrni szeretné a bejövő streamet, például a naplóbejegyzés több oszlopba való elemzéséhez. Az átalakítás kimeneti sémájának meg kell egyeznie a céltábla sémájának.

Fontos

Ha ARM-sablonnal hozza létre a DCR-t, akkor is társítania kell a DCR-t a használni kívánt ügynökökkel. Az Azure Portalon szerkesztheti a DCR-t, és kiválaszthatja az ügynököket az Erőforrások hozzáadása szakaszban leírtak szerint. A DCR paraméterszakasza nem kötelező, ha a JSON-ban lejjebb lévő sztringekre cseréli őket.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
              "description": "Unique name for the DCR. "
            }
        },
        "dataCollectionEndpointResourceId": {
            "type": "string",
            "metadata": {
              "description": "Resource ID of the data collection endpoint (DCE)."
            }
        },
        "location": {
            "type": "string",
            "metadata": {
              "description": "Region for the DCR. Must be the same location as the Log Analytics workspace. "
            }
        },
        "filePatterns": {
            "type": "string",
            "metadata": {
              "description": "Path on the local disk for the log file to collect. May include wildcards.Enter multiple file patterns separated by commas (AMA version 1.26 or higher required for multiple file patterns on Linux)."
            }
        },
        "tableName": {
            "type": "string",
            "metadata": {
              "description": "Name of destination table in your Log Analytics workspace. "
            }
        },
        "workspaceResourceId": {
            "type": "string",
            "metadata": {
              "description": "Resource ID of the Log Analytics workspace with the target table."
            }
        },
        "timeFormat": {
            "type": "string"
            "metadata": {
                "discription": "The time format that you would like to use to split multi line imput"
            }
      }
    },
    "variables": {
      "tableOutputStream": "[concat('Custom-', parameters('tableName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2022-06-01",
            "properties": {
                "dataCollectionEndpointId": "[parameters('dataCollectionEndpointResourceId')]",
                "streamDeclarations": {
                    "Custom-Text-stream": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                            {
                                "name": "FilePath",
                                "type": "string"
                            },
                            {
                                "name": "Computer",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-stream"
                            ],
                            "filePatterns": [
                                "[parameters('filePatterns')]"
                            ],
                            "format": "text",
                            "name": "Custom-Text-dataSource",
                            "settings": {
                               "text": {
                                      "recordStartTimestampFormat": "[parameters('timeFormat')]"
                               }
                            }
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "[parameters('workspaceResourceId')]",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-dataSource"
                        ],
                        "destinations": [
                            "workspace"
                        ],
                        "transformKql": "source",
                        "outputStream": "[variables('tableOutputStream')]"
                    }
                ]
            }
        }
    ]
}

Tagolt naplófájlok

Sok szöveges naplófájl olyan bejegyzéseket tartalmaz, amelyeket egy karakter, például egy vessző tagolt. Ha ezeket az adatokat külön oszlopokba szeretné elemezni, használjon egy átalakítást a felosztott függvénnyel.

Vegyük például az alábbi vesszővel tagolt adatokat tartalmazó szövegfájlt. Ezek a mezők a következőképpen írhatók le: Time, Code, Severity,Module és Message.

2024-06-21 19:17:34,1423,Error,Sales,Unable to connect to pricing service.
2024-06-21 19:18:23,1420,Information,Sales,Pricing service connection established.
2024-06-21 21:45:13,2011,Warning,Procurement,Module failed and was restarted.
2024-06-21 23:53:31,4100,Information,Data,Nightly backup complete.

Az alábbi átalakítás külön oszlopokba elemzi az adatokat. Mivel split dinamikus adatokat ad vissza, olyan függvényeket kell használnia, mint például tostring toint az adatok megfelelő skaláris típussá alakításához. Minden bejegyzésnek meg kell adnia egy nevet is, amely megfelel a céltáblában szereplő oszlopnévnek. Vegye figyelembe, hogy ez a példa értéket ad TimeGenerated . Ha ez nem lett megadva, a betöltési időt kell használni.

source | project d = split(RawData,",") | project TimeGenerated=todatetime(d[0]), Code=toint(d[1]), Severity=tostring(d[2]), Module=tostring(d[3]), Message=tostring(d[4])

Ha naplólekérdezéssel szeretné beolvasni ezeket az adatokat, az alábbi eredményeket adja vissza.

Hibaelhárítás

Ha nem gyűjt adatokat a várt szövegnaplóból, kövesse az alábbi lépéseket.

Ellenőrizze, hogy az adatok a gyűjtött naplófájlba lesznek-e írva.
Ellenőrizze, hogy a naplófájl neve és helye megegyezik-e a megadott fájlmintával.
Ellenőrizze, hogy a céltábla sémája megegyezik-e a bejövő streammel, vagy hogy van-e olyan átalakítás, amely a bejövő streamet a megfelelő sémává alakítja.
Tekintse meg a Művelet ellenőrzése című témakört annak ellenőrzéséhez, hogy az ügynök működik-e, és hogy az adatok érkeznek-e.

Következő lépések

További információk:

Megosztás a következőn keresztül: