Příprava na změnu formátu protokolů platformy Azure Monitoru archivovaných do účtu úložiště
Upozornění
Pokud odesíláte protokoly nebo metriky prostředků Azure do účtu úložiště pomocí nastavení diagnostiky nebo protokolů aktivit do účtu úložiště pomocí profilů protokolů, formát dat v účtu úložiště se 1. listopadu 2018 změní na Řádky JSON. Následující pokyny popisují dopad a postup aktualizace nástrojů pro zpracování nového formátu.
Co se změnilo
Azure Monitor nabízí funkci, která umožňuje odesílat protokoly prostředků a protokoly aktivit do účtu úložiště Azure, oboru názvů služby Event Hubs nebo do pracovního prostoru služby Log Analytics ve službě Azure Monitor. Aby bylo možné vyřešit problém s výkonem systému, 1. listopadu 2018 ve 12:00 (UTC ) se změnil formát dat protokolu odesílaných do úložiště objektů blob. Pokud máte nástroje, které čtou data z úložiště objektů blob, musíte je aktualizovat, abyste porozuměli novému formátu dat.
- Ve čtvrtek 1. listopadu 2018 ve 12:00 utc se formát objektu blob změnil na Řádky JSON. To znamená, že každý záznam bude oddělený novým řádekem, bez vnějšího pole záznamů a bez čárk mezi záznamy JSON.
- Formát objektu blob se změnil pro všechna nastavení diagnostiky ve všech předplatných najednou. První soubor PT1H.json vygenerovaný pro 1. listopadu používal tento nový formát. Názvy objektů blob a kontejnerů zůstávají stejné.
- Nastavení diagnostiky před 1. listopadem pokračovalo vysílejte data v aktuálním formátu až do 1. listopadu.
- K této změně došlo najednou ve všech oblastech veřejného cloudu. Ke změně zatím nedojde v cloudech Microsoft Azure provozovaných společností 21Vianet, Azure Germany nebo Azure Government cloudech.
- Tato změna se týká následujících datových typů:
- Tato změna nemá vliv na:
- Protokoly toku sítě
- Protokoly služeb Azure ještě nejsou dostupné prostřednictvím služby Azure Monitor (například Azure App Service protokoly prostředků, protokoly analýzy úložiště)
- Směrování protokolů prostředků Azure a protokolů aktivit do jiných cílů (Event Hubs, Log Analytics)
Jak zjistit, jestli se vás to týká
Tato změna se vás týká jenom v následujících případech:
- Odesílají data protokolu do účtu úložiště Azure pomocí nastavení diagnostiky a
- Máte nástroje, které závisí na struktuře JSON těchto protokolů v úložišti.
Pokud chcete zjistit, jestli máte nastavení diagnostiky, která odesílají data do účtu úložiště Azure, přejděte na portálu do části Monitorování , klikněte na Nastavení diagnostiky a identifikujte všechny prostředky, u kterých je stav diagnostikynastavený na Povoleno:
Pokud je stav diagnostiky nastavený na povoleno, máte u daného prostředku aktivní nastavení diagnostiky. Kliknutím na prostředek zkontrolujte, jestli nějaká nastavení diagnostiky odesílají data do účtu úložiště:
Pokud prostředky odesílají data do účtu úložiště pomocí těchto nastavení diagnostiky prostředků, ovlivní tato změna formát dat v tomto účtu úložiště. Pokud nemáte vlastní nástroje, které fungují mimo tyto účty úložiště, změna formátu na vás nebude mít vliv.
Podrobnosti o změně formátu
Aktuální formát souboru PT1H.json ve službě Azure Blob Storage používá pole záznamů JSON. Tady je ukázka souboru protokolu KeyVault:
{
"records": [
{
"time": "2016-01-05T01:32:01.2691226Z",
"resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
"operationName": "VaultGet",
"operationVersion": "2015-06-01",
"category": "AuditEvent",
"resultType": "Success",
"resultSignature": "OK",
"resultDescription": "",
"durationMs": "78",
"callerIpAddress": "104.40.82.76",
"correlationId": "",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
"http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
"appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
}
},
"properties": {
"clientInfo": "azure-resource-manager/2.0",
"requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
"id": "https://contosokeyvault.vault.azure.net/",
"httpStatusCode": 200
}
},
{
"time": "2016-01-05T01:33:56.5264523Z",
"resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
"operationName": "VaultGet",
"operationVersion": "2015-06-01",
"category": "AuditEvent",
"resultType": "Success",
"resultSignature": "OK",
"resultDescription": "",
"durationMs": "83",
"callerIpAddress": "104.40.82.76",
"correlationId": "",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
"http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
"appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
}
},
"properties": {
"clientInfo": "azure-resource-manager/2.0",
"requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
"id": "https://contosokeyvault.vault.azure.net/",
"httpStatusCode": 200
}
}
]
}
Nový formát používá řádky JSON, kde každá událost je čára a znak nového řádku označuje novou událost. Výše uvedená ukázka bude po změně vypadat v souboru PT1H.json takto:
{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
Tento nový formát umožňuje službě Azure Monitor odesílat soubory protokolu pomocí doplňovacích objektů blob, které jsou efektivnější pro průběžné připojování nových dat událostí.
Postup aktualizace
Aktualizace je potřeba provést pouze v případě, že máte vlastní nástroje, které tyto soubory protokolu ingestují pro další zpracování. Pokud používáte externí log Analytics nebo nástroj SIEM, doporučujeme místo toho tato data ingestovat pomocí služby Event Hubs. Integrace služby Event Hubs je jednodušší z hlediska zpracování protokolů z mnoha služeb a umístění záložek v konkrétním protokolu.
Vlastní nástroje by se měly aktualizovat tak, aby zvládaly aktuální formát i formát ŘÁDKŮ JSON popsaný výše. Tím zajistíte, že když se data začnou zobrazovat v novém formátu, vaše nástroje se neporušují.