Förbereda för formatändring till Azure Monitor-plattformsloggar som arkiverats till ett lagringskonto

  • Artikel

Varning

Om du skickar Azure-resursloggar eller -mått till ett lagringskonto med diagnostikinställningar eller aktivitetsloggar till ett lagringskonto med hjälp av loggprofiler ändras formatet för data i lagringskontot till JSON Lines den 1 november 2018. Anvisningarna nedan beskriver effekten och hur du uppdaterar verktygen för att hantera det nya formatet.

Vad har ändrats

Azure Monitor erbjuder en funktion som gör att du kan skicka resursloggar och aktivitetsloggar till ett Azure Storage-konto, Event Hubs-namnområde eller till en Log Analytics-arbetsyta i Azure Monitor. För att åtgärda ett problem med systemprestanda ändrades formatet för loggdata som skickas till Blob Storage den 1 november 2018 kl. 12:00 midnatt UTC . Om du har verktyg som läser data från Blob Storage måste du uppdatera verktygen för att förstå det nya dataformatet.

  • Torsdagen den 1 november 2018 kl. 12:00 midnatt UTC ändrades blobformatet till JSON Lines. Det innebär att varje post avgränsas med en ny rad, utan matris med yttre poster och inga kommatecken mellan JSON-poster.
  • Blobformatet har ändrats för alla diagnostikinställningar för alla prenumerationer samtidigt. Den första PT1H.json-filen som angavs den 1 november använde det här nya formatet. Blob- och containernamnen förblir desamma.
  • Inställningen av en diagnostikinställning mellan före den 1 november fortsatte att generera data i det aktuella formatet fram till den 1 november.
  • Den här ändringen skedde samtidigt i alla offentliga molnregioner. Ändringen sker inte i Microsoft Azure som drivs av 21Vianet, Azure Tyskland eller Azure Government moln ännu.
  • Den här ändringen påverkar följande datatyper:
  • Den här ändringen påverkar inte:
    • Nätverksflödesloggar
    • Azure-tjänstloggar som inte har gjorts tillgängliga via Azure Monitor ännu (till exempel Azure App Service resursloggar, lagringsanalysloggar)
    • Routning av Azure-resursloggar och aktivitetsloggar till andra mål (Event Hubs, Log Analytics)

Så här ser du om du påverkas

Du påverkas bara av den här ändringen om du:

  1. Skickar loggdata till ett Azure Storage-konto med hjälp av en diagnostikinställning och
  2. Ha verktyg som är beroende av JSON-strukturen för dessa loggar i lagringen.

Om du vill ta reda på om du har diagnostikinställningar som skickar data till ett Azure Storage-konto kan du gå till avsnittet Övervaka i portalen, klicka på Diagnostikinställningar och identifiera alla resurser som har diagnostikstatusinställd på Aktiverad:

Fönstret Diagnostikinställningar för Azure Monitor

Om Diagnostikstatus har angetts till aktiverad har du en aktiv diagnostikinställning för den resursen. Klicka på resursen för att se om några diagnostikinställningar skickar data till ett lagringskonto:

Lagringskonto aktiverat

Om du har resurser som skickar data till ett lagringskonto med hjälp av de här diagnostikinställningarna för resurser påverkas formatet för data i det lagringskontot av den här ändringen. Om du inte har anpassade verktyg som fungerar utanför dessa lagringskonton påverkas du inte av formatändringen.

Information om formatändringen

Det aktuella formatet för FILEN PT1H.json i Azure Blob Storage använder en JSON-matris med poster. Här är ett exempel på en KeyVault-loggfil nu:

{
    "records": [
        {
            "time": "2016-01-05T01:32:01.2691226Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "78",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        },
        {
            "time": "2016-01-05T01:33:56.5264523Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "83",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        }
    ]
}

Det nya formatet använder JSON-rader, där varje händelse är en rad och det nya radtecknet indikerar en ny händelse. Så här ser exemplet ovan ut i filen PT1H.json efter ändringen:

{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}

Med det här nya formatet kan Azure Monitor skicka loggfiler med tilläggsblobar, vilket är mer effektivt för att kontinuerligt lägga till nya händelsedata.

Uppdatera

Du behöver bara göra uppdateringar om du har anpassade verktyg som matar in loggfilerna för vidare bearbetning. Om du använder en extern logganalys eller ett SIEM-verktyg rekommenderar vi att du använder händelsehubbar för att mata in dessa data i stället. Integreringen av händelsehubbar är enklare när det gäller bearbetning av loggar från många tjänster och bokmärkesplats i en viss logg.

Anpassade verktyg bör uppdateras för att hantera både det aktuella formatet och JSON Lines-formatet som beskrivs ovan. Detta säkerställer att dina verktyg inte bryts när data börjar visas i det nya formatet.

Nästa steg