Preparar a alteração de formato para os registos da plataforma do Azure Monitor arquivados numa conta de armazenamento

  • Artigo

Aviso

Se estiver a enviar métricas ou registos de recursos do Azure para uma conta de armazenamento através de definições de diagnóstico ou registos de atividades para uma conta de armazenamento através de perfis de registo, o formato dos dados na conta de armazenamento foi alterado para Linhas JSON a 1 de novembro de 2018. As instruções abaixo descrevem o impacto e como atualizar as suas ferramentas para processar o novo formato.

O que mudou

O Azure Monitor oferece uma capacidade que lhe permite enviar registos de recursos e registos de atividades para uma conta de armazenamento do Azure, espaço de nomes dos Hubs de Eventos ou para uma área de trabalho do Log Analytics no Azure Monitor. Para resolver um problema de desempenho do sistema, no dia 1 de novembro de 2018 às 12:00 UTC , o formato dos dados de registo enviados para o armazenamento de blobs foi alterado. Se tiver ferramentas que estão a ler dados do armazenamento de blobs, tem de atualizar as suas ferramentas para compreender o novo formato de dados.

  • Na quinta-feira, 1 de novembro de 2018, às 12:00 UTC, o formato de blob mudou para linhas JSON. Isto significa que cada registo será delimitado por uma nova linha, sem matriz de registos externos e sem vírgulas entre registos JSON.
  • O formato de blob foi alterado para todas as definições de diagnóstico em todas as subscrições ao mesmo tempo. O primeiro ficheiro PT1H.json emitido para 1 de novembro utilizou este novo formato. Os nomes de blobs e contentores permanecem os mesmos.
  • Definir uma definição de diagnóstico entre antes de 1 de novembro continuou a emitir dados no formato atual até 1 de novembro.
  • Esta alteração ocorreu de uma só vez em todas as regiões da cloud pública. A alteração não ocorrerá no Microsoft Azure Operado pela 21Vianet, Azure Alemanha ou Azure Government clouds ainda.
  • Esta alteração afeta os seguintes tipos de dados:
  • Esta alteração não afeta:
    • Registos de fluxo de rede
    • Os registos de serviço do Azure ainda não foram disponibilizados através do Azure Monitor (por exemplo, Serviço de Aplicações do Azure registos de recursos, registos de análise de armazenamento)
    • Encaminhamento de registos de recursos do Azure e registos de atividades para outros destinos (Hubs de Eventos, Log Analytics)

Como ver se é afetado

Só será afetado por esta alteração se:

  1. Estão a enviar dados de registo para uma conta de armazenamento do Azure com uma definição de diagnóstico e
  2. Ter ferramentas que dependem da estrutura JSON destes registos no armazenamento.

Para identificar se tem definições de diagnóstico que estão a enviar dados para uma conta de armazenamento do Azure, pode navegar para a secção Monitorizar do portal, clicar em Definições de Diagnóstico e identificar quaisquer recursos que tenham o Estado de Diagnóstico definido como Ativado:

Painel Definições de Diagnóstico do Azure Monitor

Se o Estado do Diagnóstico estiver definido como ativado, terá uma definição de diagnóstico ativa nesse recurso. Clique no recurso para ver se alguma definição de diagnóstico está a enviar dados para uma conta de armazenamento:

Conta de armazenamento ativada

Se tiver recursos a enviar dados para uma conta de armazenamento com estas definições de diagnóstico de recursos, o formato dos dados nessa conta de armazenamento será afetado por esta alteração. A menos que tenha ferramentas personalizadas que funcionem fora destas contas de armazenamento, a alteração de formato não irá afetá-lo.

Detalhes da alteração de formato

O formato atual do ficheiro PT1H.json no armazenamento de blobs do Azure utiliza uma matriz JSON de registos. Eis um exemplo de um ficheiro de registo do KeyVault agora:

{
    "records": [
        {
            "time": "2016-01-05T01:32:01.2691226Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "78",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        },
        {
            "time": "2016-01-05T01:33:56.5264523Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "83",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        }
    ]
}

O novo formato utiliza linhas JSON, em que cada evento é uma linha e o caráter newline indica um novo evento. Eis o aspeto do exemplo acima no ficheiro PT1H.json após a alteração:

{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}

Este novo formato permite ao Azure Monitor emitir ficheiros de registo através de blobs de acréscimo, que são mais eficientes para acrescentar continuamente novos dados de eventos.

Como atualizar

Só precisa de fazer atualizações se tiver ferramentas personalizadas que ingerem estes ficheiros de registo para processamento adicional. Se estiver a utilizar uma análise de registos externa ou uma ferramenta SIEM, recomendamos que utilize os hubs de eventos para ingerir estes dados. A integração de hubs de eventos é mais fácil em termos de processamento de registos de muitos serviços e localização de marcadores num registo específico.

As ferramentas personalizadas devem ser atualizadas para processar o formato atual e o formato de Linhas JSON descrito acima. Isto irá garantir que, quando os dados começam a aparecer no novo formato, as suas ferramentas não quebram.

Passos seguintes