Tutorial: adicionar uma transformação para os dados do espaço de trabalho do Azure Cosmos DB usando o portal do Azure

Artigo
03/24/2023

Este tutorial demonstra a configuração de um exemplo de transformação em uma DCR (regra de coleta de dados) do workspace usando o portal do Azure.

Observação

Para ajudar a melhorar os custos de habilitação da Análise de Logs, agora damos suporte à adição de Regras de Coleta de Dados e transformações em seus recursos do Log Analytics para filtrar colunas, reduzir o número de resultados retornados e criar novas colunas antes que os dados sejam enviados para o destino.

As transformações do workspace são armazenadas juntas em uma só DCR (regra de coleta de dados) do workspace, chamada de DCR do workspace. Cada transformação está associada a uma tabela específica. A transformação será aplicada a todos os dados enviados a essa tabela de qualquer fluxo de trabalho que não esteja usando um DCR.

Observação

Este tutorial usa o portal do Azure para configurar uma transformação de workspace. Para obter o mesmo tutorial, mas usando modelos do Azure Resource Manager e a API REST, confira Tutorial: adicionar transformação na regra de coleta de dados do workspace ao Azure Monitor usando modelos do Resource Manager.

Neste tutorial, você aprenderá como:

Configure a transformação do workspace de uma tabela em um workspace do Log Analytics.
Escreva uma consulta de log para uma transformação de workspace.

Pré-requisitos

Para concluir este tutorial, você precisará:

Um workspace do Log Analytics em que você tenha, no mínimo, direitos de colaborador.
Permissões para criar objetos de DCR no workspace.
Uma tabela que já tem alguns dados.
A tabela não pode ser vinculada ao DCR de transformação do workspace.

Visão geral do tutorial

Neste tutorial, você reduz o requisito de armazenamento da tabela CDBDataPlaneRequests filtrando determinados registros. Você também remove o conteúdo de uma coluna enquanto analisa os dados da coluna para armazenar uma parte dos dados em uma coluna personalizada. A tabela CDBDataPlaneRequests é criada quando você habilita a análise de logs em um espaço de trabalho.

Este tutorial usará o portal do Azure, que fornece um assistente para explicar o processo de criação de uma transformação em tempo de ingestão. Depois de concluir as etapas, você verá que o assistente:

Atualiza o esquema de tabela com as outras colunas da consulta.
Cria uma DCR de WorkspaceTransformation e a vincula ao workspace, caso uma DCR padrão ainda não tenha sido vinculada ao workspace.
Cria uma transformação de tempo de ingestão e a adiciona à DCR.

Habilitar logs de auditoria de consulta

Você precisa habilitar a análise de logs para seu espaço de trabalho para criar a tabela CDBDataPlaneRequests com a qual você está trabalhando. Esta etapa não é necessária para todas as transformações em tempo de ingestão. É apenas para gerar os dados de amostra com os quais estamos trabalhando.

Adicionar uma transformação à tabela

Agora que a tabela foi criada, você pode criar a transformação a ela.

No menu Workspaces do Log Analytics no portal do Azure, selecione Tabelas. Localize a tabela CDBDataPlaneRequests e selecione Criar transformação.
Como essa é a primeira transformação no workspace, você precisa criar uma DCR de transformação do workspace. Se você criar transformações para outras tabelas no mesmo espaço de trabalho, elas serão armazenadas no mesmo DCR. Clique em Criar uma regra de coleta de dados. A Assinatura e o Grupo de recursos já estão preenchidos no espaço de trabalho. Insira um nome para a DCR e selecione Concluído.
Clique em Avançar para ver os dados de exemplo da tabela. À medida que você define a transformação, o resultado é aplicado aos dados de amostra. Por esse motivo, você pode avaliar os resultados antes de aplicá-los aos dados reais. Clique em Editor de transformação para definir a transformação.
No editor de transformação, você pode ver a transformação aplicada aos dados antes da sua ingestão na tabela. Uma tabela virtual chamada source representa os dados de entrada, que têm o mesmo conjunto de colunas que a própria tabela de destino. Inicialmente, a transformação contém uma consulta simples que retorna a tabela source sem alterações.
Modifique a consulta de acordo com o seguinte exemplo:
```
source
| where StatusCode != 200 // searching for requests that are not successful
| project-away Type, TenantId
```
A modificação faz as seguintes alterações:
- As linhas relacionadas à consulta da tabela CDBDataPlaneRequests foram removidas para poupar espaço, pois essas entradas de log não são úteis.
- Os dados das colunas TenantId e Type foram removidos para economizar espaço.
- As transformações também suportam à adição de colunas usando o operador extend na sua consulta.
Observação

Usando o portal do Azure, a saída da transformação iniciará as alterações no esquema da tabela, se necessário. As colunas serão adicionadas para corresponder à saída da transformação, caso ainda não existam. Verifique se a saída não contém outras colunas que você não deseja adicionar à tabela. Se a saída não incluir colunas que já estejam na tabela, essas colunas não serão removidas, mas os dados não serão adicionados.

Todas as colunas personalizadas adicionadas a uma tabela interna devem terminar em _CF. As colunas adicionadas a uma tabela personalizada não precisam desse sufixo. Uma tabela personalizada tem um nome que termina em _CL.
Copie a consulta no editor de transformação e clique em Executar para ver os resultados dos dados de exemplo. Você pode verificar se a nova coluna Workspace_CF está na consulta.
Clique em Aplicar para salvar a transformação e depois em Avançar para examinar a configuração. Selecione Criar para atualizar a DCR com a nova transformação.

Testar a transformação

Aguarde cerca de 30 minutos para que a transformação entre em vigor e, em seguida, teste-a executando uma consulta na tabela. Essa transformação afeta somente os dados enviados para a tabela após a aplicação da transformação.

Para este tutorial, execute algumas consultas de exemplo para enviar dados para a tabela CDBDataPlaneRequests. Inclua algumas consultas em CDBDataPlaneRequests para que você possa verificar se a transformação filtra esses registros.

Solução de problemas

Esta seção descreve as diferentes condições de erro que você poderá receber e como corrigi-las.

O IntelliSense no Log Analytics não reconhece novas colunas na tabela

O cache que direciona o IntelliSense pode levar até 24 horas para ser atualizado.

A transformação em uma coluna dinâmica não está funcionando

Um problema conhecido afeta as colunas dinâmicas no momento. Uma solução alternativa temporária é analisar explicitamente os dados de colunas dinâmicas usando parse_json(), antes de executar qualquer operação neles.

Próximas etapas

Transformações de coleta de dados

Compartilhar via