Ingerir dados do Splunk para o Azure Data Explorer

Importante

Esse conector pode ser usado na Análise em Tempo Real no Microsoft Fabric. Use as instruções neste artigo com as seguintes exceções:

• Se necessário, crie bancos de dados usando as instruções em Criar um banco de dados KQL.
• Se necessário, crie tabelas usando as instruções em Criar uma tabela vazia.
• Obtenha URIs de consulta ou ingestão usando as instruções em Copiar URI.
• Execute consultas em um conjunto de consultas KQL.

O Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O indexador Splunk processa os dados e os armazena por padrão no índice main ou em um índice personalizado especificado. A pesquisa no Splunk usa os dados indexados para criar métricas, dashboards e alertas. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalonável para dados de log e telemetria.

Neste artigo, você aprenderá a usar o complemento do Splunk Data Explorer do Azure para enviar dados do Splunk para uma tabela no cluster. Inicialmente, você cria uma tabela e um mapeamento de dados, depois direciona o Splunk para enviar dados para a tabela e, em seguida, valida os resultados.

Os seguintes cenários são mais adequados para ingerir dados no Azure Data Explorer:

• Dados de alto volume: o Data Explorer do Azure foi criado para lidar com eficiência com grandes quantidades de dados. Se sua organização gerar um volume significativo de dados que precisam de análise em tempo real, o Azure Data Explorer será uma opção adequada.
• Dados de série temporal: o Azure Data Explorer se destaca no tratamento de dados de série temporal, como logs, dados de telemetria e leituras de sensor. Ele organiza dados em partições baseadas em tempo, facilitando a execução de agregações e análises baseadas em tempo.
• Análise em tempo real: se sua organização exigir insights em tempo real dos dados que fluem, os recursos quase em tempo real do Azure Data Explorer poderão ser benéficos.

Pré-requisitos

• Uma conta da Microsoft ou uma Microsoft Entra identidade do usuário. Uma assinatura do Azure não é necessária.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• Splunk Enterprise 9 ou mais recente.
• Uma entidade de serviço Microsoft Entra. Crie uma entidade de serviço Microsoft Entra.

Criar uma tabela e um objeto de mapeamento

Depois de ter um cluster e um banco de dados, crie uma tabela com um esquema que corresponda aos dados do Splunk. Você também cria um objeto de mapeamento usado para transformar os dados de entrada no esquema da tabela de destino.

No exemplo a seguir, você cria uma tabela chamada WeatherAlert com quatro colunas: Timestamp, Temperature, Humiditye Weather. Você também cria um novo mapeamento chamado WeatherAlert_Json_Mapping que extrai propriedades do json de entrada, conforme observado pelo e as path gera para o especificado column.

No editor de consultas de interface do usuário da Web, execute os seguintes comandos para criar a tabela e o mapeamento:

1. Crie uma tabela:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Verifique se a tabela WeatherAlert foi criada e se está vazia:

   WeatherAlert
   | count
   

3. Crie um objeto de mapeamento:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Use a entidade de serviço dos Pré-requisitos para conceder permissão para trabalhar com o banco de dados.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalar o complemento splunk do Azure Data Explorer

O complemento Splunk se comunica com o Data Explorer do Azure e envia os dados para a tabela especificada.

1. Baixe o complemento Data Explorer do Azure.

2. Entre em sua instância do Splunk como administrador.

3. Vá para Aplicativos>Gerenciar Aplicativos.

4. Selecione Instalar aplicativo no arquivo e, em seguida, Data Explorer arquivo de complemento do Azure baixado.

5. Siga as instruções para concluir a instalação.

6. Selecione Reiniciar Agora.

7. Verifique se o complemento está instalado acessandoAções de Alerta do Painel> e procurando o complemento Data Explorer do Azure.

   

Criar um novo índice no Splunk

Crie um índice no Splunk especificando os critérios para os dados que você deseja enviar para o Azure Data Explorer.

1. Entre em sua instância do Splunk como administrador.
2. Vá paraÍndices de Configurações>.
3. Especifique um nome para o índice e configure os critérios para os dados que você deseja enviar para o Azure Data Explorer.
4. Configure as propriedades restantes conforme necessário e salve o índice.

Configurar o complemento splunk para enviar dados para o Azure Data Explorer

1. Entre em sua instância do Splunk como administrador.

2. Vá para o dashboard e pesquise usando o índice criado anteriormente. Por exemplo, se você criou um índice chamado WeatherAlerts, pesquise por index="WeatherAlerts".

3. Selecione Salvar como>Alerta.

4. Especifique o nome, o intervalo e as condições conforme necessário para o alerta.

   

5. Em Ações de Gatilho, selecione Adicionar Ações>Enviar ao Microsoft Azure Data Explorer.

   

6. Configure os detalhes das conexões da seguinte maneira:

   Configuração	Descrição
   URL de Ingestão de Cluster	Especifique a URL de ingestão do cluster Data Explorer do Azure. Por exemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID do Cliente	Especifique a ID do cliente do aplicativo Microsoft Entra criado anteriormente.
   Segredo do Cliente	Especifique o segredo do cliente do aplicativo Microsoft Entra criado anteriormente.
   ID do locatário	Especifique a ID do locatário do aplicativo Microsoft Entra criado anteriormente.
   Backup de banco de dados	Especifique o nome do banco de dados para o qual você deseja enviar os dados.
   Table	Especifique o nome da tabela para a qual você deseja enviar os dados.
   Mapeamento	Especifique o nome do objeto de mapeamento criado anteriormente.
   Remover campos extras	Selecione essa opção para remover todos os campos vazios dos dados enviados para o cluster.
   Modo Durável	Selecione esta opção para habilitar o modo de durabilidade durante a ingestão. Quando definido como true, a taxa de transferência de ingestão é afetada.

   

7. Selecione Salvar para salvar o alerta.

8. Vá para a página Alertas e verifique se o alerta aparece na lista de alertas.

   

Verifique se os dados foram ingeridos no Azure Data Explorer

Depois que o alerta é disparado, os dados são enviados para a tabela Data Explorer do Azure. Você pode verificar se os dados são ingeridos executando uma consulta no editor de consultas da interface do usuário da Web.

1. Execute a seguinte consulta para verificar se os dados são ingeridos na tabela:

   WeatherAlert
   | count
   

2. Execute a seguinte consulta para exibir os dados:

   WeatherAlert
   | take 100
   

   

Conteúdo relacionado

• Gravar consultas