Compartilhar via

Saída do Azure Stream Analytics para o Azure Data Explorer

  • Artigo

Você pode usar o Azure Data Explorer como uma saída para analisar grandes volumes de dados diversos de qualquer fonte de dados, como sites, aplicativos e dispositivos da Internet das Coisas (IoT). O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalonável para dados de log e telemetria. Ele ajuda você a lidar com os muitos fluxos de dados que o software moderno emite, para que você possa coletar, armazenar e analisar os dados. Esses dados são usados para diagnósticos, monitoramento, relatórios, aprendizado de máquina e recursos adicionais de análise.

O Azure Data Explorer suporta vários métodos de ingestão, incluindo conectores para serviços comuns como Hubs de Eventos do Azure, ingestão programática através de SDKs como .NET e Python e acesso direto ao mecanismo para fins de exploração. O Azure Data Explorer integra-se aos serviços de análise e modelagem para análise adicional e visualização de dados.

Para obter mais informações sobre o Azure Data Explorer, confira O que é o Azure Data Explorer?.

Para saber mais sobre como criar um cluster do Azure Data Explorer usando o portal do Azure, confira Início Rápido: Criar um cluster e banco de dados do Azure Data Explorer.

Observação

O Azure Data Explorer do Azure Stream Analytics dá suporte à saída para clusters do Synapse Data Explorer. Para gravar em seus clusters no Azure Synapse Analytics, especifique a URL do seu cluster no painel de configuração para a saída do Azure Data Explorer no seu trabalho do Azure Stream Analytics.

Configuração de saída

A tabela a seguir lista os nomes de propriedade e suas descrições para a criação de uma saída do Azure Data Explorer.

Nome da propriedade Descrição
Alias de saída Um nome amigável usado nas consultas para direcionar a saída da consulta para esse banco de dados.
Subscription A assinatura do Azure que você deseja usar no seu cluster.
Cluster Um nome exclusivo que identifica seu cluster. A <região > do nome de domínio .kusto.windows.net está anexada ao nome do cluster fornecido. O nome só pode conter letras minúsculas e números. Deve conter de 4 a 22 caracteres.
Banco de dados O nome do banco de dados para o qual você está enviando a saída. O nome do banco de dados deve ser exclusivo dentro do cluster.
Autenticação Uma identidade gerenciada do Microsoft Entra ID permite que seu aplicativo acesse facilmente outros recursos protegidos pelo Microsoft Entra, como o Azure Key Vault. A identidade é gerenciada pela plataforma do Azure e não exige provisionamento nem alternância de segredo. Atualmente, há suporte para a configuração de identidade gerenciada apenas para habilitar chaves gerenciadas pelo cliente para o cluster.
Tabela O nome da tabela em que a saída é gravada. O nome da tabela diferencia maiúsculas de minúsculas. O esquema dessa tabela deve corresponder exatamente ao número de campos e tipos gerados pela sua saída de trabalho.

Particionamento

O particionamento precisa estar habilitado e é baseado na cláusula PARTITION BY da consulta. Quando a opção Herdar Particionamento estiver habilitada, ela seguirá o particionamento de entrada para consultas totalmente paralelizáveis.

Quando usar o Azure Stream Analytics e o Azure Data Explorer

As características do Azure Stream Analytics incluem:

  • Mecanismo de processamento de fluxo: análises contínuas e em tempo real
  • Baseado em trabalho
  • Janela de retrospectiva de 1 milissegundo a 7 dias para análise temporal na memória e processamento de fluxo
  • Ingestão dos Hubs de Eventos do Azure e do Hub IoT do Azure com latência inferior a um segundo

As características do Azure Data Explorer incluem:

  • Mecanismo analítico: análise interativa e sob demanda em tempo real
  • Transmitir a ingestão de dados em um armazenamento de dados persistente, juntamente com as funcionalidades da consulta
  • Ingestão de dados do Hubs de Eventos, Hub de IoT, Armazenamento de Blobs do Azure, Azure Data Lake Storage, Kafka, Logstash, Spark e Azure Data Factory
  • Latência de 10 segundos a 5 minutos para cargas de trabalho de alta taxa de transferência
  • Transformação simples de dados através de uma política de atualização durante a ingestão

Você pode aumentar significativamente o escopo da análise em tempo real usando o Azure Stream Analytics e o Azure Data Explorer juntos. Aqui estão alguns cenários:

  • O Stream Analytics identifica anomalias em tempo real e o Azure Data Explorer ajuda a determinar como e por que elas ocorreram através da exploração interativa.
  • O Stream Analytics desserializa fluxos de dados de entrada para uso no Azure Data Explorer (por exemplo, ingerir o formato Protobuf usando um desserializador personalizado ou formatos binários personalizados).
  • O Stream Analytics pode agregar, filtrar, enriquecer e transformar fluxos de dados recebidos para uso no Azure Data Explorer.

Outros cenários e limitações

  • O nome das colunas e do tipo de dados deve corresponder à consulta SQL do Azure Stream Analytics e à tabela do Azure Data Explorer. A comparação diferencia maiúsculas de minúsculas.
  • As colunas existentes em seus clusters do Azure Data Explorer, mas que estão ausentes no Azure Stream Analytics, são ignoradas. As colunas que estão ausentes no Azure Stream Analytics geram um erro.
  • A ordem das suas colunas na sua consulta do Azure Stream Analytics não importa. O esquema da tabela do Azure Data Explorer determina a ordem.
  • O Azure Data Explorer tem uma política de agregação (envio em lote) para ingestão de dados projetada para otimizar o processo de ingestão. A política está configurada para 5 minutos, 1.000 itens ou 1 GB de dados por padrão, para que você possa experimentar uma latência. Para reduzir a latência, habilite a ingestão de streaming em seu cluster e, em seguida, na tabela ou no banco de dados, seguindo as etapas em Configurar ingestão de streaming em seu cluster do Azure Data Explorer. Para obter as opções de agregação, confira a Política IngestionBatching .

Próximas etapas