Partilhar via

Filtrar e ingerir no Azure Data Explorer usando o Stream Analytics sem editor de código

  • Artigo

Este artigo descreve como você pode usar o editor sem código para criar facilmente um trabalho do Stream Analytics. Ele lê continuamente seus Hubs de Eventos, filtra os dados de entrada e grava os resultados continuamente no Azure Data Explorer.

Pré-requisitos

  • Seus Hubs de Eventos do Azure e recursos do Azure Data Explorer devem estar acessíveis publicamente e não protegidos em um firewall ou protegidos em uma Rede Virtual do Azure
  • Os dados em seus Hubs de Eventos devem ser serializados no formato JSON, CSV ou Avro.

Desenvolver um trabalho do Stream Analytics para filtrar e ingerir dados em tempo real

  1. No portal do Azure, localize e selecione a instância dos Hubs de Eventos do Azure.

  2. Selecione Recursos>, Processar Dados e, em seguida, selecione Iniciar no cartão Filtrar e armazenar dados no Azure Data Explorer.

    Captura de ecrã a mostrar o Filtrar e ingerir no cartão Azure Data Lake Storage Gen2 onde seleciona Iniciar.

  3. Insira um nome para o trabalho do Stream Analytics e selecione Criar.

    Captura de ecrã a mostrar onde introduzir um nome de trabalho.

  4. Especifique o tipo de serialização de seus dados na janela Hubs de Eventos e o método de Autenticação que o trabalho usará para se conectar aos Hubs de Eventos. Em seguida, selecione Conectar.
    Captura de tela mostrando a configuração de conexão dos Hubs de Eventos.

  5. Quando a conexão for estabelecida com êxito e você tiver fluxos de dados fluindo para sua instância de Hubs de Eventos, você verá imediatamente duas coisas:

    • Campos que estão presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar seu tipo.
      Captura de tela mostrando a lista de campos Hubs de Eventos onde você pode remover, renomear ou alterar o tipo de campo.
    • Uma amostra dinâmica de dados de entrada na tabela de visualização de dados sob o modo de exibição de diagrama. Ele é atualizado automaticamente periodicamente. Você pode selecionar Pausar visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.
      Captura de ecrã a mostrar dados de exemplo em Pré-visualização de Dados.

  6. Selecione o bloco Filtro para agregar os dados. Na área Filtro, selecione um campo para filtrar os dados recebidos com uma condição.

    Captura de tela que mostra a configuração do operador de filtro.

  7. Selecione o bloco Gerenciar . No painel de configuração Gerenciar campos , escolha os campos que você deseja enviar para o hub de eventos. Se quiser adicionar todos os campos, selecione Adicionar todos os campos.

    Captura de tela que mostra a configuração do operador de campo de gerenciamento.

  8. Selecione o bloco Azure Data Explorer . No painel de configuração, preencha os parâmetros necessários e conecte-se.

    Nota

    A tabela deve existir no banco de dados selecionado e o esquema da tabela deve corresponder exatamente ao número de campos e seus tipos gerados pela visualização de dados.

    Captura de tela que mostra a configuração de saída do Kusto.

  9. Opcionalmente, selecione Obter visualização estática/Atualizar visualização estática para ver a visualização de dados que será ingerida no hub de eventos.
    Captura de ecrã a mostrar a opção Obter pré-visualização estática/Atualizar pré-visualização estática.

  10. Selecione Salvar e, em seguida, selecione Iniciar o trabalho do Stream Analytics.
    Captura de ecrã a mostrar as opções Guardar e Iniciar.

  11. Para iniciar o trabalho, especifique:

    • O número de unidades de streaming (SUs) com as quais o trabalho é executado. SUs representa a quantidade de computação e memória alocada para o trabalho. Recomendamos que comece com três e depois ajuste conforme necessário.
    • Tratamento de erros de dados de saída – Permite especificar o comportamento desejado quando a saída de um trabalho para o seu destino falha devido a erros de dados. Por padrão, o trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por descartar esses eventos de saída.
      Captura de tela mostrando as opções de trabalho do Start Stream Analytics onde você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erros de dados de saída.

  12. Depois de selecionar Iniciar, o trabalho começa a ser executado em dois minutos e as métricas serão abertas na seção da guia abaixo.

    Captura de tela que mostra os dados de métricas de trabalho depois que ele é iniciado.

    Você também pode ver o trabalho na seção Dados do processo na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-lo ou parar e reiniciá-lo, conforme necessário.

    Captura de ecrã do separador de trabalhos do Stream Analytics onde visualiza o estado dos trabalhos em execução.

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica na visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor com um hub de eventos uma saída, pode observar atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre primário e secundário atinja o atraso máximo configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a essas ressalvas, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos está em visualização pública, não recomendamos o uso desse padrão para trabalhos do Stream Analytics de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Próximos passos

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho que você criou.