Processar dados do seu hub de eventos usando Azure Stream Analytics

  • Artigo

O serviço de Azure Stream Analytics facilita a ingestão, o processamento e a análise de dados de streaming dos hubs de eventos do Azure, possibilitando ideias poderosas para impulsionar as ações em tempo real. Você pode usar o portal do Azure para visualizar dados de entrada e gravar uma consulta de Stream Analytics. Quando a consulta estiver pronta, você poderá movê-la para a produção em apenas alguns cliques.

Principais benefícios

Aqui estão os principais benefícios dos hubs de eventos do Azure e da integração de Azure Stream Analytics:

  • Pré-visualizar dados – você pode pré-visualizar dados de entrada de um hub de eventos no portal do Azure.
  • Testar sua consulta – prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para obter a sintaxe da linguagem de consulta, consulte a documentação da linguagem de consulta de Stream Analytics.
  • Implantar sua consulta em produção – você pode implantar a consulta na produção criando e iniciando um trabalho de Azure Stream Analytics.

Fluxo de ponta a ponta

Importante

Se você não for membro das funções proprietário ou colaborador no nível da assinatura do Azure, deverá ser membro da função Testador de consultas do Stream Analytics no nível da assinatura do Azure para concluir as etapas desta seção com êxito. Essa função permite que você execute consultas de teste sem criar um trabalho do Stream Analytics primeiro. Para obter instruções de como atribuir uma função a um usuário, confira Atribuir funções do AD a usuários.

  1. Entre no portal do Azure.

  2. Navegue até o namespace de seus hubs de eventos e, em seguida, navegue até o Hub de eventos, que tem os dados de entrada.

  3. Selecione Dados de Processamento na página do hub de eventos ou selecione Dados de processamento no menu à esquerda.

    Captura de tela mostrando a página Dados de Processamento do hub de eventos.

  4. Selecione Iniciar no bloco Habilitar insights de eventos em tempo real.

    Captura de tela mostrando a página Dados de Processamento com Habilitar insights em tempo real do bloco de eventos selecionado.

  5. Você verá uma página de consulta com valores já definidos para os seguintes campos:

    1. Seu Hub de eventos como uma entrada para a consulta.

    2. Exemplo de consulta SQL com instrução SELECT.

    3. Um alias de saída para se referir aos resultados do teste de consulta.

      Captura de tela mostrando o editor de Consultas para sua consulta do Stream Analytics.

      Observação

      Quando você usa esse recurso pela primeira vez, essa página solicita sua permissão para criar um grupo de consumidores e uma política para o Hub de eventos para visualizar os dados de entrada.

  6. Selecione Criar no painel de Visualização de entrada, conforme mostrado na imagem anterior.

  7. Você verá imediatamente nessa guia um instantâneo dos dados de entrada mais recentes.

    • O tipo de serialização em seus dados é detectado automaticamente (JSON/CSV). Você pode alterá-lo manualmente também para JSON/CSV/AVRO.

    • Você pode visualizar os dados de entrada no formato de tabela ou no formato bruto.

    • Se os dados mostrados não estiverem atuais, selecione Atualizar para ver os eventos mais recentes.

      Aqui temos um exemplo de dados no formato de tabela:

      Captura de tela da janela de visualização da Entrada de Dados no painel de resultados da página Dados de Processamento em formato de tabela.

      Aqui temos um exemplo de dados no formato bruto:

      Captura de tela da janela de visualização da Entrada de Dados no painel de resultados da página Dados de Processamento em formato bruto.

  8. Selecione Testar consulta para ver a captura dos resultados de teste de sua consulta na guia Resultados do teste. Você também pode baixar os resultados.

    Captura de tela da janela de visualização da Entrada de Dados no painel de resultados com resultados de testes.

  9. Escreva sua própria consulta para transformar os dados. Consulte Referência de linguagem de consulta da Stream Analytics.

  10. Após ter testado a consulta, e se quiser transferi-la para a produção, selecione Criar trabalho do Stream Analytics.

    Captura de tela da página Consultas com o link “Criar trabalho do Stream Analytics” selecionado.

  11. Na página Novo trabalho do Stream Analytics, siga estas etapas:

    1. Especifique um nome para o trabalho.

    2. Selecione sua assinatura do Azure na qual você quer que o trabalho seja criado.

    3. Selecione o grupo de recursos para o recurso de trabalho do Stream Analytics.

    4. Selecione um local para o trabalho.

    5. Para o nome da política dos Hubs de Eventos, crie uma política nova ou selecione uma existente.

    6. Para o grupo de consumidores dos Hubs de Eventos, crie um grupo de consumidores novo ou selecione um grupo de consumidores existente.

    7. Selecione Criar para criar o trabalho do Stream Analytics.

      Captura de tela mostrando a janela “Novo trabalho do Stream Analytics”.

      Observação

      Recomendamos que você crie um grupo de consumidores e uma política para cada novo trabalho do Azure Stream Analytics criado na página hubs de eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, portanto, fornecer um grupo de consumidores dedicado para cada trabalho evitará erros que possam surgir ao exceder esse limite. Uma política dedicada permite que você alterne sua chave ou revogue permissões sem afetar outros recursos.

  12. Seu trabalho de Stream Analytics agora é criado, nele, sua consulta é a mesma que você testou, e a entrada é seu hub de eventos.

    Captura de tela mostrando a página do trabalho do Stream Analytics com um link para adicionar um resultado.

  13. Adicione uma saída que você escolher.

  14. Navegue de volta para a página do trabalho do Stream Analytics clicando no nome do trabalho no link de navegação estrutural.

  15. Selecione Editar consulta acima da janela da Consulta .

  16. Atualize [OutputAlias] com o nome do resultado e selecione Salvar consulta no link acima da consulta. Feche a página Consultas selecionando X no canto superior direito.

  17. Agora, na página do trabalho do Stream Analytics, selecione Iniciar na barra de ferramentas para iniciar o trabalho.

    Captura de tela da janela “Iniciar trabalho” para um trabalho do Stream Analytics.

Access

Problema: o usuário não consegue acessar os dados de visualização porque não tem as permissões corretas na Assinatura.

Opção 1: o usuário que deseja visualizar os dados que chegam, precisa ser adicionado como Colaborador na Assinatura.

Opção 2: o usuário precisa ser adicionado à função do testador de Consulta do Stream Analytics na Assinatura. Navegue até o Controle de acesso da assinatura. Adicione uma atribuição de função para o usuário como a função "Testador de Consulta do Stream Analytics".

Opção 3: o usuário pode criar um trabalho do Azure Stream Analytics. Defina a entrada como esse hub de eventos e navegue até "Consulta" para visualizar os dados provenientes desse hub de eventos.

Opção 4: o administrador pode criar uma função personalizada na assinatura. Adicione as permissões a seguir à função personalizada e adicione o usuário à nova função personalizada.

Captura de tela mostrando a página de permissões Microsoft.StreamAnalytics.

Unidades de transmissão

Seu trabalho de Azure Stream Analytics usa como padrão três unidades de streaming (SUs). Para ajustar essa configuração, selecione Dimensionar no menu à esquerda na página Trabalho do Stream Analytics no portal do Azure. Para saber mais sobre unidades de streaming, confira Entender e ajustar unidades de streaming.

Captura de tela mostrando a página Escalonar para um trabalho do Stream Analytics.

Próximas etapas

Para saber mais sobre consultas de Stream Analytics, consulte Linguagem de consulta do Stream Analytics