Processar dados do hub de eventos com o Azure Stream Analytics

  • Artigo

O serviço Azure Stream Analytics torna mais fácil ingerir, processar e analisar dados de transmissão em fluxo a partir de Hubs de Eventos do Azure, permitindo informações avançadas para impulsionar ações em tempo real. Pode utilizar o portal do Azure para visualizar os dados recebidos e escrever uma consulta do Stream Analytics. Assim que a consulta estiver pronta, pode movê-la para produção em apenas alguns cliques.

Principais vantagens

Eis as principais vantagens da integração do Hubs de Eventos do Azure e do Azure Stream Analytics:

  • Pré-visualizar dados – pode pré-visualizar os dados recebidos a partir de um hub de eventos no portal do Azure.
  • Testar a consulta – prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para obter a sintaxe da linguagem de consulta, veja a documentação da Linguagem de Consulta do Stream Analytics .
  • Implementar a consulta na produção – pode implementar a consulta em produção ao criar e iniciar uma tarefa do Azure Stream Analytics.

Fluxo ponto a ponto

Importante

Se não for membro das funções de proprietário ou contribuidor ao nível da subscrição do Azure, tem de ser membro da função Tester de Consultas do Stream Analytics ao nível da subscrição do Azure para concluir com êxito os passos nesta secção. Esta função permite-lhe efetuar consultas de teste sem criar primeiro uma tarefa do Stream Analytics. Para obter instruções sobre como atribuir uma função a um utilizador, veja Atribuir funções do AD aos utilizadores.

  1. Inicie sessão no portal do Azure.

  2. Navegue para o espaço de nomes dos Hubs de Eventos e, em seguida, navegue para o hub de eventos, que tem os dados recebidos.

  3. Selecione Processar Dados na página do hub de eventos ou selecione Processar dados no menu esquerdo.

    Captura de ecrã a mostrar a página Processar dados do hub de eventos.

  4. Selecione Iniciar no mosaico Ativar informações em tempo real a partir de eventos .

    Captura de ecrã a mostrar a página Processar dados com o mosaico Ativar informações em tempo real a partir de eventos selecionado.

  5. Verá uma página de consulta com valores já definidos para os seguintes campos:

    1. O hub de eventos como uma entrada para a consulta.

    2. Consulta SQL de exemplo com a instrução SELECT.

    3. Um alias de saída para fazer referência aos resultados do teste de consulta.

      Captura de ecrã a mostrar o Editor de consultas da sua consulta do Stream Analytics.

      Nota

      Quando utiliza esta funcionalidade pela primeira vez, esta página pede-lhe permissão para criar um grupo de consumidores e uma política para o hub de eventos pré-visualizar os dados recebidos.

  6. Selecione Criar no painel Pré-visualização de entrada, conforme mostrado na imagem anterior.

  7. Verá imediatamente um instantâneo dos dados recebidos mais recentes neste separador.

    • O tipo de serialização nos seus dados é detetado automaticamente (JSON/CSV). Também pode alterá-lo manualmente para JSON/CSV/AVRO.

    • Pode pré-visualizar os dados recebidos no formato de tabela ou em formato não processado.

    • Se os dados apresentados não estiverem atualizados, selecione Atualizar para ver os eventos mais recentes.

      Eis um exemplo de dados no formato de tabela:

      Captura de ecrã a mostrar a janela Pré-visualização de entrada no painel de resultados da página Processar dados num formato de tabela.

      Eis um exemplo de dados no formato não processado:

      Captura de ecrã da janela Pré-visualização de entrada no painel de resultados da página Processar dados no formato não processado.

  8. Selecione Testar consulta para ver o instantâneo dos resultados do teste da consulta no separador Resultados do teste. Também pode transferir os resultados.

    Captura de ecrã a mostrar a janela Pré-visualização de entrada no painel de resultados com os resultados do teste.

  9. Escreva a sua própria consulta para transformar os dados. Veja Referência da Linguagem de Consulta do Stream Analytics.

  10. Depois de testar a consulta e pretender movê-la para produção, selecione Criar tarefa do Stream Analytics.

    Captura de ecrã da página Consulta com a ligação Criar tarefa do Stream Analytics selecionada.

  11. Na página Nova tarefa do Stream Analytics , siga estes passos:

    1. Especifique um nome para a tarefa.

    2. Selecione a sua subscrição do Azure onde pretende que a tarefa seja criada.

    3. Selecione o grupo de recursos para o recurso de tarefa do Stream Analytics.

    4. Selecione a localização da tarefa.

    5. Para o nome da política dos Hubs de Eventos, crie uma nova política ou selecione uma existente.

    6. Para o grupo de consumidores dos Hubs de Eventos, crie um novo grupo de consumidores ou selecione um grupo de consumidores existente.

    7. Selecione Criar para criar a tarefa do Stream Analytics.

      Captura de ecrã a mostrar a janela Nova tarefa do Stream Analytics.

      Nota

      Recomendamos que crie um grupo de consumidores e uma política para cada nova tarefa do Azure Stream Analytics que criar a partir da página Hubs de Eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, pelo que fornecer um grupo de consumidores dedicado para cada tarefa evitará quaisquer erros que possam resultar de exceder esse limite. Uma política dedicada permite-lhe rodar a sua chave ou revogar permissões sem afetar outros recursos.

  12. A tarefa do Stream Analytics é agora criada onde a consulta é a mesma que testou e a entrada é o seu hub de eventos.

    Captura de ecrã a mostrar a página da tarefa do Stream Analytics com uma ligação para adicionar uma saída.

  13. Adicione uma saída à sua escolha.

  14. Navegue de volta para a página de tarefas do Stream Analytics ao clicar no nome da tarefa na ligação de trilho.

  15. Selecione Editar consulta acima da janela Consulta .

  16. Atualize [OutputAlias] com o seu nome de saída e selecione Guardar ligação de consulta acima da consulta. Feche a página Consulta ao selecionar X no canto superior direito.

  17. Agora, na página de tarefas do Stream Analytics, selecione Iniciar na barra de ferramentas para iniciar a tarefa.

    Captura de ecrã a mostrar a janela Iniciar tarefa para uma tarefa do Stream Analytics.

Access

Problema : o utilizador não consegue aceder aos dados de pré-visualização porque não tem as permissões corretas na Subscrição.

Opção 1: o utilizador que quer pré-visualizar os dados recebidos tem de ser adicionado como Contribuidor na Subscrição.

Opção 2: o utilizador tem de ser adicionado como função de teste de Consultas do Stream Analytics na Subscrição. Navegue para Controlo de acesso da subscrição. Adicione uma nova atribuição de função para o utilizador como função "Teste de Consulta do Stream Analytics".

Opção 3: o utilizador pode criar uma tarefa do Azure Stream Analytics. Defina a entrada como este hub de eventos e navegue para "Consulta" para pré-visualizar os dados recebidos deste hub de eventos.

Opção 4: o administrador pode criar uma função personalizada na subscrição. Adicione as seguintes permissões à função personalizada e, em seguida, adicione o utilizador à nova função personalizada.

Capturas de ecrã a mostrar a página de permissões do Microsoft.StreamAnalytics.

Unidades de transmissão em fluxo

A sua tarefa do Azure Stream Analytics é predefinida para três unidades de transmissão em fluxo (SUs). Para ajustar esta definição, selecione Dimensionar no menu esquerdo na página de tarefas do Stream Analytics no portal do Azure. Para saber mais sobre unidades de transmissão em fluxo, veja Compreender e ajustar as Unidades de Transmissão em Fluxo.

Capturas de ecrã a mostrar a página Dimensionamento de uma tarefa do Stream Analytics.

Passos seguintes

Para saber mais sobre as consultas do Stream Analytics, veja Linguagem de Consulta do Stream Analytics