Partilhar via

Filtrar e ingerir para o Azure Synapse SQL usando o Stream Analytics sem editor de código

  • Artigo

Este artigo descreve como você pode usar o editor sem código para criar facilmente um trabalho do Stream Analytics. Ele lê continuamente de seus Hubs de Eventos, filtra os dados de entrada e, em seguida, grava os resultados continuamente na tabela Synapse SQL.

Pré-requisitos

  • Os recursos dos Hubs de Eventos do Azure devem estar acessíveis publicamente e não podem estar protegidos em um firewall ou protegidos em uma Rede Virtual do Azure.
  • Os dados em seus Hubs de Eventos devem ser serializados no formato JSON, CSV ou Avro.

Desenvolver um trabalho do Stream Analytics para filtrar e ingerir dados

Use as etapas a seguir para desenvolver um trabalho do Stream Analytics para filtrar e ingerir dados em tempo real em uma tabela Synapse SQL.

  1. No portal do Azure, localize e selecione sua instância de Hubs de Eventos do Azure.

  2. Selecione Recursos>processar dados e selecione Iniciar no filtro e ingerir no cartão Synapse SQL.
    Captura de tela mostrando os cartões de início de dados dos Hubs de Eventos de Processo.

  3. Insira um nome para identificar seu trabalho do Stream Analytics e selecione Criar.
    Captura de tela mostrando a janela de trabalho do New Stream Analytics onde você insere o nome do trabalho.

  4. Especifique o tipo de serialização de seus dados na janela Hubs de Eventos e o método de Autenticação que o trabalho usará para se conectar aos Hubs de Eventos. Em seguida, selecione Conectar.
    Captura de tela mostrando a configuração de conexão dos Hubs de Eventos.

  5. Quando a conexão for estabelecida com êxito e você tiver fluxos de dados fluindo para sua instância de Hubs de Eventos, você verá imediatamente duas coisas:

    • Campos que estão presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar seu tipo.
      Captura de tela mostrando a lista de campos Hubs de Eventos onde você pode remover, renomear ou alterar o tipo de campo.
    • Uma amostra dinâmica de dados de entrada na tabela de visualização de dados sob o modo de exibição de diagrama. Ele é atualizado automaticamente periodicamente. Você pode selecionar Pausar visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.
      Captura de ecrã a mostrar dados de exemplo em Pré-visualização de Dados.

  6. Na área Filtro, selecione um campo para filtrar os dados recebidos com uma condição.
    Captura de ecrã a mostrar a área Filtro onde pode filtrar os dados recebidos com uma condição.

  7. Selecione a tabela Synapse SQL para enviar seus dados filtrados:

    1. Selecione o método Assinatura, Banco de Dados (nome do pool SQL dedicado) e Autenticação no menu suspenso.
    2. Insira o nome da tabela onde os dados filtrados serão ingeridos. Selecione Ligar.
      Captura de tela mostrando os detalhes da conexão da tabela Synapse SQL.

    Nota

    O esquema da tabela deve corresponder exatamente ao número de campos e seus tipos gerados pela visualização de dados.

  8. Opcionalmente, selecione Obter visualização estática/Atualizar visualização estática para ver a visualização de dados que será ingerida na tabela Synapse SQL selecionada.
    Captura de ecrã a mostrar a opção Obter pré-visualização estática/Atualizar pré-visualização estática.

  9. Selecione Salvar e, em seguida, selecione Iniciar o trabalho do Stream Analytics.
    Captura de ecrã a mostrar as opções Guardar e Iniciar.

  10. Para iniciar o trabalho, especifique:

    • O número de unidades de streaming (SUs) com as quais o trabalho é executado. SUs representa a quantidade de computação e memória alocada para o trabalho. Recomendamos que comece com três e depois ajuste conforme necessário.
    • Tratamento de erros de dados de saída – Permite especificar o comportamento desejado quando a saída de um trabalho para o seu destino falha devido a erros de dados. Por padrão, o trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por descartar esses eventos de saída.
      Captura de tela mostrando as opções de trabalho do Start Stream Analytics onde você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erros de dados de saída.

  11. Depois de selecionar Iniciar, o trabalho começa a ser executado em dois minutos e as métricas serão abertas na seção da guia abaixo.

    Você também pode ver o trabalho na seção Dados do processo na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-lo ou parar e reiniciá-lo, conforme necessário.

    Captura de ecrã do separador de trabalhos do Stream Analytics onde visualiza o estado dos trabalhos em execução.

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica na visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor com um hub de eventos uma saída, pode observar atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre primário e secundário atinja o atraso máximo configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a essas ressalvas, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos está em visualização pública, não recomendamos o uso desse padrão para trabalhos do Stream Analytics de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Próximos passos

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho que você criou.