Partilhar via

Filtrar e ingerir para Azure Data Lake Storage Gen2 com o Editor de código do Stream Analytics

  • Artigo

Este artigo descreve como pode utilizar o editor sem código para criar facilmente uma tarefa do Stream Analytics. Lê continuamente a partir dos Hubs de Eventos, filtra os dados recebidos e, em seguida, escreve os resultados continuamente para Azure Data Lake Storage Gen2.

Pré-requisitos

  • Os seus recursos de Hubs de Eventos do Azure têm de estar acessíveis publicamente e não estar protegidos por uma firewall ou num Rede Virtual do Azure
  • Os dados nos Hubs de Eventos têm de ser serializados no formato JSON, CSV ou Avro.

Desenvolver uma tarefa do Stream Analytics para filtrar e ingerir dados em tempo real

  1. No portal do Azure, localize e selecione a instância Hubs de Eventos do Azure.

  2. Selecione Funcionalidades>Processar Dados e, em seguida, selecione Iniciar no cartão Filtrar e ingerir no ADLS Gen2 .
    Captura de ecrã a mostrar o cartão Filtrar e ingerir para o ADLS Gen2 onde seleciona Iniciar.

  3. Introduza um nome para a tarefa do Stream Analytics e, em seguida, selecione Criar.
    Captura de ecrã a mostrar onde introduzir um nome de tarefa.

  4. Especifique o tipo de Serialização dos seus dados na janela Hubs de Eventos e o método de Autenticação que a tarefa utilizará para ligar aos Hubs de Eventos. Em seguida, selecione Ligar.
    Captura de ecrã a mostrar a área Dos Hubs de Eventos onde seleciona Serialização e Método de autenticação.

  5. Se a ligação for estabelecida com êxito e tiver fluxos de dados a fluir para a instância dos Hubs de Eventos, verá imediatamente duas coisas:

    1. Campos que estão presentes nos dados de entrada. Pode escolher Adicionar campo ou selecionar o símbolo de três pontos junto a cada campo para remover, mudar o nome ou alterar o respetivo tipo.
      Captura de ecrã a mostrar onde pode adicionar um campo ou remover, mudar o nome ou alterar um tipo de campo.
    2. Um exemplo dinâmico de dados recebidos na tabela Pré-visualização de dados na vista de diagrama. Atualiza-se automaticamente periodicamente. Pode selecionar Colocar em pausa a pré-visualização da transmissão em fluxo para ver uma vista estática dos dados de entrada de exemplo.
      Captura de ecrã a mostrar dados de exemplo no separador Pré-visualização de dados.

  6. Selecione o mosaico Filtro . Na área Filtro , selecione um campo para filtrar os dados recebidos com uma condição.
    Captura de ecrã a mostrar a área Filtro onde pode adicionar um filtro condicional.

  7. Selecione o mosaico Azure Data Lake Storage Gen2. Selecione a conta do Azure Data Lake Gen2 para enviar os dados filtrados:

    1. Selecione a subscrição, o nome da conta de armazenamento e o contentor no menu pendente.
    2. Após a seleção da subscrição , o método de autenticação e a chave da conta de armazenamento devem ser preenchidos automaticamente. Selecione Ligar.
      Para obter mais informações sobre os campos e para ver exemplos de padrão de caminho, veja Armazenamento de blobs e saída do Azure Data Lake Gen2 do Azure Stream Analytics.
      Captura de ecrã a mostrar as definições de configuração da ligação do contentor de blobs do Azure Data Lake Gen2.

  8. Opcionalmente, selecione Obter pré-visualização estática/Atualizar pré-visualização estática para ver a pré-visualização de dados que será ingerida a partir de Azure Data Lake Storage Gen2.
    Captura de ecrã a mostrar a pré-visualização de dados e a opção Atualizar pré-visualização estática.

  9. Selecione Guardar e, em seguida, selecione Iniciar a tarefa do Stream Analytics.
    Captura de ecrã a mostrar as opções Guardar e Iniciar da tarefa.

  10. Para iniciar a tarefa, especifique o número de Unidades de Transmissão em Fluxo (SUs) com que a tarefa é executada. As SUs representam a quantidade de computação e memória alocadas à tarefa. Recomendamos que comece com três e, em seguida, ajuste conforme necessário.

  11. Depois de selecionar Iniciar, a tarefa começa a ser executada dentro de dois minutos e as métricas serão abertas na secção de separadores abaixo.

    Captura de ecrã a mostrar a janela Iniciar tarefa do Stream Analytics.

    Pode ver a tarefa na secção Processar Dados no separador Tarefas do Stream Analytics . Selecione Atualizar até ver o estado da tarefa como Em Execução. Selecione Abrir métricas para monitorizá-lo ou parar e reiniciá-lo, conforme necessário.

    Captura de ecrã a mostrar o separador Tarefas do Stream Analytics.

    Segue-se uma página de Métricas de exemplo:

    Captura de ecrã a mostrar a página Métricas.

Verificar dados no Data Lake Storage

  1. Deverá ver os ficheiros criados no contentor que especificou.

    Captura de ecrã a mostrar o ficheiro gerado com dados filtrados no Azure Data Lake Storage.

  2. Transfira e abra o ficheiro para confirmar que vê apenas os dados filtrados. No exemplo seguinte, verá dados com SwitchNum definidos como E.U.A.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Passos seguintes

Saiba mais sobre o Azure Stream Analytics e como monitorizar a tarefa que criou.