Utilizar o editor sem código do Azure Stream Analytics para transformar e armazenar dados na base de dados SQL do Azure

Artigo
06/14/2023

Este artigo descreve como pode utilizar o editor sem código para criar facilmente uma tarefa do Stream Analytics, que lê continuamente dados de uma instância dos Hubs de Eventos (hub de eventos), transforma os dados e, em seguida, escreve resultados numa base de dados SQL do Azure.

Pré-requisitos

Os recursos Hubs de Eventos do Azure e da Base de Dados SQL do Azure têm de estar acessíveis publicamente e não estar protegidos por uma firewall ou protegidos num Rede Virtual do Azure. Os dados nos Hubs de Eventos têm de ser serializados no formato JSON, CSV ou Avro.

Se quiser experimentar os passos neste artigo, siga estes passos.

Crie um hub de eventos se ainda não tiver um. Gerar dados no hub de eventos. Na página Instância dos Hubs de Eventos , selecione Gerar dados (pré-visualização) no menu esquerdo, selecione Dados de stock para Conjunto de dados e, em seguida, selecione Enviar para enviar alguns dados de exemplo para o hub de eventos. Este passo é necessário se quiser testar os passos neste artigo.
Criar uma base de dados SQL do Azure. Eis alguns pontos importantes a ter em conta ao criar a base de dados.
1. Na página Noções básicas , selecione Criar novo para o Servidor. Em seguida, na página Criar Base de Dados SQL servidor, selecione Utilizar autenticação SQL e especifique o ID de utilizador administrador e a palavra-passe.
2. Na página Rede , siga estes passos:
  1. Ativar Ponto final público.
  2. Selecione Sim para Permitir que os serviços e recursos do Azure acedam a este servidor.
  3. Selecione Sim para Adicionar endereço IP do cliente atual.
3. Na página Definições adicionais , selecione Nenhuma para Utilizar dados existentes.
4. No artigo, ignore os passos nas secções Consultar a base de dados e Limpar recursos .
5. Se quiser testar os passos, crie uma tabela na base de dados SQL com o Editor de consultas (pré-visualização).
```
create table stocks (
    symbol varchar(4),
    price decimal
)
```

Utilizar o editor sem código para criar uma tarefa do Stream Analytics

Nesta secção, vai criar uma tarefa do Azure Stream Analytics com o editor sem código. A tarefa transforma a transmissão de dados de uma instância dos Hubs de Eventos (hub de eventos) e armazena os dados de resultados numa base de dados SQL do Azure.

Na portal do Azure, navegue para a página Instância dos Hubs de Eventos do hub de eventos.
Selecione Funcionalidades>Processar Dados no menu esquerdo e, em seguida, selecione Iniciar no cartão Transformar e armazenar dados na base de dados SQL .
Introduza um nome para a tarefa do Stream Analytics e, em seguida, selecione Criar. Verá o diagrama de tarefas do Stream Analytics com a janela Hubs de Eventos à direita.
Na janela Hub de eventos , reveja definições de Serialização e Modo de autenticação e selecione Ligar.
Quando a ligação for estabelecida com êxito e tiver dados na instância dos Hubs de Eventos, verá duas coisas:
- Campos que estão presentes nos dados de entrada. Pode selecionar Adicionar campo ou selecionar o símbolo de três pontos junto a um campo para remover, mudar o nome ou alterar o respetivo tipo.
- Um exemplo dinâmico de dados recebidos na tabela Pré-visualização de dados na vista de diagrama. Atualiza-se automaticamente periodicamente. Pode selecionar Colocar em pausa a pré-visualização da transmissão em fluxo para ver uma vista estática dos dados de entrada de exemplo.
Selecione o mosaico Agrupar por para agregar os dados. No painel Agrupar por configuração, pode especificar o campo que pretende Agrupar Por juntamente com a janela Tempo.

No exemplo seguinte, é utilizada a média de preço e símbolo .
Pode validar os resultados do passo na secção Pré-visualização de dados .
Selecione o mosaico Gerir campos . No painel de configuração Gerir campos, selecione os campos que pretende exportar ao selecionar Adicionar campo ->Esquema Importado -> campo.

Se quiser adicionar todos os campos, selecione Adicionar todos os campos. Ao adicionar um campo, pode especificar um nome diferente para o resultado. Por exemplo, AVG_Value para Value. Depois de guardar as seleções, verá dados no painel Pré-visualização de dados .

No exemplo seguinte, estão selecionados Símbolo e AVG_Value . O símbolo é mapeado para símbolo e AVG_Value é mapeado ao preço.
Selecione mosaico SQL . No painel de configuração Base de Dados SQL, preencha os parâmetros necessários e ligue-se. Selecione Carregar tabela existente para que a tabela seja selecionada automaticamente. No exemplo seguinte, [dbo].[stocks] é escolhido. Em seguida, selecione Ligar.

Nota

O esquema da tabela que escolher escrever tem de corresponder exatamente ao número de campos e aos respetivos tipos gerados pela sua pré-visualização de dados.
No painel Pré-visualização de dados , verá a pré-visualização de dados que é ingerida na base de dados SQL.
Selecione Guardar e, em seguida, selecione Iniciar a tarefa do Stream Analytics.
Para iniciar a tarefa, especifique:
- O número de Unidades de Transmissão em Fluxo (SUs) com que a tarefa é executada. As SUs representam a quantidade de computação e memória alocada à tarefa. Recomendamos que comece com três e, em seguida, ajuste conforme necessário.
- Processamento de erros de dados de saída – permite-lhe especificar o comportamento que pretende quando a saída de uma tarefa para o destino falha devido a erros de dados. Por predefinição, a tarefa é repetida até que a operação de escrita seja bem-sucedida. Também pode optar por remover esses eventos de saída.
Depois de selecionar Iniciar, a tarefa começa a ser executada dentro de dois minutos. Verá o painel de métricas no painel inferior aberto. Este painel demora algum tempo a ser atualizado. Selecione Atualizar no canto superior direito do painel para atualizar o gráfico. Avance para o passo seguinte num separador ou janela separado do browser.

Também pode ver a tarefa na secção Dados do Processo no separador Tarefas do Stream Analytics . Selecione Abrir métricas para monitorizá-la ou parar e reiniciá-la, conforme necessário.
Navegue para o hub de eventos no portal numa janela ou separador do browser separado e envie dados de stock de exemplo novamente (como fez nos pré-requisitos). Na página Instância dos Hubs de Eventos , selecione Gerar dados (pré-visualização) no menu esquerdo, selecione Dados de stock para Conjunto de dados e, em seguida, selecione Enviar para enviar alguns dados de exemplo para o hub de eventos. A atualização do painel Métricas demora alguns minutos.
Deverá ver registos inseridos na base de dados SQL do Azure.