Usar o Azure Stream Analytics com o pool de SQL dedicado no Azure Synapse Analytics

Artigo
06/01/2023

A Stream Analytics do Azure é um serviço completamente gerenciado que oferece baixa latência, alta disponibilidade e processamento escalonável de eventos complexos ao longo do fluxo de dados na nuvem. Você pode aprender as noções básicas lendo Introdução ao Stream Analytics do Azure. Depois, você pode saber como criar uma solução de ponta a ponta com o Stream Analytics seguindo o tutorial Introdução ao uso do Stream Analytics do Azure.

Neste artigo, você aprenderá a usar seu pool de SQL dedicado como um coletor de saída para a ingestão de dados de alta taxa de transferência com trabalhos do Azure Stream Analytics.

Pré-requisitos

Trabalho do Azure Stream Analytics: para criar um trabalho do Azure Stream Analytics, siga as etapas do tutorial Introdução ao uso do Azure Stream Analytics para:

Criar uma entrada de Hubs de Eventos

Configurar e iniciar o aplicativo gerador de evento. Esse aplicativo envia dados de um cliente por meio dos Hubs de Eventos. A estrutura JSON dos dados é assim:

{
    RecordType: "",
    SystemIdentity: "",
    FileNum: ,
    SwitchNum: "",
    CallingNum: "",
    CallingIMSI: "",
    CalledNum: "",
    CalledIMSI: "",
    DateS: "",
    TimeS: "",
    TimeType: ,
    CallPeriod: ,
    CallingCellID: "",
    CalledCellID: "",
    ServiceType: "",
    Transfer: ,
    IncomingTrunk: "",
    OutgoingTrunk: "",
    MSRN: "",
    CalledNum2: "",
    FCIFlag: "",
    callrecTime: "",
    EventProcessedUtcTime: "",
    PartitionId: ,
    EventEnqueuedUtcTime: ""
}

Provisionar um trabalho de análise de fluxo
Especifique a entrada e a consulta do trabalho

Pool de SQL dedicado: para criar um pool de SQL dedicado, siga as etapas do Guia de início rápido: Criar um pool de SQL dedicado.

Especificar a saída de streaming para apontá-la para o pool de SQL dedicado

Etapa 1

No portal do Azure, acesse seu trabalho do Stream Analytics e clique em Saídas no menu Topologia de trabalho.

Etapa 2

Clique no botão Adicionar e escolha Azure Synapse Analytics no menu suspenso.

Escolher o Azure Synapse Analytics

Etapa 3

Insira os seguintes valores:

Alias de saída: insira um nome amigável para essa saída de trabalho.
Assinatura:
- Se o seu pool de SQL dedicado estiver na mesma assinatura que o trabalho do Stream Analytics, clique em Selecionar o Azure Synapse Analytics nas suas assinaturas.
- Se ele estiver em outra assinatura, clique em Fornecer configurações do Azure Synapse Analytics manualmente.
Banco de dados: selecione o banco de dados de destino na lista suspensa.
Nome de usuário: especifique o nome de usuário de uma conta que tenha permissões de gravação para o banco de dados.
Senha: forneça a senha da conta de usuário especificada.
Tabela: especifique o nome da tabela de destino no banco de dados.
clique no botão Salvar

Formulário preenchido do Azure Synapse Analytics

Etapa 4

Para executar um teste, crie a tabela no pool de SQL dedicado. Execute o script de criação de tabela a seguir usando o SSMS (SQL Server Management Studio) ou a ferramenta de consulta de sua preferência.

CREATE TABLE SensorLog
(
    RecordType VARCHAR(2)
    , SystemIdentity VARCHAR(2)
    , FileNum INT
    , SwitchNum VARCHAR(50)
    , CallingNum VARCHAR(25)
    , CallingIMSI VARCHAR(25)
    , CalledNum VARCHAR(25)
    , CalledIMSI VARCHAR(25)
    , DateS VARCHAR(25)
    , TimeS VARCHAR(25)
    , TimeType INT
    , CallPeriod INT
    , CallingCellID VARCHAR(25)
    , CalledCellID VARCHAR(25)
    , ServiceType VARCHAR(25)
    , [Transfer] INT
    , IncomingTrunk VARCHAR(25)
    , OutgoingTrunk VARCHAR(25)
    , MSRN VARCHAR(25)
    , CalledNum2 VARCHAR(25)
    , FCIFlag VARCHAR(25)
    , callrecTime VARCHAR(50)
    , EventProcessedUtcTime VARCHAR(50)
    , PartitionId int
    , EventEnqueuedUtcTime VARCHAR(50)
    )
WITH (DISTRIBUTION = ROUND_ROBIN)

Etapa 5

No portal do Azure, no trabalho do Stream Analytics, clique no nome dele. Clique no botão Testar do painel Detalhes da Saída.

Botão Testar em Detalhes da saída Quando a conexão com o banco de dados for estabelecida com sucesso, você verá uma notificação no portal.

Etapa 6

Clique no menu Consulta em Topologia do trabalho e altere a consulta para inserir dados na saída do Stream criado. Clique no botão Testar consulta selecionada para testar a consulta. Clique no botão Salvar Consulta quando o teste da consulta for bem-sucedido.

Salvar consulta

Etapa 7

Inicie o trabalho do Azure Stream Analytics. Clique no botão Iniciar no menu Visão Geral.

Iniciar trabalho do Stream Analytics

Clique no botão Iniciar do painel Iniciar trabalho.

Clique em Iniciar

Próximas etapas

Para obter uma visão geral da integração, confira Integrar outros serviços. Para obter mais dicas de desenvolvimento, confira Decisões de design e técnicas de codificação para o pool de SQL dedicado.

Compartilhar via