Partilhar via

Dados de Referência JOIN

✅ Azure Stream Analytics ✅ Fabric Eventstream

Em um cenário usual, usamos um mecanismo de processamento de eventos para calcular dados de streaming com latência muito baixa. Em muitos casos, os usuários precisam correlacionar dados históricos persistentes ou um conjunto de dados de mudança lenta (também conhecido como dados de referência) com o fluxo de eventos em tempo real para tomar decisões mais inteligentes sobre o sistema. Por exemplo, associe meu fluxo de eventos a um conjunto de dados estático que mapeia endereços IP para locais. Este é o único JOIN suportado no Stream Analytics onde um limite temporal não é necessário. Os dados de referência também podem ser usados para ter valores de limite específicos do dispositivo.

Exemplo

Se um veículo comercial estiver registrado na Companhia de Pedágio, ele pode passar pela cabine de pedágio sem ser parado para inspeção. Utilizaremos uma tabela de pesquisa de registo de veículos comerciais para identificar todos os veículos comerciais com matrícula caducada.

SELECT I1.EntryTime, I1.LicensePlate, I1.TollId, R.RegistrationId  
FROM Input1 I1 TIMESTAMP BY EntryTime  
JOIN Registration R  
ON I1.LicensePlate = R.LicensePlate  
WHERE R.Expired = '1'

Particularidades dos Dados de Referência JOIN

  • O uso do JOIN de Dados de Referência requer que uma fonte de entrada para Dados de Referência seja definida.
  • Os dados de referência JOIN são suportados para JOIN interno (padrão) e JOIN externo esquerdo, com dados de referência no lado direito do operador JOIN.
  • Os tipos de dados são um aspeto importante na avaliação do predicado de junção (ON cláusula). Valores semelhantes em diferentes tipos de dados (1.0 e "1") podem não ser correspondidos. Recomenda-se converter explicitamente chaves para um tipo comum.
  • Os dados de referência podem ser estáticos (carregados apenas uma vez) ou dinâmicos (atualizados regularmente). No entanto, mesmo no caso dinâmico, os dados de referência não fazem o progresso do tempo, de modo que o fluxo do lado esquerdo precisa obter novos eventos para produzir saídas. Consulte também como o tempo progride no azure stream analytics para obter mais informações.

Considerações sobre desempenho

Para evitar degradações de desempenho, os predicados de junção de referência (ON cláusula) devem ser definidos através de igualdades chave simples (ON s.myKey = r.myKey). O uso de expressões complexas, ou desigualdades, resultará internamente em junções cruzadas seguidas por filtros (verificação completa vs pesquisa), o que pode afetar severamente a latência geral.

Quando possível, mova essas expressões complexas para a WHERE cláusula da etapa de consulta ou junte os mesmos Dados de Referência várias vezes, cada uma com condições mais simples.

Ver também

  • Last updated on