MATCH_RECOGNIZE (Stream Analytics)

  • Artigo

A cláusula MATCH_RECOGNIZE é usada para pesquisar um conjunto de eventos em um fluxo de dados. Essa cláusula permite que você defina padrões de evento usando expressões regulares e métodos de agregação para verificar e extrair valores da correspondência.

O exemplo a seguir mostra a estrutura básica de uma cláusula MATCH_RECOGNIZE:

SELECT *
INTO output FROM input TIMESTAMP BY time
	MATCH_RECOGNIZE (
		LIMIT DURATION (minute, 1)
		PARTITION BY tollBoothId
		MEASURES
			Last(Toyota.LicensePlate) AS toyotaLicensePlate,
			Last(Lexus.LicensePlate) AS lexusLicensePlate
		AFTER MATCH SKIP TO NEXT ROW
		PATTERN (Toyota+ Ford* Lexus+)
		DEFINE
			Toyota AS Toyota.make = 'Toyota',
			Ford AS Ford.make = 'Ford',
			Lexus AS Lexus.make = 'Lexus'
	) AS T

MATCH_RECOGNIZE tem uma saída correspondente de UMA LINHA POR CORRESPONDÊNCIA como padrão, que é a única correspondência disponível. Isso significa que a correspondência produz um resultado de linha única por correspondência e não retorna as linhas correspondentes.

Syntax

SELECT_star_query_definition
MATCH_RECOGNIZE (
	LIMIT DURATION (time_unit, time)
	PARTITION BY column_alias
	MEASURES
		expression AS column_alias [,...n]
	AFTER MATCH SKIP TO NEXT ROW
	PATTERN ( <pattern_group> )
	DEFINE
		pattern_name AS boolean_expression [,…n]
) AS column_alias

<pattern_group> ::=
{
	<pattern_name_modifier> [ | <pattern_group> ]*
}
<pattern_name_modifier> ::=
{
	<pattern_atom> [ <pattern_atom> ]*
}
<pattern_atom> ::=
{
	[ pattern_name | ( <pattern_group> ) ] [ <pattern_modifier> ]?
}
<pattern_name> :: =
{
	name | .
}
<pattern_modifier> ::=
{
	* | + | ?
}

DURAÇÃO DO LIMITE

A duração do limite é usada para definir uma janela de tempo para o padrão a ser pesquisado. Os eventos são ordenados por hora e TIMESTAMP BY pode ser usado na cláusula SELECT para especificar o campo de tempo.

PARTITION BY

PARTITION BY permite que a correspondência seja chaveada e particionada por um nome de coluna. Uma correspondência ocorrerá em cada chave exclusiva especificada pela instrução de partição. Isso permite que uma única consulta seja correspondida em todas as chaves e gere correspondências separadas, uma para cada chave.

APÓS A CORRESPONDÊNCIA, PULE PARA A PRÓXIMA LINHA

Essa cláusula skip define que, depois que um padrão for correspondido a partir do evento S, o próximo padrão de tentativa de correspondência será iniciado no evento S+1. As correspondências podem se sobrepor nesse caso, pois um padrão pode conter o início de outro padrão dentro. Esta é a única cláusula skip disponível.

MEDIDAS

MEASURES é usado para definir os valores projetados da correspondência usando métodos de agregação. Por exemplo, LAST(A.id) AS aid produzirá o último id valor encontrado em todos os eventos que corresponderam ao padrão nomeado A no nome aiddo campo .

Função de Classificador

A função de classificador pode ser usada em MEASURES para gerar nomes de padrões correspondentes a eventos de entrada. A função retorna uma lista de cadeias de caracteres, cada uma com o nome do padrão que correspondeu a um evento.

PATTERN

O padrão define a expressão regular de eventos a serem pesquisados no fluxo de dados. As variáveis de padrão são definidas pelo usuário e separadas por espaços. Modificadores como + e * podem ser usados para modificar a frequência de uma variável ao corresponder eventos.

Exemplo

PATTERN (A+ (B | C))

O padrão neste exemplo define uma variável A pelo menos uma vez, seguida por uma concatenação de B ou C.

Quantificadores de padrão

Quantificadores de padrão são usados para alterar como um padrão é mapeado no fluxo de dados, definindo quantas vezes um padrão precisa corresponder para ser válido. Os seguintes quantificadores estão disponíveis:

  • '*' - Zero ou mais vezes
  • '+' - Uma ou mais vezes
  • '?' – Zero ou uma vez
  • '|' - Um padrão ou outro

Exemplo:

PATTERN (A? B+)

Este exemplo define uma hora 0 ou 1 seguida por B pelo menos uma vez.

DEFINIR

DEFINE especifica as regras usadas para corresponder uma variável de padrão a um evento. As regras são expressões boolianas sobre valores agregados do fluxo de dados.

DEFINE
    A AS Last(A.bigint) > 5,
    B AS Last(A.bigint) < B.bigint

Este exemplo define as regras A e B , em que o valor LAST de A é maior que 5 e B , em que o valor LAST de A é menor que o valor atual de B. Quando não estiver usando uma função de agregação na expressão DEFINE, o evento atual que está sendo avaliado associa-se à variável de padrão, por exemplo, em B.bigint , o valor B vem do evento atual que está sendo avaliado.

Os padrões definidos só poderão ser acessados na ordem, se o padrão A for definido antes do padrão B, A não poderá referenciar B.

Permitido

...
DEFINE
A AS Last(A.value),
B AS Max(A.value) + Max(B.value),
...

Não permitido

...
DEFINE
A AS Last(A.value) + Last(B.Value),
B AS Max(A.value) + Max(B.value),
...

Métodos de agregação

Os seguintes métodos de agregação podem ser usados em MEASURES e DEFINE:

  • Min – o número mínimo agregado até agora.
  • Máx. – o número máximo agregado até agora.
  • Primeiro – o primeiro valor agregado.
  • Último – o último valor agregado até agora.

Exemplo:

Recarregar tanques de alta pressão é um processo perigoso e precisa ser monitorado de perto à medida que a pressão crescente em um tanque também aumenta sua temperatura, a pressão precisa aumentar constantemente para dar tempo para o tanque esfriar enquanto recarrega.

Neste exemplo, o desenvolvedor deseja monitorar o refilamento de um tanque de alta pressão à medida que começa a aumentar a pressão. O tanque começa a recarregar e não pode aumentar a pressão em seu duplo em menos de 3 minutos, caso contrário, o tanque superaquece e pode causar uma falha catastrófica.

A consulta a seguir pode ser usada para monitorar o progresso:

SELECT *
INTO output FROM input TIMESTAMP BY time
MATCH_RECOGNIZE (
	LIMIT DURATION (minute, 3)
	MEASURES
 		MAX(Dangerous.pressure) as pressure,
		Classifier() as patterns
	AFTER MATCH SKIP TO NEXT ROW
	PATTERN (Normal+ Dangerous+)
	DEFINE
		Normal AS Normal.isFilling = 1,
		Dangerous AS Max(Dangerous.pressure) > 2* Max(Normal.pressure)
) AS T

Essa consulta corresponde a Normal a qualquer evento que esteja preenchendo o tanque e, caso a pressão seja mais do que o dobro de um preenchimento Normal dentro de 3 minutos, do que um evento é disparado com a leitura de pressão máxima para o padrão Perigoso .

Limitações

  • Somente valores de campo podem ser usados para agregações. Nenhuma função pode ser chamada dentro de uma chamada de agregação.

    Permitido

    ...
DEFINE
      A AS Max(A.value) > 5,
...

    Não permitido

    ...
DEFINE
      A AS Max(udf.myUdf(A.value)) > 5,
...

  • Somente um único campo pode ser fornecido a uma função de agregação como parâmetro de entrada.

    Permitido

    ...
    DEFINE
  	    A AS Max(A.value) > 5,
  ...

    Não permitido

      ...
  DEFINE
      A AS Max(A.value1 + A.value2) > 5,
  ...

Confira também