Tipos de dados (Azure Stream Analytics)

Artigo
03/09/2023

No Azure Stream Analytics, cada registro tem um tipo de dados relacionado. Um tipo de dados descreve (e restringe) o conjunto de valores que um registro desse tipo pode conter ou uma expressão desse tipo pode produzir.

Observe que são registros que têm um tipo e não colunas. Cada registro de uma coluna pode ter um tipo diferente. Se isso for transparente para a maioria dos aplicativos, ele permitirá a manipulação direta de cenários de descompasso de esquema e outros padrões de digitação incomuns.

Tipos de dados com suporte

Segue a lista de tipos de dados com suporte.

Data type	Descrição
BIGINT	Inteiros no intervalo de -2^63 (-9,223,372,036,854,775,808) a 2^63-1 (9,223,372,036,854,775,807).
FLOAT	Números de ponto flutuante no intervalo de - 1.79E+308 a -2.23E-308, 0, e 2.23E-308 a 1.79E+308. Valores decimais de ponto flutuante geralmente não têm uma representação binária exata. A perda de precisão pode ser experimentada. Isso não é específico do Azure Stream Analytics, mas ocorre em todas as implementações de número de ponto flutuante.
nvarchar(max)	Valores de texto, compostos por caracteres Unicode. Observação: não há suporte para um valor diferente de max.
DATETIME	Define uma data combinada com uma hora do dia com segundos fracionários (7 dígitos, precisão de 100 nanossegundos) que se baseia em um relógio de 24 horas e em relação a UTC (deslocamento de fuso horário 0).
bit	Um inteiro que pode ter um valor de 1, 0 ou NULL. Há suporte para isso no nível de compatibilidade 1.2 e superior.
registro	Conjunto de pares nome/valor. Os valores devem ser do tipo de dados com suporte.
array	Coleção ordenada de valores. Os valores devem ser do tipo de dados com suporte.

Você pode ingressar em (ou comparar) um bigint e um tipo de dados float. Ele funcionará corretamente em todos os casos, exceto no caso dos valores bigint muito grandes que não podem ser representados.

Observação

Ao ler tipos de dados bigint fora do intervalo, o Azure Stream Analytics dá suporte, seu trabalho do Stream Analytics falharia em desserializar os eventos com a mensagem de erro: InputDeserializationError. Você pode pré-processar os dados e convertê-los em cadeia de caracteres. Uma opção é usar as funções do Azure para pré-processar os dados e converter esses inteiros grandes em cadeia de caracteres.

Conversões de tipo

Estas são as regras que regem as conversões de tipo de dados:

A conversão sem perda de precisão durante as operações de leitura e gravação de saída de entrada é implícita e é sempre bem-sucedida
A perda de precisão e o estouro dentro das operações de gravação de saída são tratados pela política de erro configurada (definida como Drop ou Retry)
Erros de conversão de tipo que ocorrem durante as operações de gravação de saída são tratados pela política de erro
Erros de conversão de tipo ocorrendo durante operações de leitura de entrada fazem com que o trabalho remova o evento

Uma perda de precisão pode ocorrer na conversão de valores para float. Ele não é específico para o Azure Stream Analytics, mas para o tipo de dados float em geral. Como tal, não é considerado um erro. No caso em que cada dígito precisa ser conservado, os dados devem ser lidos como cadeia de caracteres.

Dados de conversão

Há quatro funções na linguagem SQL de streaming que são úteis para observar e ajustar o tipo de dados de seus dados.

CAST : converter uma única coluna em um determinado tipo – falhará no trabalho em caso de erro de conversão
TRY_CAST : converter uma única coluna em um determinado tipo – os erros são transmitidos como NULL. Confira validação de entrada para saber como usar melhor TRY_CAST
CREATE TABLE : defina um único esquema explícito para uma entrada. Linhas com erros de conversão são removidas do fluxo
GetType : retornar o tipo de uma coluna

Para a maioria dos casos de uso, a opção recomendada é usar TRY_CAST. Essa função protege o processamento downstream garantindo o tipo de saída, evitando a perda de dados substituindo o valor em erro por NULL. A linha não é descartada e esse valor original ainda pode ser projetado em outra coluna.

Para garantias fortes, a opção recomendada é usar CREATE TABLE. Essa abordagem permite informar o trabalho do esquema de uma determinada entrada, sem risco de desvio. A compensação é que apenas um único esquema pode ser definido em uma determinada entrada e linhas não compatíveis serão descartadas.

Se possível, todas as operações de conversão devem ser feitas explicitamente por meio dessas funções, em vez de implicitamente (silenciosamente) em outras funções. Isso evita incompatibilidades de tipo, comportamentos inesperados e erros de inserção para saídas fortemente tipdas, como bancos de dados SQL. Consulte validação de entrada para saber como proteger a lógica de consulta principal contra esses erros.

Conversão em bit

Os valores serão convertidos entre float e bit com as seguintes regras:

De	Para
(BIT) 1	(FLOAT) 1.0
(BIT) 0	(FLOAT) 0.0
(BIT) NULL	(FLOAT) NULL
(FLOAT) 0.0	(BIT) 0
(FLOAT) qualquer outro valor	(BIT) 1
(FLOAT) NULL	(BIT) NULL

Mapeamentos de tipo e formatos de serialização

Tipo de dados	CSV em	CSV fora	JSON em	JSON fora	Avro in	Avro out
bigint	cadeia de caracteres convertida em inteiro assinado de 64 bits	Inteiro com sinal de 64 bits convertido em cadeia de caracteres usando a cultura do trabalho	number: inteiro convertido em inteiro com sinal de 64 bits; Booliano: no nível de compatibilidade 1.1 e abaixo de "false" é convertido em 0, "true" é convertido em 1	número: inteiro	long e int convertidos em inteiro com sinal de 64 bits; Booliano: no nível de compatibilidade 1.1 e abaixo de false é convertido em 0, true é convertido em 1	long
float	cadeia de caracteres convertida em número de ponto de flutuação assinado de 64 bits	Número de ponto float com sinal de 64 bits convertido em cadeia de caracteres usando a cultura do trabalho	número: fração convertida em número de ponto de flutuação assinado de 64 bits	número: fração	double e float convertidos em número de ponto de flutuação assinado de 64 bits	double
nvarchar(max)	string	string	string	string	string	string
datetime	cadeia de caracteres convertida em datetime seguindo o padrão ISO 8601	cadeia de caracteres usando o padrão ISO 8601	cadeia de caracteres convertida em datetime seguindo o padrão ISO 8601	datetime convertido em cadeia de caracteres usando o padrão ISO 8601	cadeia de caracteres convertida em datetime seguindo o padrão ISO 8601	datetime convertido em cadeia de caracteres usando o padrão ISO 8601
bit (nível de compatibilidade 1.2 e superior)	cadeia de caracteres "true", "false" ou "null" é convertida em valor inteiro 1, 0 ou nulo correspondentemente	convertido em cadeia de caracteres "true" ou "false"	Booliano: "false" é convertido em 0, "true" é convertido em 1	Booliano: valor booliano	Booliano: false é convertido em 0, true é convertido em 1	booleano
record	N/D	Sem suporte, a cadeia de caracteres "Record" é gerada	Objeto JSON	Objeto JSON	Tipo de registro Avro	Tipo de registro Avro
array	N/D	Sem suporte, a cadeia de caracteres "Array" é gerada	Objeto JSON	Objeto JSON	Tipo de registro Avro	Tipo de registro Avro

Observação

Nenhuma conversão de tipo de dados é necessária para Parquet.

Mapeamento de tipo ao gravar em armazenamentos de dados estruturados

Tipo de dados	SQL	Power BI	Azure Cosmos DB	PostgreSQL	Azure Data Explorer
bigint	bigint, int, smallint, tinyint, todos os tipos de cadeia de caracteres (ntext, nvarchar, char, ...)	sim	numeric: inteiro	BIGINT	dynamic, int, long
float	float, real, decimal, numeric, todos os tipos de cadeia de caracteres ( ntext, nvarchar, char, ...)	sim	número: fração	precisão dupla, numérica. Limitado a 1,78E+308	dinâmico, real, duplo
nvarchar(max)	Todos os tipos de cadeia de caracteres (ntext, nvarchar, char, uniqueidentifier...)	sim	string	caractere variável, texto	dynamic, string
datetime	datetime, datetime2, datetimeoffset, todos os tipos de cadeia de caracteres ( ntext, nvarchar, char, ...)	sim	datetime convertido em cadeia de caracteres usando o padrão ISO 8601	carimbo de data/hora, hora. Opção de fuso horário com suporte, mas nenhum fuso horário será fornecido	dynamic, string, datetime
bit (nível de compatibilidade 1.2 e superior)	bigint, int, smallint, tinyint, bit, todos os tipos de cadeia de caracteres (ntext, nvarchar, char, ...)	sim	booliano: 1 é convertido em true, 0 convertido em false	bit	dynamic, bool
record	Sem suporte, a cadeia de caracteres "Record" é gerada	Sem suporte, a cadeia de caracteres "Record" é gerada	Objeto JSON	Sem suporte	dynamic, bool, long, datetime, byte array, real, double, string
array	Sem suporte, a cadeia de caracteres "Array" é gerada	Sem suporte, a cadeia de caracteres "Array" é gerada	Objeto JSON	Sem suporte	dynamic, string