Typy danych (Azure Stream Analytics)

Artykuł
03/09/2023

W usłudze Azure Stream Analytics każdy rekord ma powiązany typ danych. Typ danych opisuje (i ogranicza) zestaw wartości, które może przechowywać rekord tego typu lub wyrażenie tego typu może wygenerować.

Należy pamiętać, że są to rekordy, które mają typ, a nie kolumny. Każdy rekord kolumny może mieć inny typ. Jeśli będzie to niewidoczne dla większości aplikacji, umożliwia prostą obsługę scenariuszy dryfu schematu i innych nietypowych wzorców pisania.

Obsługiwane typy danych

Poniżej znajduje się lista obsługiwanych typów danych.

Typ danych	Opis
bigint	Liczby całkowite w zakresie -2^63 (-9,223,372,036,854,775,808) do 2^63-1 (9,223,372,036,854,775,807).
float	Liczby zmiennoprzecinkowe w zakresie od 1,79E+308 do -2,23E-308, 0 i 2,23E-308 do 1,79E+308. Wartości dziesiętne zmiennoprzecinkowe zazwyczaj nie mają dokładnej reprezentacji binarnej. Można doświadczyć utraty precyzji. Nie jest to specyficzne dla usługi Azure Stream Analytics, ale występuje we wszystkich implementacjach liczb zmiennoprzecinkowych.
Nvarchar(max)	Wartości tekstowe składające się ze znaków Unicode. Uwaga: wartość inna niż maksymalna nie jest obsługiwana.
datetime	Definiuje datę połączoną z godziną dnia z ułamkami sekund (7 cyfr, precyzja 100 nanosekund), która jest oparta na zegarze 24-godzinnym i względem czasu UTC (przesunięcie strefy czasowej 0).
bit	Liczba całkowita, która może przyjmować wartość 1, 0 lub NULL. Jest to obsługiwane na poziomie zgodności 1.2 lub nowszym.
rejestrowanie	Zestaw par nazwa/wartość. Wartości muszą być obsługiwanego typu danych.
array	Uporządkowana kolekcja wartości. Wartości muszą być obsługiwanego typu danych.

Możesz przyłączyć (lub porównać) bigint i typ danych zmiennoprzecinkowych. Będzie działać poprawnie we wszystkich przypadkach, z wyjątkiem przypadku bardzo dużych wartości bigint, których nie można przedstawić.

Uwaga

Podczas odczytywania typów danych bigint poza zakresem usługa Azure Stream Analytics obsługuje, zadanie usługi Stream Analytics nie może wykonać deserializacji zdarzeń z komunikatem o błędzie: InputDeserializationError. Możesz wstępnie przetworzyć dane i przekonwertować je na ciąg. Jedną z opcji jest użycie funkcji platformy Azure do wstępnego przetwarzania danych i konwertowania takich dużych liczb całkowitych na ciąg.

Konwersje typu

Są to reguły dotyczące konwersji typów danych:

Konwersja bez utraty precyzji podczas operacji odczytu i zapisu danych wyjściowych jest niejawna i zawsze kończy się powodzeniem
Precyzja utraty i przepełnienia wewnątrz operacji zapisu danych wyjściowych jest obsługiwana przez skonfigurowane zasady błędów (ustawione na drop lub Retry)
Błędy konwersji typów występujące podczas operacji zapisu wyjściowego są obsługiwane przez zasady błędów
Błędy konwersji typów występujące podczas operacji odczytu danych wejściowych powodują, że zadanie upuszcza zdarzenie

Utrata dokładności może wystąpić podczas konwertowania wartości na zmiennoprzecinkowe. Nie jest ona specyficzna dla usługi Azure Stream Analytics, ale ogólnie dla typu danych zmiennoprzecinkowych. W związku z tym nie jest uważany za błąd. W przypadku, gdy każda cyfra musi być zachowana, dane powinny być odczytywane jako ciąg.

Rzutowanie danych

Istnieją cztery funkcje w języku SQL przesyłania strumieniowego, które są przydatne do obserwacji i dostosowywania typu danych.

CAST : rzutowanie pojedynczej kolumny do danego typu — zadanie zakończy się niepowodzeniem w przypadku błędu konwersji
TRY_CAST : rzutowanie pojedynczej kolumny do danego typu — błędy są przekazywane jako NULL. Zobacz walidację danych wejściowych , aby dowiedzieć się, jak najlepiej używać TRY_CAST
CREATE TABLE : zdefiniuj pojedynczy jawny schemat dla danych wejściowych. Wiersze z błędami konwersji są usuwane ze strumienia
GetType : zwraca typ kolumny

W większości przypadków użycia zalecaną opcją jest użycie TRY_CAST. Ta funkcja chroni przetwarzanie podrzędne przez zapewnienie typu danych wyjściowych, jednocześnie zapobiegając utracie danych przez zastąpienie wartości w błędzie przez wartość NULL. Wiersz nie jest porzucony i oryginalna wartość nadal może być rzutowana w innej kolumnie.

W przypadku silnych gwarancji zalecaną opcją jest użycie polecenia CREATE TABLE. Takie podejście umożliwia informowanie o zadaniu schematu danych wejściowych bez ryzyka odchylenia. Kompromis jest taki, że można zdefiniować tylko jeden schemat dla danych wejściowych, a niezgodne wiersze zostaną porzucone.

Jeśli to możliwe, wszystkie operacje rzutu powinny być wykonywane jawnie za pośrednictwem tych funkcji, a nie niejawnie (dyskretnie) w innych funkcjach. Pozwala to uniknąć niezgodności typów, nieoczekiwanych zachowań i błędów wstawiania dla silnie typiowanych danych wyjściowych, takich jak bazy danych SQL. Zobacz walidację danych wejściowych , aby dowiedzieć się, jak chronić główną logikę zapytania przed takimi błędami.

Konwersja na bit

Wartości zostaną przekonwertowane między zmiennoprzecinkami i bitami przy użyciu następujących reguł:

Źródło	Działanie
(BIT) 1	(FLOAT) 1.0
(BIT) 0	(FLOAT) 0.0
(BIT) NULL	(FLOAT) NULL
(FLOAT) 0.0	(BIT) 0
(FLOAT) dowolna inna wartość	(BIT) 1
(FLOAT) NULL	(BIT) NULL

Mapowania typów i formaty serializacji

Typ danych	Plik CSV w pliku	Plik CSV na wyjęcie	Kod JSON w pliku	Wyjście kodu JSON	Avro in	Avro out
bigint	ciąg przekonwertowany na 64-bitową liczbę całkowitą ze znakiem	64-bitowa liczba całkowita ze znakiem przekonwertowana na ciąg przy użyciu kultury zadania	liczba: liczba całkowita przekonwertowana na liczbę całkowitą ze znakiem 64-bitowym; Wartość logiczna: w poziomie zgodności 1.1 i poniżej wartości "false" jest konwertowany na wartość 0, wartość "true" jest konwertowana na 1	liczba: liczba całkowita	long i int przekonwertowane na 64-bitowa liczba całkowita ze znakiem; Wartość logiczna: w poziomie zgodności 1.1 i poniżej wartości false jest konwertowana na wartość 0, wartość true jest konwertowana na wartość 1	długi
liczba zmiennoprzecinkowa	ciąg przekonwertowany na liczbę punktów zmiennoprzecinkowych ze znakiem 64-bitowym	64-bitowy numer punktu zmiennoprzecinkowego przekonwertowany na ciąg przy użyciu kultury zadania	liczba: ułamek przekonwertowany na liczbę punktów zmiennoprzecinkowych ze znakiem 64-bitowym	liczba: ułamek	podwójna liczba zmiennoprzecinkowa przekonwertowana na liczbę punktów zmiennoprzecinkowych ze znakiem 64-bitowym	double
Nvarchar(max)	ciąg	ciąg	ciąg	ciąg	ciąg	ciąg
Datetime	ciąg przekonwertowany na datę/godzinę zgodnie ze standardem ISO 8601	ciąg przy użyciu standardu ISO 8601	ciąg przekonwertowany na datę/godzinę zgodnie ze standardem ISO 8601	data/godzina przekonwertowana na ciąg przy użyciu standardu ISO 8601	ciąg przekonwertowany na datę/godzinę zgodnie ze standardem ISO 8601	data/godzina przekonwertowana na ciąg przy użyciu standardu ISO 8601
bit (poziom zgodności 1.2 lub nowszy)	ciąg "true", "false" lub "null" jest konwertowany na wartość całkowitą 1, 0 lub null odpowiednio	przekonwertowany na ciąg "true" lub "false"	Wartość logiczna: wartość "false" jest konwertowana na wartość 0, wartość "true" jest konwertowana na wartość 1	Wartość logiczna: wartość logiczna	Wartość logiczna: wartość false jest konwertowana na wartość 0, wartość true jest konwertowana na wartość 1	boolean
Rekord	Nie dotyczy	Nieobsługiwane ciąg "Record" jest zwracany	Obiekt JSON	Obiekt JSON	Typ rekordu Avro	Typ rekordu Avro
Tablicy	Nie dotyczy	Nieobsługiwane ciąg "Array" jest zwracany	Obiekt JSON	Obiekt JSON	Typ rekordu Avro	Typ rekordu Avro

Uwaga

W przypadku parquet nie jest wymagana konwersja typu danych.

Mapowanie typów podczas zapisywania w magazynach danych strukturalnych

Typ danych	SQL	Power BI	Azure Cosmos DB	PostgreSQL	Azure Data Explorer
bigint	bigint, int, smallint, tinyint, wszystkie typy ciągów (ntext, nvarchar, char, ...)	tak	numeryczne: liczba całkowita	bigint	dynamic, int, long
liczba zmiennoprzecinkowa	float, real, decimal, numeryczne, wszystkie typy ciągów ( ntext, nvarchar, char, ...)	tak	liczba: ułamek	podwójna precyzja, numeryczna. Ograniczone do 1,78E+308	dynamiczny, rzeczywisty, podwójny
Nvarchar(max)	Wszystkie typy ciągów (ntext, nvarchar, char, uniqueidentifier...)	tak	ciąg	znak o różnym rozmiarze, tekst	dynamic, string
Datetime	datetime, datetime2, datetimeoffset, wszystkie typy ciągów ( ntext, nvarchar, char, ...)	tak	data/godzina przekonwertowana na ciąg przy użyciu standardu ISO 8601	sygnatura czasowa, czas. Opcja strefa czasowa jest obsługiwana, ale nie zostanie udostępniona żadna strefa czasowa	dynamic, string, datetime
bit (poziom zgodności 1.2 lub nowszy)	bigint, int, smallint, tinyint, bit, wszystkie typy ciągów (ntext, nvarchar, char, ...)	tak	Wartość logiczna: wartość 1 jest konwertowana na wartość true, 0 przekonwertowana na wartość false	bit	dynamic, bool
Rekord	Nieobsługiwane ciąg "Record" jest zwracany	Nieobsługiwane ciąg "Record" jest zwracany	Obiekt JSON	Nieobsługiwane	dynamic, bool, long, datetime, byte array, real, double, string
Tablicy	Nieobsługiwane ciąg "Array" jest zwracany	Nieobsługiwane ciąg "Array" jest zwracany	Obiekt JSON	Nieobsługiwane	dynamic, string