Udostępnij za pośrednictwem


Typy danych (Azure Stream Analytics)

W usłudze Azure Stream Analytics każdy rekord ma powiązany typ danych. Typ danych opisuje (i ogranicza) zestaw wartości, które może przechowywać rekord tego typu lub wyrażenie tego typu może wygenerować.

Należy pamiętać, że są to rekordy, które mają typ, a nie kolumny. Każdy rekord kolumny może mieć inny typ. Jeśli będzie to niewidoczne dla większości aplikacji, umożliwia prostą obsługę scenariuszy dryfu schematu i innych nietypowych wzorców pisania.

Obsługiwane typy danych

Poniżej znajduje się lista obsługiwanych typów danych.

Typ danych Opis
bigint Liczby całkowite w zakresie -2^63 (-9,223,372,036,854,775,808) do 2^63-1 (9,223,372,036,854,775,807).
float Liczby zmiennoprzecinkowe w zakresie od 1,79E+308 do -2,23E-308, 0 i 2,23E-308 do 1,79E+308. Wartości dziesiętne zmiennoprzecinkowe zazwyczaj nie mają dokładnej reprezentacji binarnej. Można doświadczyć utraty precyzji. Nie jest to specyficzne dla usługi Azure Stream Analytics, ale występuje we wszystkich implementacjach liczb zmiennoprzecinkowych.
Nvarchar(max) Wartości tekstowe składające się ze znaków Unicode. Uwaga: wartość inna niż maksymalna nie jest obsługiwana.
datetime Definiuje datę połączoną z godziną dnia z ułamkami sekund (7 cyfr, precyzja 100 nanosekund), która jest oparta na zegarze 24-godzinnym i względem czasu UTC (przesunięcie strefy czasowej 0).
bit Liczba całkowita, która może przyjmować wartość 1, 0 lub NULL. Jest to obsługiwane na poziomie zgodności 1.2 lub nowszym.
rejestrowanie Zestaw par nazwa/wartość. Wartości muszą być obsługiwanego typu danych.
array Uporządkowana kolekcja wartości. Wartości muszą być obsługiwanego typu danych.

Możesz przyłączyć (lub porównać) bigint i typ danych zmiennoprzecinkowych. Będzie działać poprawnie we wszystkich przypadkach, z wyjątkiem przypadku bardzo dużych wartości bigint, których nie można przedstawić.

Uwaga

Podczas odczytywania typów danych bigint poza zakresem usługa Azure Stream Analytics obsługuje, zadanie usługi Stream Analytics nie może wykonać deserializacji zdarzeń z komunikatem o błędzie: InputDeserializationError. Możesz wstępnie przetworzyć dane i przekonwertować je na ciąg. Jedną z opcji jest użycie funkcji platformy Azure do wstępnego przetwarzania danych i konwertowania takich dużych liczb całkowitych na ciąg.

Konwersje typu

Są to reguły dotyczące konwersji typów danych:

  • Konwersja bez utraty precyzji podczas operacji odczytu i zapisu danych wyjściowych jest niejawna i zawsze kończy się powodzeniem
  • Precyzja utraty i przepełnienia wewnątrz operacji zapisu danych wyjściowych jest obsługiwana przez skonfigurowane zasady błędów (ustawione na drop lub Retry)
  • Błędy konwersji typów występujące podczas operacji zapisu wyjściowego są obsługiwane przez zasady błędów
  • Błędy konwersji typów występujące podczas operacji odczytu danych wejściowych powodują, że zadanie upuszcza zdarzenie

Utrata dokładności może wystąpić podczas konwertowania wartości na zmiennoprzecinkowe. Nie jest ona specyficzna dla usługi Azure Stream Analytics, ale ogólnie dla typu danych zmiennoprzecinkowych. W związku z tym nie jest uważany za błąd. W przypadku, gdy każda cyfra musi być zachowana, dane powinny być odczytywane jako ciąg.

Rzutowanie danych

Istnieją cztery funkcje w języku SQL przesyłania strumieniowego, które są przydatne do obserwacji i dostosowywania typu danych.

  • CAST : rzutowanie pojedynczej kolumny do danego typu — zadanie zakończy się niepowodzeniem w przypadku błędu konwersji
  • TRY_CAST : rzutowanie pojedynczej kolumny do danego typu — błędy są przekazywane jako NULL. Zobacz walidację danych wejściowych , aby dowiedzieć się, jak najlepiej używać TRY_CAST
  • CREATE TABLE : zdefiniuj pojedynczy jawny schemat dla danych wejściowych. Wiersze z błędami konwersji są usuwane ze strumienia
  • GetType : zwraca typ kolumny

W większości przypadków użycia zalecaną opcją jest użycie TRY_CAST. Ta funkcja chroni przetwarzanie podrzędne przez zapewnienie typu danych wyjściowych, jednocześnie zapobiegając utracie danych przez zastąpienie wartości w błędzie przez wartość NULL. Wiersz nie jest porzucony i oryginalna wartość nadal może być rzutowana w innej kolumnie.

W przypadku silnych gwarancji zalecaną opcją jest użycie polecenia CREATE TABLE. Takie podejście umożliwia informowanie o zadaniu schematu danych wejściowych bez ryzyka odchylenia. Kompromis jest taki, że można zdefiniować tylko jeden schemat dla danych wejściowych, a niezgodne wiersze zostaną porzucone.

Jeśli to możliwe, wszystkie operacje rzutu powinny być wykonywane jawnie za pośrednictwem tych funkcji, a nie niejawnie (dyskretnie) w innych funkcjach. Pozwala to uniknąć niezgodności typów, nieoczekiwanych zachowań i błędów wstawiania dla silnie typiowanych danych wyjściowych, takich jak bazy danych SQL. Zobacz walidację danych wejściowych , aby dowiedzieć się, jak chronić główną logikę zapytania przed takimi błędami.

Konwersja na bit

Wartości zostaną przekonwertowane między zmiennoprzecinkami i bitami przy użyciu następujących reguł:

Źródło Działanie
(BIT) 1 (FLOAT) 1.0
(BIT) 0 (FLOAT) 0.0
(BIT) NULL (FLOAT) NULL
(FLOAT) 0.0 (BIT) 0
(FLOAT) dowolna inna wartość (BIT) 1
(FLOAT) NULL (BIT) NULL

Mapowania typów i formaty serializacji

Typ danych Plik CSV w pliku Plik CSV na wyjęcie Kod JSON w pliku Wyjście kodu JSON Avro in Avro out
bigint ciąg przekonwertowany na 64-bitową liczbę całkowitą ze znakiem 64-bitowa liczba całkowita ze znakiem przekonwertowana na ciąg przy użyciu kultury zadania liczba: liczba całkowita przekonwertowana na liczbę całkowitą ze znakiem 64-bitowym;

Wartość logiczna: w poziomie zgodności 1.1 i poniżej wartości "false" jest konwertowany na wartość 0, wartość "true" jest konwertowana na 1
liczba: liczba całkowita long i int przekonwertowane na 64-bitowa liczba całkowita ze znakiem;

Wartość logiczna: w poziomie zgodności 1.1 i poniżej wartości false jest konwertowana na wartość 0, wartość true jest konwertowana na wartość 1
długi
liczba zmiennoprzecinkowa ciąg przekonwertowany na liczbę punktów zmiennoprzecinkowych ze znakiem 64-bitowym 64-bitowy numer punktu zmiennoprzecinkowego przekonwertowany na ciąg przy użyciu kultury zadania liczba: ułamek przekonwertowany na liczbę punktów zmiennoprzecinkowych ze znakiem 64-bitowym liczba: ułamek podwójna liczba zmiennoprzecinkowa przekonwertowana na liczbę punktów zmiennoprzecinkowych ze znakiem 64-bitowym double
Nvarchar(max) ciąg ciąg ciąg ciąg ciąg ciąg
Datetime ciąg przekonwertowany na datę/godzinę zgodnie ze standardem ISO 8601 ciąg przy użyciu standardu ISO 8601 ciąg przekonwertowany na datę/godzinę zgodnie ze standardem ISO 8601 data/godzina przekonwertowana na ciąg przy użyciu standardu ISO 8601 ciąg przekonwertowany na datę/godzinę zgodnie ze standardem ISO 8601 data/godzina przekonwertowana na ciąg przy użyciu standardu ISO 8601
bit (poziom zgodności 1.2 lub nowszy) ciąg "true", "false" lub "null" jest konwertowany na wartość całkowitą 1, 0 lub null odpowiednio przekonwertowany na ciąg "true" lub "false" Wartość logiczna: wartość "false" jest konwertowana na wartość 0, wartość "true" jest konwertowana na wartość 1 Wartość logiczna: wartość logiczna Wartość logiczna: wartość false jest konwertowana na wartość 0, wartość true jest konwertowana na wartość 1 boolean
Rekord Nie dotyczy Nieobsługiwane ciąg "Record" jest zwracany Obiekt JSON Obiekt JSON Typ rekordu Avro Typ rekordu Avro
Tablicy Nie dotyczy Nieobsługiwane ciąg "Array" jest zwracany Obiekt JSON Obiekt JSON Typ rekordu Avro Typ rekordu Avro

Uwaga

W przypadku parquet nie jest wymagana konwersja typu danych.

Mapowanie typów podczas zapisywania w magazynach danych strukturalnych

Typ danych SQL Power BI Azure Cosmos DB PostgreSQL Azure Data Explorer
bigint bigint, int, smallint, tinyint, wszystkie typy ciągów (ntext, nvarchar, char, ...) tak numeryczne: liczba całkowita bigint dynamic, int, long
liczba zmiennoprzecinkowa float, real, decimal, numeryczne, wszystkie typy ciągów ( ntext, nvarchar, char, ...) tak liczba: ułamek podwójna precyzja, numeryczna. Ograniczone do 1,78E+308 dynamiczny, rzeczywisty, podwójny
Nvarchar(max) Wszystkie typy ciągów (ntext, nvarchar, char, uniqueidentifier...) tak ciąg znak o różnym rozmiarze, tekst dynamic, string
Datetime datetime, datetime2, datetimeoffset, wszystkie typy ciągów ( ntext, nvarchar, char, ...) tak data/godzina przekonwertowana na ciąg przy użyciu standardu ISO 8601 sygnatura czasowa, czas. Opcja strefa czasowa jest obsługiwana, ale nie zostanie udostępniona żadna strefa czasowa dynamic, string, datetime
bit (poziom zgodności 1.2 lub nowszy) bigint, int, smallint, tinyint, bit, wszystkie typy ciągów (ntext, nvarchar, char, ...) tak Wartość logiczna: wartość 1 jest konwertowana na wartość true, 0 przekonwertowana na wartość false bit dynamic, bool
Rekord Nieobsługiwane ciąg "Record" jest zwracany Nieobsługiwane ciąg "Record" jest zwracany Obiekt JSON Nieobsługiwane dynamic, bool, long, datetime, byte array, real, double, string
Tablicy Nieobsługiwane ciąg "Array" jest zwracany Nieobsługiwane ciąg "Array" jest zwracany Obiekt JSON Nieobsługiwane dynamic, string