Udostępnij przez

Analizowanie danych

Dotyczy:SQL Server SSIS Integration Runtime w ramach usługi Azure Data Factory

Przepływy danych w pakietach wyodrębniają i ładują dane między heterogenicznymi magazynami danych, które mogą używać różnych standardowych i niestandardowych typów danych. W przepływie danych źródła usług Integration Services wykonują zadania wyodrębniania danych, analizowania danych ciągów i konwertowania danych na typ danych usług Integration Services. Kolejne przekształcenia mogą analizować dane w celu przekonwertowania ich na inny typ danych lub tworzyć kopie kolumn z różnymi typami danych. Wyrażenia używane w składnikach mogą również rzutować argumenty i operandy na różne typy danych. Na koniec, gdy dane są ładowane do magazynu danych, miejsce docelowe może przeanalizować dane, aby przekonwertować je na typ danych używany przez miejsce docelowe. Aby uzyskać więcej informacji, zobacz Integration Services Data Types.

Dwa typy analizy

Usługi Integration Services udostępniają dwa typy parsowania na potrzeby konwertowania danych: szybkie parsowanie i standardowe parsowanie.

  • Szybka analiza to szybki, prosty zestaw procedur analizowania, które nie obsługują konwersji typów danych specyficznych dla ustawień regionalnych i obsługuje tylko najczęściej używane formaty daty i godziny.

  • Standardowe parsowanie to bogaty zestaw procedur parsowania, które obsługują wszystkie konwersje typów danych udostępniane przez interfejsy API konwersji typów danych usługi Automation dostępne w Oleaut32.dll i Ole2dsip.dll.

Szybka analiza

Szybka analiza zapewnia szybki, prosty zestaw procedur analizowania danych. Te procedury nie są wrażliwe na ustawienia regionalne i obsługują jedynie podzbiór formatów daty, czasu i liczb.

Wymagania i ograniczenia

Implementując szybką analizę, pakiet traci możliwość interpretowania danych dotyczących daty, czasu i wartości liczbowych w językowych ustawieniach lokalnych oraz w wielu często używanych podstawowych i rozszerzonych formatach ISO 8601, zwiększając jednak swoją wydajność. Na przykład szybkie parsowanie obsługuje tylko najczęściej używane reprezentacje formatu daty, takie jak RRRRMMDD i RRRR-MM-DD, nie wykonuje przetwarzania specyficznego dla ustawień regionalnych, nie rozpoznaje znaków specjalnych w danych walutowych i nie może konwertować liczb całkowitych zapisanych w formatach szesnastkowych lub naukowych.

Szybkie parsowanie jest dostępne tylko wtedy, gdy używasz źródła pliku płaskiego lub transformacji konwersji danych. Wzrost wydajności może być znaczący i należy rozważyć użycie szybkiej analizy w tych składnikach przepływu danych, jeśli to możliwe.

Jeśli przepływ danych w pakiecie wymaga analizowania z uwzględnieniem ustawień regionalnych, analiza standardowa jest zalecana zamiast szybkiej analizy. Na przykład szybka analiza nie rozpoznaje danych wrażliwych na ustawienia regionalne, które zawierają symbole dziesiętne, takie jak przecinek, formaty dat inne niż formaty daty miesiąca i symbole waluty.

Obcięte reprezentacje, które oznaczają co najmniej jedną część daty, taką jak wiek, rok lub miesiąc, nie są rozpoznawane przez szybkie analizowanie. Na przykład funkcja szybkiej analizy nie rozpoznaje ani formatu "-YYMM", który określa rok i miesiąc w dorozumianym stuleciu, ani "--MM", który określa miesiąc w roku domniemanym. Jednak niektóre reprezentacje o mniejszej precyzji są rozpoznawane. Na przykład szybka analiza rozpoznaje format "hhmm;", który wskazuje godzinę i minutę oraz wartość "YYYY", która wskazuje tylko rok.

Szybka analiza jest określona na poziomie kolumny. W źródle pliku prostego i przekształceniu konwersji danych można określić szybkie analizowanie w kolumnach wyjściowych. Dane wejściowe i wyjściowe mogą zawierać kolumny uwzględniające ustawienia regionalne i niewrażliwe na ustawienia regionalne.

Formaty danych liczbowych (szybka analiza)

Szybka analiza zapewnia szybki, prosty, niewrażliwy na ustawienia regionalne zestaw procedur do analizowania danych. Funkcja szybkiej analizy obsługuje tylko ograniczony zestaw formatów dla typów danych całkowitych.

typ danych liczb całkowitych

Typy danych całkowitych, które udostępniają usługi Integration Services, to DT_I1, DT_UI1, DT_I2, DT_UI2, DT_I4, DT_UI4, DT_I8 i DT_UI8. Aby uzyskać więcej informacji, zobacz Integration Services Data Types.

Funkcja szybkiej analizy obsługuje następujące formaty dla typów danych całkowitych:

  • Zero lub więcej spacji lub tabulatorów na początku lub końcu. Na przykład wartość "123" jest prawidłowa. Wartość, która zawiera wszystkie spacje, daje wartość zero.

  • Znak wiodącego plusa, znak minus lub brak znaku. Na przykład wartości +123, -123 i 123 są prawidłowe.

  • Jedna lub więcej cyfr hindusko-arabskich (0–9). Na przykład wartość 345 jest prawidłowa. Inne cyfry językowe nie są obsługiwane.

Nieobsługiwane formaty danych obejmują następujące elementy:

  • Znaki specjalne. Na przykład znak waluty $ nie jest obsługiwany i nie można przeanalizować wartości $20.

  • Znaki odstępu, takie jak znaki nowej linii, powroty karetki i spacje niełamliwe. Na przykład nie można przeanalizować wartości "123".

  • Reprezentacje szesnastkowe liczb całkowitych. Na przykład nie można przeanalizować wartości 2EE.

  • Reprezentacja notacji naukowej liczb całkowitych. Na przykład nie można przeanalizować wartości 1E+10.

Następujące formaty to formaty danych wyjściowych dla liczb całkowitych:

  • Znak minus dla liczb ujemnych i nic dla dodatnich.

  • Brak białych spacji.

  • Jedna lub więcej cyfr hindusko-arabskich (0–9).

Formaty daty i godziny (szybka analiza)

Szybka analiza zapewnia szybki, prosty zestaw procedur analizowania danych. Funkcja szybkiej analizy obsługuje następujące formaty dla typów danych daty i godziny.

Typ danych daty

Funkcja szybkiej analizy obsługuje następujące formaty ciągów dla danych daty:

  • Formaty dat zawierające początkowe białe spacje. Na przykład wartość "2004- 02-03" jest prawidłowa.

  • Formaty ISO 8601 wymienione w poniższej tabeli:

    Format Description
    RRRRMMDD

    YYYY-MM-DD    		 Formaty podstawowe i rozszerzone dla czterocyfrowego roku, dwucyfrowego miesiąca i dwucyfrowego dnia. W formacie rozszerzonym części daty są oddzielone łącznikiem (-).
    YYYY-MM Podstawowe i rozszerzone formaty o zredukowanej precyzji dla czterocyfrowego roku i dwucyfrowego miesiąca. W formacie rozszerzonym części daty są oddzielone łącznikiem (-).
    YYYY Format o zredukowanej precyzji to czterocyfrowy rok.

Szybkie analizowanie nie obsługuje następujących formatów danych daty:

  • Alfabetyczne wartości miesięcy. Na przykład format daty oct-31-2003 jest nieprawidłowy.

  • Niejednoznaczne formaty, takie jak DD-MM-YYYY i MM-DD-RRRR. Na przykład daty 03-04-1995 i 04-03-1995 są nieprawidłowe.

  • Podstawowe i skrócone formaty dla czterocyfrowego roku kalendarzowego i trzycyfrowego dnia w ciągu roku, RRRRDDD i RRRR-DDD.

  • Formaty podstawowe i rozszerzone dla czterocyfrowego roku, dwucyfrowego numeru tygodnia roku i jednocyfrowej liczby dla dnia tygodnia, RRRRwWwD i RRRR-Www-D

  • Podstawowe i rozszerzone formaty skrócone dla daty rok-tydzień to czterocyfrowy rok i dwucyfrowy numer tygodnia, YYYWww oraz YYYY-Www.

Szybkie analizowanie danych powoduje, że są one wyjściowe jako DT_DBDATE. Wartości dat w skróconych formatach są uzupełniane. Na przykład RRRR staje się YYYY0101.

Aby uzyskać więcej informacji, zobacz Integration Services Data Types.

Typ danych czasu

Funkcja szybkiej analizy obsługuje następujące formaty ciągów dla danych czasu:

  • Formaty czasu zawierające wiodące białe spacje. Na przykład wartość "10:24" jest prawidłowa.

  • Format 24-godzinny. Szybka analiza nie obsługuje zapisu AM/PM.

  • Formaty czasu ISO 8601 wymienione w poniższej tabeli:

    Format Description
    HHMISS

    HH:MI:SS    		 Formaty podstawowe i rozszerzone dla dwucyfrowej godziny, dwucyfrowej minuty i dwucyfrowej sekundy. W formacie rozszerzonym części czasu są oddzielone dwukropkiem (:).
    HHMI

    HH:MI    		 Podstawowy i rozszerzony skrócony format dla dwucyfrowej godziny i dwucyfrowej minuty. W formacie rozszerzonym części czasu są oddzielone dwukropkiem (:).
    HH Skrócony format dla dwucyfrowej godziny.
    00:00:00

    000000

    0000

    00

    240000

    24:00:00

    2400

    24    		 Format godziny północy.

  • Formaty czasu określające strefę czasową, jak pokazano w poniższej tabeli:

    Format Description
    +HH:MI

    +HHMI    		 Formaty podstawowe i rozszerzone, które wskazują liczbę godzin i minut dodanych do uniwersalnego czasu koordynowanego (UTC) w celu uzyskania czasu lokalnego.
    -HH:MI

    -HHMI    		 Formaty podstawowe i rozszerzone, które wskazują liczbę godzin i minut odejmowanych od czasu UTC w celu uzyskania czasu lokalnego.
    +HH Obcięty format wskazujący liczbę godzin dodanych do czasu UTC w celu uzyskania czasu lokalnego.
    -HH Obcięty format wskazujący liczbę godzin odejmowanych od UTC w celu uzyskania czasu lokalnego.
    Z Wartość 0 wskazująca czas jest reprezentowany w formacie UTC.

    Formaty wszystkich danych godziny i daty/godziny mogą zawierać element strefy czasowej. Jednak system ignoruje wartość strefy czasowej z wyjątkiem sytuacji, gdy dane są typu DT_DBTIMESTAMPOFFSET. Aby uzyskać więcej informacji, zobacz Integration Services Data Types.

    W formatach zawierających element strefy czasowej nie ma spacji między elementem time a elementem strefy czasowej, jak pokazano w poniższym przykładzie:

    HH:MI:SS[+HH:MI]

    Nawiasy w poprzednim przykładzie wskazują, że wartość strefy czasowej jest opcjonalna.

  • Formaty czasu, które zawierają ułamek dziesiętny, jak pokazano w poniższej tabeli:

    Format Description
    HH[.nnnnnnn] n jest wartością z zakresu od 0 do 9999999, która reprezentuje ułamek godzin. Nawiasy wskazują, że ta wartość jest opcjonalna.

    Na przykład wartość 12.750 wskazuje wartość 12:45.
    HHMI[.nnnnnnn]

    HH:MI[.nnnnnnnnn]    		 n jest wartością z zakresu od 0 do 9999999, która reprezentuje ułamek minut. Nawiasy wskazują, że ta wartość jest opcjonalna.

    Na przykład wartość 1220.500 wskazuje 12:20:30.
    HHMISS[.nnnnnnnnn]

    HH:MI:SS[.nnnnnnnnn]    		 n jest wartością z zakresu od 0 do 9999999, która reprezentuje ułamek sekund. Nawiasy wskazują, że ta wartość jest opcjonalna.

    Na przykład wartość 122040.250 wskazuje 12:20:40.15.

    Uwaga / Notatka

    Separator ułamkowy dla formatów czasu w poprzedniej tabeli może być separatorem dziesiętnym lub przecinkiem.

  • Wartości czasu, które obejmują sekundę przestępną, jak pokazano w następujących przykładach:

    23:59:60[.0000000]

    235960[.0000000]

Szybkie analizowanie zwraca ciągi jako DT_DBTIME i DT_DBTIME2. Wartości czasu w skróconych formatach są uzupełniane. Na przykład HH:MI staje się HH:MM:00.000.

Aby uzyskać więcej informacji, zobacz Integration Services Data Types.

Typ danych daty/godziny

Funkcja szybkiej analizy obsługuje następujące formaty ciągów dla danych daty/godziny:

  • Formaty zawierające wiodące białe spacje. Na przykład wartość "2003-01-10T203910" jest prawidłowa.

  • Kombinacje prawidłowych formatów daty i prawidłowych formatów czasu oddzielonych wielkimi literami T i prawidłowymi formatami strefy czasowej, takimi jak RRRRMDDT[HHMISS][+HH:MI]. Wartości czasu i strefy czasowej nie są wymagane. Na przykład wartość "2003-10-14" jest prawidłowa.

Szybka analiza nie obsługuje interwałów czasu. Na przykład interwał czasu zidentyfikowany przez datę i czas rozpoczęcia oraz datę i czas zakończenia w formacie RRRRMMDDThhmmss/RRRRMMDDThhmmss nie można przeanalizować.

Szybka analiza zwraca ciągi jako DT_DATE, DT_DBTIMESTAMP, DT_DBTIMESTAMP2 i DT_DBTIMESTAMPOFFSET. Wartości daty/godziny w skróconych formatach są dopełniane. W poniższej tabeli wymieniono wartości, które są dodawane dla brakujących części daty i godziny.

Część daty-godziny Dopełnienie
Sekundy Dodaj wartość 00.
Minutes Dodaj wartość 00:00.
Godzina Dodaj 00:00:00.
Day Dodaj wartość 01 dla dnia miesiąca.
Miesiąc Dodaj wartość 01 dla miesiąca roku.

Aby uzyskać więcej informacji, zobacz Integration Services Data Types.

Włączanie szybkiej analizy

Właściwość szybkiej analizy musi być ustawiona dla każdej kolumny źródła lub przekształcenia, która używa szybkiej analizy. Aby ustawić właściwość, użyj edytora zaawansowanego przekształcenia źródła plików prostych i konwersji danych.

  1. Kliknij prawym przyciskiem myszy źródło pliku płaskiego lub przekształcenie konwersji danych, a następnie kliknij Pokaż edytor zaawansowany.

  2. W oknie dialogowym Edytor zaawansowany kliknij kartę Właściwości wejściowe i wyjściowe.

  3. W okienku Dane wejściowe i wyjściowe kliknij kolumnę, dla której chcesz włączyć szybką analizowanie.

  4. W oknie Właściwości rozwiń węzeł Właściwości niestandardowe , a następnie ustaw właściwość FastParse na true.

  5. Kliknij przycisk OK.

Standardowe Parsowanie

Standardowe parsowanie to zestaw procedur zależnych od ustawień regionalnych, które obsługują wszystkie konwersje typów danych udostępniane przez API konwersji typów danych dostępne w Oleaut32.dll i Ole2dsip.dll. Standardowe analizowanie jest równoważne interfejsom API analizowania OLE DB.

Standardowa analiza zapewnia obsługę konwersji typów danych międzynarodowych i powinna być używana, jeśli format danych nie jest obsługiwany przez Szybką analizę.

  • Last updated on