Sdílet prostřednictvím

Agregační transformace

platí pro:SQL Server SSIS Integration Runtime ve službě Azure Data Factory

Agregační transformace používá agregační funkce, například Průměr, na hodnoty sloupců a zkopíruje výsledky do výstupu transformace. Kromě agregačních funkcí poskytuje transformace klauzuli GROUP BY, kterou můžete použít k určení skupin, které se mají agregovat.

Operations

Transformace Agregace podporuje následující operace.

Operation Description
Seskupit podle Rozdělí datové sady do skupin. Sloupce libovolného datového typu lze použít k seskupení. Další informace naleznete v tématu GROUP BY (Transact-SQL).
Suma Sečte hodnoty ve sloupci. Sečíst lze pouze sloupce s číselnými datovými typy. Další informace naleznete v tématu SUMA (Transact-SQL).
Průměr Vrátí průměr hodnot sloupců ve sloupci. Průměrovat lze pouze sloupce s číselnými datovými typy. Další informace naleznete v tématu AVG (Transact-SQL).
Počet Vrátí počet položek ve skupině. Další informace naleznete v tématu POČET (Transact-SQL).
Počet jedinečných položek Vrátí počet jedinečných nenulových hodnot ve skupině.
Minimální Vrátí minimální hodnotu ve skupině. Další informace naleznete v tématu MIN (Transact-SQL). Na rozdíl od funkce Transact-SQL MIN lze tuto operaci použít pouze s číselnými, kalendářními a časovými datovými typy.
Nejvyšší hodnota Vrátí maximální hodnotu ve skupině. Další informace naleznete v tématu MAX (Transact-SQL). Na rozdíl od funkce Transact-SQL MAX lze tuto operaci použít pouze s číselnými, kalendářními a časovými datovými typy.

Transformace agregace zpracovává hodnoty null stejným způsobem jako relační databázový stroj SQL Serveru. Chování je definováno ve standardu SQL-92. Platí následující pravidla:

  • V klauzuli GROUP BY se hodnoty null považují za jiné hodnoty sloupců. Pokud sloupec seskupení obsahuje více než jednu hodnotu null, hodnoty null jsou vloženy do jedné skupiny.

  • Ve funkcích COUNT (název sloupce) a COUNT (název sloupce DISTINCT) se hodnoty null ignorují a výsledek vyloučí řádky obsahující hodnoty null v pojmenovaném sloupci.

  • Ve funkci POČET (*) se počítají všechny řádky včetně řádků s hodnotami null.

Velká čísla v agregacích

Sloupec může obsahovat číselné hodnoty, které vyžadují zvláštní pozornost z důvodu požadavků na jejich velkou hodnotu nebo přesnost. Transformace agregace zahrnuje vlastnost IsBig, kterou můžete nastavit u výstupních sloupců a vyvolat zvláštní zpracování velkých nebo vysoce přesných čísel. Pokud je požadována hodnota sloupce větší než 4 miliardy nebo přesnost nad rámec datového typu float, měla by být hodnota IsBig nastavená na hodnotu 1.

Nastavení Vlastnosti IsBig na hodnotu 1 ovlivňuje výstup transformace agregace následujícími způsoby:

  • Datový typ DT_R8 se používá místo datového typu DT_R4.

  • Výsledky počtu se ukládají jako datový typ DT_UI8.

  • Výsledky počtu jedinečných hodnot se ukládají jako datový typ DT_UI4.

Poznámka:

U sloupců používaných v operacích GROUP BY, Maximum nebo Minimum nelze nastavit isBig na hodnotu 1.

Důležité informace o výkonu

Agregační transformace obsahuje sadu vlastností, které můžete nastavit pro zvýšení výkonu transformace.

  • Při provádění operace Seskupování nastavte vlastnosti Klíče nebo KeysScale komponenty a výstupy komponenty. Pomocí klíčů můžete zadat přesný počet klíčů, které transformace zpracuje. (V tomto kontextu odkazuje termín Keys na počet skupin, které mají být výsledkem operace Seskupit podle.) Pomocí KeysScale můžete zadat přibližný počet klíčů. Když zadáte odpovídající hodnotu pro klíče nebo škálování klíčů, zlepšíte výkon, protože transformace dokáže přidělit odpovídající paměť pro data, která transformace ukládá do mezipaměti.

  • Při provádění operace Distinct count nastavte CountDistinctKeys nebo CountDistinctScale vlastnosti komponenty. Pomocí CountDistinctKeys můžete zadat přesný počet klíčů, které transformace má zpracovat pro operaci spočítání jedinečných hodnot. (V tomto kontextu odkazuje CountDistinctKeys na počet jedinečných hodnot, které mají být výsledkem operace Počet jedinečných hodnot.) Pomocí funkce CountDistinctScale můžete zadat přibližný počet klíčů pro samostatnou operaci počtu. Když zadáte odpovídající hodnotu pro CountDistinctKeys nebo CountDistinctScale, zvýšíte výkon, protože transformace dokáže přidělit odpovídající paměť pro data, která transformace ukládá do mezipaměti.

Konfigurace transformace agregace

Transformaci agregace nakonfigurujete na úrovni transformace, výstupu a sloupce.

  • Na úrovni transformace nakonfigurujete agregační transformaci pro výkon zadáním následujících hodnot:

    • Počet skupin, které se očekávají jako výsledek operace Seskupit podle.

    • Počet jedinečných hodnot, které mají být výsledkem operace Count distinct .

    • Procento, o které může být paměť rozšířena během agregace.

    Agregační transformace je také možné nakonfigurovat tak, aby vygenerovala upozornění místo selhání, pokud je hodnota dělitele nula.

  • Na úrovni výstupu nakonfigurujete agregační transformaci pro zlepšení výkonu zadáním počtu skupin, které mají být výsledkem operace Seskupit podle. Transformace agregace podporuje více výstupů a každá z nich se dá nakonfigurovat jinak.

  • Na úrovni sloupce zadáte následující hodnoty:

    • Agregace, kterou sloupec provádí.

    • Možnosti porovnání agregace.

Můžete také nakonfigurovat transformaci agregace pro výkon zadáním těchto hodnot:

  • Počet skupin, které se očekávají jako výsledek operace Seskupit podle na sloupci.

  • Počet jedinečných hodnot, které mají být výsledkem operace Count distinct ve sloupci.

Sloupce můžete také identifikovat jako IsBig, pokud sloupec obsahuje velké číselné hodnoty nebo číselné hodnoty s vysokou přesností.

Agregační transformace je asynchronní, což znamená, že nevyužívá a nepublikuje řádek dat po řádku. Místo toho využívá celou sadu řádků, provádí seskupování a agregace a pak výsledky publikuje.

Tato transformace neprojde žádnými sloupci, ale vytvoří nové sloupce v toku dat, která publikuje. Do výstupu transformace se zkopírují pouze vstupní sloupce, na které se agregační funkce používají, nebo vstupní sloupce, které transformace používá pro seskupování. Vstup transformace agregace může mít například tři sloupce: Oblast/zemi, Město a Populace. Transformace seskupí podle sloupce CountryRegion a použije funkci Sum na sloupec Počet obyvatel. Výstup proto neobsahuje sloupec Město .

Do transformace agregace můžete také přidat více výstupů a směrovat každou agregaci na jiný výstup. Pokud například transformace Agregace použije funkce Součet a Průměr, může být každá agregace směrována na jiný výstup.

U jednoho vstupního sloupce můžete použít více agregací. Pokud chcete například součet a průměrnou hodnotu vstupního sloupce s názvem Sales ( Prodej), můžete nakonfigurovat transformaci tak, aby u sloupce Sales (Prodej ) použila funkce Sum (Součet) i Average (Průměr).

Transformace Agregace má jeden vstup a jeden nebo více výstupů. Nepodporuje výstup chyb.

Vlastnosti můžete nastavit prostřednictvím návrháře SSIS nebo programově.

Dialogové okno Rozšířený editor odráží vlastnosti, které lze nastavit programově. Další informace o vlastnostech, které můžete nastavit v dialogovém okně Rozšířený editor nebo programově, klikněte na jedno z následujících témat:

Další informace o tom, jak nastavit vlastnosti, získáte kliknutím na jedno z následujících témat:

Agregace hodnot v datové sadě pomocí agregované transformace

Agregační transformační editor (karta Agregace)

Pomocí karty Agregace v dialogovém okně Editor agregace transformace můžete určit sloupce pro agregační a agregační vlastnosti. Můžete použít více agregací. Tato transformace negeneruje chybový výstup.

Poznámka:

Možnosti počtu klíčů, měřítka klíčů, počtu jedinečných klíčů a jedinečného měřítka klíčů se použijí na úrovni komponenty, pokud jsou zadány na kartě Upřesnit , na úrovni výstupu při zadání v rozšířeném zobrazení karty Agregace a na úrovni sloupce při zadání v seznamu sloupců v dolní části karty Agregace .

V transformaci agregace se termíny Klíče a Měřítko klíčů vztahují na počet skupin, které se očekávají jako výsledek operace Seskupit podle. Počet jedinečných klíčů a počet jedinečných měřítka odkazuje na počet jedinečných hodnot, které mají být výsledkem operace jedinečného počtu .

Možnosti

Pokročilý / Základní
Zobrazení nebo skrytí možností konfigurace více agregací pro více výstupů Ve výchozím nastavení jsou rozšířené možnosti skryté.

Název agregace
V Pokročilém zobrazení zadejte popisný název agregace.

Seskupovat podle sloupců
V zobrazení Upřesnit vyberte sloupce pro seskupení pomocí seznamu Dostupné vstupní sloupce , jak je popsáno níže.

Klíčová stupnice
V rozšířeném zobrazení volitelně zadejte přibližný počet klíčů, které může agregace zapisovat. Ve výchozím nastavení je hodnota této možnosti nezadaná. Pokud jsou nastaveny vlastnosti Škálování klíčů i Klíče , má přednost hodnota Klíče .

Hodnota Description
Nespecifikovaný Vlastnost Key Scale se nepoužívá.
Low Agregace může zapisovat přibližně 500 000 klíčů.
Středně Agregace může zapisovat přibližně 5 000 000 klíčů.
High Agregace může zapsat více než 25 000 000 klíčů.

Klávesy
V rozšířeném zobrazení volitelně zadejte přesný počet klíčů, které může agregace zapisovat. Pokud je zadáno škálování klíčů i klíče , mají přednost klíče .

Dostupné vstupní sloupce
Pomocí zaškrtávacích políček v této tabulce vyberte ze seznamu dostupných vstupních sloupců.

Vstupní sloupec
Vyberte ze seznamu dostupných vstupních sloupců.

Alias výstupu
Zadejte alias pro každý sloupec. Výchozí hodnota je název vstupního sloupce; můžete ale zvolit libovolný jedinečný popisný název.

Operace
Vyberte si ze seznamu dostupných operací a jako vodítko použijte následující tabulku.

Operation Description
GroupBy Rozdělí datové sady do skupin. Sloupce s libovolným datovým typem lze použít k seskupení. Další informace naleznete v tématu GROUP BY.
Sum Sečte hodnoty ve sloupci. Sečíst lze pouze sloupce s číselnými datovými typy. Další informace naleznete v tématu SUMA.
Průměrná cena Vrátí průměr hodnot sloupců ve sloupci. Průměrovat lze pouze sloupce s číselnými datovými typy. Další informace najdete v tématu AVG.
Počet Vrátí počet položek ve skupině. Další informace najdete v tématu POČET.
CountDistinct Vrátí počet jedinečných nenulových hodnot ve skupině. Další informace naleznete v tématu COUNT a DISTINCT.
Minimální Vrátí minimální hodnotu ve skupině. Omezeno na číselné datové typy.
Maximum Vrátí maximální hodnotu ve skupině. Omezeno na číselné datové typy.

Příznaky porovnání
Pokud zvolíte Možnost Seskupit podle, můžete pomocí zaškrtávacích políček určit, jak transformace provádí porovnání. Informace o možnostech porovnání řetězců naleznete v tématu Porovnání řetězcových dat.

Počet unikátních měřítek
Volitelně můžete zadat přibližný počet jedinečných hodnot, které může agregace zapsat. Ve výchozím nastavení je hodnota této možnosti nezadaná. Pokud jsou zadány hodnoty CountDistinctScale i CountDistinctKeys , má přednost CountDistinctKeys .

Hodnota Description
Nespecifikovaný Vlastnost CountDistinctScale se nepoužívá.
Low Agregace může zapisovat přibližně 500 000 jedinečných hodnot.
Středně Agregace může zapisovat přibližně 5 000 000 jedinečných hodnot.
High Agregace může napsat více než 25 000 000 jedinečných hodnot.

Počet jedinečných klíčů
Volitelně můžete zadat přesný počet jedinečných hodnot, které může agregace zapsat. Pokud jsou zadány hodnoty CountDistinctScale i CountDistinctKeys , má přednost CountDistinctKeys .

Agregační transformační editor (karta Upřesnit)

Na kartě Upřesnit v dialogovém okně Editor agregace transformace můžete nastavit vlastnosti komponenty, zadat agregace a nastavit vlastnosti vstupních a výstupních sloupců.

Poznámka:

Možnosti počtu klíčů, měřítka klíčů, počtu jedinečných klíčů a jedinečného měřítka klíčů se použijí na úrovni komponenty, pokud jsou zadány na kartě Upřesnit , na úrovni výstupu při zadání v rozšířeném zobrazení karty Agregace a na úrovni sloupce při zadání v seznamu sloupců v dolní části karty Agregace .

V transformaci agregace se termíny Klíče a Měřítko klíčů vztahují na počet skupin, které se očekávají jako výsledek operace Seskupit podle. Počet jedinečných klíčů a počet jedinečných měřítka odkazuje na počet jedinečných hodnot, které mají být výsledkem operace jedinečného počtu .

Možnosti

Škálování klíčů
Volitelně můžete zadat přibližný počet klíčů, které agregace očekává. Transformace tyto informace používá k optimalizaci počáteční velikosti mezipaměti. Ve výchozím nastavení je hodnota této možnosti nezadaná. Pokud je zadáno škálování klíčů i počet klíčů , má přednost počet klíčů .

Hodnota Description
Nespecifikovaný Vlastnost Škálování klíčů se nepoužívá.
Low Agregace může zapisovat přibližně 500 000 klíčů.
Středně Agregace může zapisovat přibližně 5 000 000 klíčů.
High Agregace může zapsat více než 25 000 000 klíčů.

Počet klíčů
Volitelně můžete zadat přesný počet klíčů, které agregace očekává. Transformace tyto informace používá k optimalizaci počáteční velikosti mezipaměti. Pokud je zadáno škálování klíčů i počet klíčů , má přednost počet klíčů .

Počet jedinečných měřítek
Volitelně můžete zadat přibližný počet jedinečných hodnot, které může agregace zapsat. Ve výchozím nastavení je hodnota této možnosti nezadaná. Pokud je zadán jak počet jedinečných měřítek, tak počet jedinečných klíčů, má přednost počet jedinečných klíčů.

Hodnota Description
Nespecifikovaný Vlastnost CountDistinctScale se nepoužívá.
Low Agregace může zapisovat přibližně 500 000 jedinečných hodnot.
Středně Agregace může zapisovat přibližně 5 000 000 jedinečných hodnot.
High Agregace může napsat více než 25 000 000 jedinečných hodnot.

Počet jedinečných klíčů
Volitelně můžete zadat přesný počet jedinečných hodnot, které může agregace zapsat. Pokud je zadaný počet jedinečných měřítek a počet jedinečných klíčů, má přednost počet jedinečných klíčů.

Faktor automatického rozšíření
Pomocí hodnoty mezi 1 a 100 určete procento, o které se dá paměť během agregace rozšířit. Ve výchozím nastavení je hodnota této možnosti 25%.

Viz také

toku dat
Transformace integračních služeb

  • Last updated on