Výběr funkcí (dolování dat)

Platí pro: SQL Server 2019 a starší služby Analysis Services Azure Analysis Services Fabric/ Power BI Premium

Důležité

Dolování dat bylo v SQL Serveru 2017 Analysis Services zastaralé a nyní ukončeno ve službě SQL Server 2022 Analysis Services. Dokumentace se neaktualizuje pro zastaralé a ukončené funkce. Další informace najdete v tématu Zpětná kompatibilita služby Analysis Services.

Výběr funkcí je důležitou součástí strojového učení. Výběr funkce odkazuje na proces snížení vstupů pro zpracování a analýzu nebo nalezení nejvýstižnějšíchvstupůch Související termín, příprava funkcí (nebo extrakce funkcí) odkazuje na proces extrahování užitečných informací nebo funkcí z existujících dat.

Proč vybrat funkci?

Výběr funkcí je důležitý pro vytvoření vhodného modelu z několika důvodů. Jedním z nich je to, že výběr funkce znamená určitý stupeň redukce kardinality, aby se snížil počet atributů, které je možné zvážit při vytváření modelu. Data téměř vždy obsahují více informací, než je potřeba k sestavení modelu nebo nesprávného typu informací. Můžete mít například datovou sadu s 500 sloupci, které popisují charakteristiky zákazníků; Pokud jsou však data v některých sloupcích velmi zhuštěná, získali byste velmi malou výhodu při jejich přidání do modelu, a pokud by některé sloupce duplikovaly navzájem, mohly by použití obou sloupců ovlivnit model.

Kromě toho, že výběr funkcí zlepšuje kvalitu modelu, usnadňuje také proces modelování. Pokud při sestavování modelu používáte nepotřebné sloupce, během trénování se vyžaduje více procesoru a paměti a pro dokončený model se vyžaduje více prostoru úložiště. I když prostředky nebyly problémem, přesto byste chtěli provést výběr funkcí a identifikovat nejlepší sloupce, protože nepotřebné sloupce můžou snížit kvalitu modelu několika způsoby:

• Hlučná nebo redundantní data znesnadňují objevování smysluplných vzorů.

• Pokud je sada dat vysoce dimenzionální, většina algoritmů dolování dat vyžaduje mnohem větší trénovací sadu dat.

Během procesu výběru funkcí analytik nebo modelovací nástroj nebo algoritmus aktivně vybírá nebo zahodí atributy na základě jejich užitečnosti pro analýzu. Analytik může provádět přípravu funkcí pro přidání funkcí a odebrání nebo úpravu existujících dat, zatímco algoritmus strojového učení obvykle vyhodnotuje sloupce a ověřuje jejich užitečnost v modelu.

Stručně řečeno, výběr funkcí pomáhá vyřešit dva problémy: mít příliš mnoho dat, která mají malou hodnotu, nebo mít příliš málo dat, která mají vysokou hodnotu. Vaším cílem při výběru funkcí by mělo být určení minimálního počtu sloupců ze zdroje dat, které jsou při vytváření modelu významné.

Jak funguje výběr funkcí v dolování dat SQL Serveru

Výběr vlastností se vždy provádí před trénováním modelu. U některých algoritmů jsou techniky výběru funkcí integrované, aby byly irelevantní sloupce vyloučeny a byly automaticky zjištěny nejlepší funkce. Každý algoritmus má vlastní sadu výchozích technik pro inteligentní použití redukce funkcí. Můžete ale také ručně nastavit parametry tak, aby ovlivnily chování výběru funkcí.

Během automatického výběru funkce se pro každý atribut vypočítá skóre a pro model se vyberou jenom atributy, které mají nejlepší skóre. Můžete také upravit prahovou hodnotu pro nejlepší skóre. Sql Server Data Mining poskytuje více metod pro výpočet těchto skóre a přesná metoda použitá v jakémkoli modelu závisí na těchto faktorech:

• Algoritmus použitý v modelu

• Datový typ atributu

• Všechny parametry, které jste nastavili v modelu

Výběr funkce se použije na vstupy, předvídatelné atributy nebo na stavy ve sloupci. Při vyhodnocování výběru funkce jsou do procesu vytváření modelu zahrnuty pouze atributy a stavy, které algoritmus vybere, a lze je použít k predikci. Pokud zvolíte předvídatelný atribut, který nesplňuje prahovou hodnotu pro výběr funkce, může se atribut nadále používat pro predikci, ale předpovědi budou založeny výhradně na globálních statistikách, které existují v modelu.

Poznámka:

Výběr atributů má vliv pouze na sloupce, které se v modelu používají, a nemá žádný vliv na ukládání struktury dolování dat. Sloupce, které vynecháte z modelu dolování, jsou stále dostupné ve struktuře a data ve sloupcích struktury dolování budou uložena do mezipaměti.

Skóre výběru funkcí

SQL Server Data Mining podporuje tyto oblíbené a dobře zavedené metody pro bodování atributů. Konkrétní metoda použitá v jakémkoli konkrétním algoritmu nebo datové sadě závisí na datových typech a využití sloupce.

• Skóre zajímavosti se používá k řazení a řazení atributů ve sloupcích, které obsahují nebinární souvislá číselná data.

• Pro sloupce, které obsahují diskrétní a diskretizovaná data, jsou k dispozici entropie Shannonu a dva bayesovské skóre. Pokud ale model obsahuje nějaké souvislé sloupce, použije se k vyhodnocení všech vstupních sloupců skóre zajímavosti, aby se zajistila konzistence.

Skóre zajímavosti

Funkce je zajímavá, pokud vám řekne nějaké užitečné informace. Zajímavost se ale dá měřit mnoha způsoby. Novost může být cenná pro detekci odlehlých hodnot, ale schopnost rozlišování mezi úzce souvisejícími položkami, neboli rozlišovací hmotnost, může být zajímavější pro klasifikaci.

Míra zajímavosti, která se používá v SQL Server Data Mining, je založená na entropii, což znamená, že atributy s náhodnými rozděleními mají vyšší entropii a nižší informační zisk; proto jsou tyto atributy méně zajímavé. Entropie pro jakýkoli konkrétní atribut je porovnána s entropií všech ostatních atributů takto:

Zajímavost(Atribut) = - (m - Entropy(Atribut)) * (m - Entropy(Atribut))

Centrální entropie neboli m znamená entropii celé sady funkcí. Odečtením entropie cílového atributu z centrální entropie můžete posoudit, kolik informací atribut poskytuje.

Toto skóre se ve výchozím nastavení používá vždy, když sloupec obsahuje nebinární souvislá číselná data.

Shannonův entropie

Entropie Shannona měří nejistotu náhodné proměnné pro konkrétní výsledek. Například entropie hodu mincí může být reprezentována jako funkce pravděpodobnosti toho, že padne panna.

Služba Analysis Services používá k výpočtu entropie Shannona následující vzorec:

H(X) = -∑ P(xi) log(P(xi))

Tato metoda bodování je k dispozici pro diskrétní a diskretizované atributy.

Bayesian s K2 prior distribuční funkcí

SQL Server Data Mining poskytuje dva skóre výběru funkcí, která jsou založena na Bayesovských sítích. Bayesianská síť je směrovaný nebo acyklický graf stavů a přechodů mezi stavy, což znamená, že některé stavy jsou vždy před aktuálním stavem, některé stavy jsou posteriorní a graf se neopakuje ani neprovádí smyčka. Podle definice umožňují Bayesovské sítě používat předchozí znalosti. Otázka, které předchozí stavy používat při výpočtu pravděpodobností pozdějších stavů, je však důležitá pro návrh algoritmu, jeho výkon a přesnost.

Algoritmus K2 pro učení ze bayesovské sítě vyvinul Cooper a Herskovits a často se používá při dolování dat. Je škálovatelný a může analyzovat více proměnných, ale vyžaduje řazení proměnných použitých jako vstup.

Tato metoda bodování je k dispozici pro diskrétní a diskretizované atributy.

Bayesianův Dirichletův ekvivalent s uniformním priorem

Skóre Bayesian Dirichlet Equivalent (BDE) také používá bayesianskou analýzu k vyhodnocení sítě dané datové sady. Metodu bodování BDE vyvinul Heckerman a je založen na metrice BD vyvinuté společností Cooper a Herskovits. Dirichletova distribuce je multinomické rozdělení, které popisuje podmíněnou pravděpodobnost každé proměnné v síti a má mnoho vlastností, které jsou užitečné pro učení.

Metoda Bayesian Dirichlet Ekvivalentní s Uniformním Priorem (BDEU) předpokládá zvláštní případ Dirichletova rozdělení, ve kterém je matematická konstanta použita k vytvoření pevného či jednotného rozdělení priorních stavů. Skóre BDE také předpokládá ekvivalenci pravděpodobnosti, což znamená, že nelze očekávat, že data budou rozlišovat mezi ekvivalentními strukturami. Jinými slovy, pokud je skóre pro if A Then B stejné jako skóre pro If B Pak A, struktury nelze rozlišit na základě dat a kauzalitu nelze odvodit.

Metody výběru příznaků pro algoritmy

Následující tabulka uvádí algoritmy, které podporují výběr funkcí, metody výběru funkcí používané algoritmem a parametry, které jste nastavili pro řízení chování výběru funkcí:

Algorithm	Metoda analýzy	Comments
naivní Bayes	Shannonův entropie Bayesian s K2 prior distribuční funkcí Bayesovský Dirichlet s uniformní apriorní pravděpodobností (výchozí)	Algoritmus Microsoft Naïve Bayes přijímá pouze diskrétní nebo diskretizované atributy; proto nemůže použít zajímavé skóre. Další informace o tomto algoritmu naleznete v tématu Technické reference k algoritmu Microsoft Naive Bayes.
rozhodovací stromy	Skóre zajímavosti Shannonův entropie Bayesian s K2 prior distribuční funkcí Bayesovský Dirichlet s uniformní apriorní pravděpodobností (výchozí)	Pokud některé sloupce obsahují nebinární souvislé hodnoty, použije se pro všechny sloupce skóre zajímavého zájmu, aby byla zajištěna konzistence. V opačném případě se použije výchozí metoda výběru funkce nebo metoda, kterou jste zadali při vytváření modelu. Další informace o tomto algoritmu naleznete v tématu Technické reference k algoritmu Rozhodovací stromy společnosti Microsoft.
Neurální síť	Skóre zajímavosti Shannonův entropie Bayesian s K2 prior distribuční funkcí Bayesovský Dirichlet s uniformní apriorní pravděpodobností (výchozí)	Algoritmus Microsoft Neural Networks může používat bayesovské i entropické metody, pokud data obsahují souvislé sloupce. Další informace o tomto algoritmu naleznete v tématu Technické reference k algoritmu neurální sítě společnosti Microsoft.
Logistická regrese	Skóre zajímavosti Shannonův entropie Bayesian s K2 prior distribuční funkcí Bayesovský Dirichlet s uniformní apriorní pravděpodobností (výchozí)	Ačkoli algoritmus logistické regrese společnosti Microsoft je založen na algoritmu Microsoft Neural Network, nemůžete přizpůsobit modely logistické regrese pro řízení chování výběru funkcí; proto výběr funkce vždy výchozí pro metodu, která je nejvhodnější pro atribut. Pokud jsou všechny atributy diskrétní nebo diskretizované, výchozí hodnota je BDEU. Další informace o tomto algoritmu naleznete v tématu Technické reference k algoritmu logistické regrese společnosti Microsoft.
Klastrování	Skóre zajímavosti	Algoritmus Microsoft Clustering může používat diskrétní nebo diskretizovaná data. Vzhledem k tomu, že skóre každého atributu se počítá jako vzdálenost a je reprezentováno jako spojité číslo, je třeba použít skóre zajímavosti. Další informace o tomto algoritmu naleznete v tématu Technické referenční informace k algoritmu Microsoft Clustering.
Lineární regrese	Skóre zajímavosti	Algoritmus lineární regrese Microsoftu může použít pouze skóre zajímavosti, protože podporuje pouze kontinuální sloupce. Další informace o tomto algoritmu naleznete v tématu Microsoft Linear Regression Algorithm Technical Reference.
Pravidla přidružení Sekvenční clustering	Nepoužívané	Při výběru funkce se tyto algoritmy nevyvolávají. Můžete ale řídit chování algoritmu a v případě potřeby zmenšit velikost vstupních dat nastavením hodnoty parametrů MINIMUM_SUPPORT a MINIMUM_PROBABILIITY. Další informace naleznete v tématu Technická referenční příručka pro algoritmus Microsoft Association a Technická referenční příručka pro algoritmus Microsoft Sequence Clustering.
Časová řada	Nepoužívané	Výběr funkce se nevztahuje na modely časových řad. Další informace o tomto algoritmu naleznete v tématu Technické referenční informace k algoritmu Microsoft Time Series.

Parametry výběru funkcí

V algoritmech, které podporují výběr funkcí, můžete řídit, kdy je výběr funkce zapnutý pomocí následujících parametrů. Každý algoritmus má výchozí hodnotu pro počet povolených vstupů, ale toto výchozí nastavení můžete přepsat a určit počet atributů. Tato část obsahuje seznam parametrů, které jsou k dispozici pro správu výběru funkcí.

MAXIMUM_INPUT_ATTRIBUTES

Pokud model obsahuje více sloupců, než je číslo zadané v parametru MAXIMUM_INPUT_ATTRIBUTES , algoritmus ignoruje všechny sloupce, které vypočítá, aby byly nezajímavé.

MAXIMUM_OUTPUT_ATTRIBUTES

Podobně platí, že pokud model obsahuje předvídatelnější sloupce než číslo zadané v parametru MAXIMUM_OUTPUT_ATTRIBUTES , algoritmus ignoruje všechny sloupce, které vypočítá, aby byly nezajímavé.

MAXIMUM_STATES

Pokud model obsahuje více případů, než je uvedeno v parametru MAXIMUM_STATES , jsou nejméně oblíbené stavy seskupené a považují se za chybějící. Pokud je některý z těchto parametrů nastavený na hodnotu 0, je výběr funkce vypnutý, což má vliv na dobu zpracování a výkon.

Kromě těchto metod pro výběr funkcí můžete vylepšit schopnost algoritmu identifikovat nebo zvýšit smysluplné atributy nastavením příznaků modelování na modelu nebo nastavením distribučních příznaků ve struktuře. Další informace o těchto konceptech naleznete v tématu Modelování příznaků (dolování dat) a distribuce sloupců (dolování dat).

Viz také

Přizpůsobení modelů a struktury dolování