Ladění hyperparametrů modelů
Důležité
Podpora studia Machine Learning (Classic) skončí 31. srpna 2024. Doporučujeme do tohoto data přejít na službu Azure Machine Learning.
Od 1. prosince 2021 nebude možné vytvářet nové prostředky studia Machine Learning (Classic). Do 31. srpna 2024 můžete pokračovat v používání stávajících prostředků studia Machine Learning (Classic).
- přečtěte si informace o přesunu projektů strojového učení z ML Studio (classic) do Azure Machine Learning.
- přečtěte si další informace o Azure Machine Learning.
Dokumentace ke studiu ML (Classic) se vyřazuje z provozu a v budoucnu se nemusí aktualizovat.
Provede pro určení optimálního nastavení parametrů pro model oblouk.
kategorie: Machine Learning/výuka
Poznámka
platí pro: jenom Machine Learning Studio (classic)
podobné moduly přetažení jsou k dispozici v návrháři Azure Machine Learning.
Přehled modulu
tento článek popisuje, jak v Machine Learning studiu (classic) použít modul ladit Model s parametry , abyste zjistili optimální parametry pro daný Model strojového učení. Modul sestaví a testuje více modelů pomocí různých kombinací nastavení a porovnává metriky pro všechny modely a získá tak kombinaci nastavení.
Parametr terms a parametr může být matoucí. Parametry modelu jsou ty, které jste nastavili v podokně Vlastnosti. V podstatě tento modul provádí překládání parametrů v rámci zadaného nastavení parametrů a učí optimální sadu parametrů, které se mohou lišit pro každý konkrétní rozhodovací strom, datovou sadu nebo regresi. Proces vyhledávání optimální konfigurace se někdy označuje jako ladění.
Modul podporuje dvě metody pro vyhledání optimálního nastavení modelu:
Integrovaná výuka a ladění: nakonfigurujete sadu parametrů, které se mají použít, a potom nechte modul iterovat více kombinací a přesnost měření, dokud nenajde "nejlepší" model. U většiny modulů učí se můžete rozhodnout, jaké parametry se mají změnit během procesu školení a které by měly zůstat pevné.
V závislosti na tom, jak dlouho chcete proces ladění spustit, se můžete rozhodnout vyčerpat všechny kombinace, nebo můžete proces zkrátit tím, že vytvoříte mřížku kombinací parametrů a otestujete náhodnou podmnožinu parametrů mřížky.
Vzájemné ověřování s vyladěním: s touto možností můžete rozdělit data na určitý počet skládání a potom sestavit a otestovat modely na každé přeložení. Tato metoda poskytuje nejlepší přesnost a může pomáhat při hledání problémů s datovou sadou. vyučování ale trvá déle.
Obě metody generují vyškolený model, který můžete uložit pro opakované použití.
Související úlohy
Pokud vytváříte model clusteringu, použijte k automatickému určení optimálního počtu clusterů a dalších parametrů clustering Sweep .
Než začnete s laděním, použijte výběr funkcí a určete sloupce nebo proměnné, které mají nejvyšší hodnotu informace. Další informace najdete v tématu Výběr funkcí.
Jak nakonfigurovat parametry modelu ladění
Obecně se naučíte, že optimální parametry pro daný model strojového učení vyžadují značný experiment. Tento modul podporuje proces počátečního ladění a křížové ověřování pro přesnost testování modelu:
Výuka modelu pomocí úklidu parametrů
Tato část popisuje, jak provést základní úklid parametrů, který navlakuje model pomocí modulu ladění modelu předparametrů .
Do experimentu v nástroji Studio (Classic) přidejte modul parametry modelu ladění .
Připojení nevýukový model (model ve formátu iLearner ) na levý vstup.
Nastavte možnost vytvořit režim Trainer na rozsah parametrů a pomocí Tvůrce rozsahu určete rozsah hodnot, které se mají použít v Sweep parametru.
Téměř všechny moduly klasifikace a regrese podporují režim úklidu integrovaných parametrů. Pro ty, kteří nepodporují konfiguraci rozsahu parametrů, lze testovat pouze dostupné hodnoty parametrů.
Můžete ručně nastavit hodnotu pro jeden nebo více parametrů a potom vymezit zbývající parametry. To může nějaký čas ušetřit.
Přidejte datovou sadu, kterou chcete použít pro školení, a připojte ji ke střednímu vstupu parametrů modelu ladění.
Pokud máte označenou datovou sadu, můžete ji připojit ke vstupnímu portu vpravo od sebe (volitelná datová sada ověření). To vám umožní měřit přesnost při výuce a ladění.
V podokně vlastnosti u parametrů modelu laděnívyberte hodnotu pro režim mazání parametrů. Tato možnost určuje, jak jsou vybrány parametry.
- Celá mřížka: Když vyberete tuto možnost, modul se cyklicky přeskočí do mřížky předdefinovaných systémem, aby vyzkoušel různé kombinace a identifikovala nejlepší informace. Tato možnost je užitečná v případech, kdy nevíte, co nejlepší nastavení parametrů může být a chcete vyzkoušet všechny možné kombinace hodnot.
Můžete také zmenšit velikost mřížky a spustit náhodné mazání mřížky . Výzkum ukázal, že tato metoda má stejné výsledky, ale je efektivnější výpočetní výkon.
- Náhodné čištění: Když vyberete tuto možnost, modul náhodně vybere hodnoty parametrů v rozsahu definovaném systémem. Je nutné zadat maximální počet spuštění, které má modul spustit. Tato možnost je užitečná v případech, kdy chcete zvýšit výkon modelu pomocí metrik dle vašeho výběru, ale přesto šetřit výpočetní prostředky.
U sloupce popisekOtevřete selektor sloupců a vyberte sloupec s jedním popiskem.
Vyberte jednu metriku, která se použije při seřazení modelů.
Když spustíte mazání parametrů, vypočítávají se všechny použitelné metriky pro daný typ modelu a vrátí se do sestavy výsledků pro Shrnutí . Pro regresní a klasifikační modely se používají samostatné metriky.
Metrika, kterou zvolíte, však Určuje, jak jsou modely seřazeny. Pouze model nejvyšší úrovně, jak je zvolená metrika, je výstupem jako trained model, který se má použít pro bodování.
V případě náhodného osazenízadejte číslo, které se má použít při inicializaci mazání parametru.
Pokud provádíte výuku modelu, který podporuje integrovaný parametr Sweep, můžete také nastavit rozsah počátečních hodnot, které se mají použít, a iterovat náhodné semeny. To může být užitečné, pokud chcete zabránit posunu zavedenému výběrem počáteční hodnoty.
Spusťte experiment.
Výsledky ladění parametrů
Po dokončení školení:
Pokud chcete zobrazit sadu metrik přesnosti pro nejlepší model, klikněte pravým tlačítkem myši na modul, vyberte možnost výsledky čištěnía pak vyberte vizualizovat.
Všechny metriky přesnosti použitelné pro typ modelu jsou výstup, ale metrika, kterou jste vybrali pro řazení, určuje, který model se považuje za "nejlepší". Metriky se generují jenom pro model s nejvyšší seřazením.
Chcete-li zobrazit nastavení odvozená pro model "nejlepší", klikněte pravým tlačítkem myši na modul, vyberte možnost vyškolený nejlepší modela potom klikněte na možnost vizualizovat. Sestava obsahuje nastavení parametrů a váhy funkcí pro vstupní sloupce.
Pokud chcete model použít pro bodování v jiných experimentech, aniž byste museli opakovat proces ladění, klikněte pravým tlačítkem na výstup modelu a vyberte Uložit jako trained model.
Provedení křížového ověření s parametrem Sweep
V této části se dozvíte, jak kombinovat parametr Sweep s křížovým ověřením. Tento proces trvá déle, ale můžete zadat počet skládání a získáte maximální množství informací o datové sadě a možných modelech.
Přidejte do experimentu oddíl a vzorový modul a připojte školicí data.
Zvolte možnost přiřadit k skládání a zadejte počet přeložení, do kterých chcete data rozdělit. Pokud číslo nezadáte, použije se ve výchozím nastavení 10 přeložení. Řádky jsou náhodně rozdělené do těchto skládání bez náhrady.
Chcete-li vyvážit vzorkování u některých sloupců, nastavte rozdělení Stratified na hodnotu truea potom vyberte sloupec vrstvy. Například pokud máte nevyváženou datovou sadu, můžete chtít rozdělit datovou sadu tak, že každé přeložení získá stejný počet menšinových případů.
Do experimentu přidejte modul parametrů modelu ladění .
Připojení jeden z modulů strojového učení v této kategorii na levý vstup parametrů modelu ladění.
V podokně vlastnosti pro nástroj pro seznámení nastavte možnost vytvořit režim Trainer na rozsah parametrů a pomocí Tvůrce rozsahu určete rozsah hodnot, které se mají použít v Sweep parametru.
Nemusíte zadávat rozsah pro všechny hodnoty. Můžete ručně nastavit hodnotu pro některé parametry a potom rozmazáním zbývajících parametrů. To může nějaký čas ušetřit.
Seznam známek, které tuto možnost nepodporují, najdete v části technické poznámky .
Připojení výstup oddílu a vzorku na vstupní datovou sadu s popiskem, který je součástí předparametrů modelu ladění.
V případě potřeby můžete připojit ověřovací datovou sadu k pravému vstupu pro parametry modelu ladění. Pro křížové ověřování potřebujete pouze školicí datovou sadu.
V podokně vlastnosti u dílčích parametrů modelu laděníurčete, zda chcete provést náhodné nebo tabulkové oblouky. Sweep mřížky je vyčerpávající, ale je časově náročnější. Hledání náhodného parametru může mít za následek dobré výsledky, aniž by trvala poměrně dlouhou dobu.
Maximální počet spuštění na náhodném čištění: Pokud zvolíte náhodné rozčištění, můžete určit, kolikrát by měl být model vyškolený, pomocí náhodné kombinace hodnot parametrů.
Maximální počet spuštění v náhodné mřížce: Tato možnost také určuje počet iterací v případě náhodného vzorkování hodnot parametrů, ale hodnoty nejsou vygenerované náhodně ze zadaného rozsahu. místo toho se vytvoří matice se všemi možnými kombinacemi hodnot parametrů a náhodným vzorkováním se vezme v matici. Tato metoda je efektivnější a méně náchylná k regionálnímu převzorkování nebo odvzorkování.
Tip
Podrobnější diskuzi o těchto možnostech najdete v části technické poznámky .
Vyberte sloupec s jedním popiskem.
Vyberte jednu metriku, která se použije při seřazení modelu. Je vypočítána řada metrik, takže vyberte nejdůležitější z nich, který se použije při řazení výsledků.
V případě náhodného osazenízadejte číslo, které se má použít při inicializaci mazání parametru.
Pokud provádíte výuku modelu, který podporuje integrovaný parametr Sweep, můžete také nastavit rozsah počátečních hodnot, které se mají použít, a iterovat náhodné semeny. Tato možnost je volitelná, ale může být užitečná, pokud nechcete, aby se předešlo zavedený výběr.
Přidejte modul model křížového ověřování . Připojení výstup oddílu a vzorku do vstupu datové sady a připojte výstup parametrů modelu ladění k nevýukovým vstupům modelu.
Spusťte experiment.
Výsledky křížového ověřování
Po dokončení křížového ověření:
Chcete-li zobrazit výsledky vyhodnocení, klikněte pravým tlačítkem myši na modul, vyberte výsledky vyhodnocení podle skládánía pak vyberte vizualizovat.
Metriky přesnosti se počítají z předávacího křížového ověřování a můžou se mírně lišit v závislosti na tom, kolik skládání jste vybrali.
Chcete-li zjistit, jak byla datová sada rozdělena, a jak by měl "nejlepší" model vyhodnotit každý řádek v datové sadě, klikněte pravým tlačítkem na modul, vyberte skóre výsledkůa pak vyberte vizualizovat.
Pokud tuto datovou sadu uložíte pro pozdější opětovné použití, zachovají se přiřazení skládání. Například uložené datsaet může vypadat takto:
Přeložení přiřazení Třída Stáří (sloupec 1 funkce) 2 0 35 1 1 17 3 0 62 Chcete-li získat nastavení parametrů pro model "nejlepší", klikněte pravým tlačítkem na položku ladit model parametry .
Příklady
Příklady toho, jak se tento modul používá, najdete v Azure AI Gallery:
Předpověď výkonnosti studenta: používá algoritmus rozlomeného rozhodovacího stromu se dvěma třídami s různými parametry k vygenerování modelu s nejlepší možnou hlavní střední chybou (RMSE).
Učení with counts: binární klasifikace: vygeneruje kompaktní sadu funkcí pomocí učení založené na počtu a potom použije pro vyhledání nejlepších parametrů modelu sweep parametrů.
Binární klasifikace: zjišťování neoprávněných vniknutí k síti: používá v režimu křížového ověřování vlastní parametry modelu ladění , s vlastním rozdělením na pět ohybů a k nalezení nejlepších parametrů pro model logistické regrese dvou tříd .
Technické poznámky
Tato část obsahuje podrobné informace o implementaci, tipy a odpovědi na nejčastější dotazy.
Jak funguje úklid parametrů
Tato část popisuje, jak funkce mazání parametrů funguje obecně, a jak se možnosti v tomto modulu pracují.
Při nastavování parametru Sweep definujete rozsah hledání, chcete-li použít buď konečný počet parametrů, který je vybrán náhodně, nebo podrobné vyhledávání nad definovaným prostorem parametrů.
Náhodné čištění: Tato možnost nastavila model pomocí nastaveného počtu iterací.
Zadáte rozsah hodnot, které se mají iterovat, a modul používá náhodně vybranou podmnožinu těchto hodnot. Hodnoty se volí s náhradou, což znamená, že čísla dříve vybraná náhodně nejsou odebrána z fondu dostupných čísel. Proto možnost výběru libovolné hodnoty zůstane stejná napříč všemi průchody.
Sweep mřížky: Tato možnost vytvoří matici nebo mřížku, která zahrnuje každou kombinaci parametrů v rozsahu hodnot, který zadáte. Když začnete s tímto modulem ladit, vyškole se několik modelů pomocí kombinací těchto parametrů.
Celá mřížka: možnost použití celé mřížky znamená pouze to, že každá kombinace je testována. Tato možnost se dá považovat za nejdůkladnější, ale vyžaduje to nejvíce času.
Random Grid: Pokud vyberete tuto možnost, vypočítá se matice všech kombinací a z matice se navzorkují hodnoty, které odpovídají počtu iterací, které jste zadali.
Poslední výzkum ukázal, že náhodné rozklady můžou vylepšit lepší výkon než proužky mřížky.
Řízení délky a složitosti školení
Iterace nad mnoha kombinacemi nastavení může být časově náročná, takže modul nabízí několik způsobů, jak omezit proces:
- Omezení počtu iterací použitých k otestování modelu
- Omezení prostoru parametrů
- Omezte numer iterací i prostor parametru.
Doporučujeme experimentovat s nastavením, abyste určili nejúčinnější způsob školení pro konkrétní datovou sadu a model.
Výběr metriky vyhodnocení
Sestava obsahující přesnost pro každý model je prezentována na konci, takže můžete zkontrolovat výsledky metriky. Pro všechny modely klasifikace se používá jednotná sada metrik a pro regresní modely se používá jiná sada metrik. Během školení ale musíte zvolit jednu metriku, která se použije v seřazení modelů generovaných během procesu optimalizace. Může se stát, že se nejlepší metrika liší v závislosti na vašem obchodním problému a na náklady na falešně pozitivní a falešně negativní.
Další informace najdete v tématu postup vyhodnocení výkonu modelu v Machine Learning
Metriky používané pro klasifikaci
Přesnost Poměr skutečných výsledků do celkového počtu případů.
Přesnost Poměr skutečných výsledků k pozitivním výsledkům.
Odvolání Zlomek všech správných výsledků u všech výsledků.
Skóre F Míra, která vyvažuje přesnost a odvolání.
AUC Hodnota, která představuje oblast pod křivkou, pokud jsou na ose x vykresleny falešně pozitivní hodnoty a na ose y jsou zobrazeny kladné hodnoty.
Průměrná ztráta protokolu Rozdíl mezi dvěma distribucí pravděpodobnosti: hodnota true a ta v modelu.
Analýza protokolu o ztrátách Zlepšení poskytované modelem prostřednictvím náhodné předpovědi.
Metriky používané pro regresi
Střední absolutní chyba Vypočítá průměrnou chybu v modelu, kde chyba znamená vzdálenost předpovězené hodnoty od hodnoty true. Často se zkracuje jako Mae.
Kořen průměrného čtverce chyba Měří průměr čtverců chyb a pak převezme kořen této hodnoty. Často zkráceně jako RMSE
Relativní absolutní chyba Představuje chybu jako procento hodnoty true.
Relativní čtvercová chyba Normalizuje celkový počet kvadratických chyb tím, že vydělí celkovou kvadratickou chybu předpokládaných hodnot.
Koeficient určení Jedno číslo, které určuje, jak dobře data vyhovují modelu. Hodnota 1 znamená, že model přesně odpovídá datům; hodnota 0 znamená, že data jsou náhodná nebo jinak nelze přizpůsobit modelu. Často se označují jako r2, r2nebo r-kvadrát.
Moduly, které nepodporují čištění parametrů
téměř všichni učí v Machine Learning podporují křížové ověřování s integrovaným vyčištěním parametrů, které vám umožní vybrat parametry pro experimentování. Pokud se naučíte nastavit rozsah hodnot, můžete ho i nadále používat při křížovém ověřování. V tomto případě je pro oblast oblouku vybraná určitá Rozsah povolených hodnot.
Následující naučí se nepodporují nastavení rozsahu hodnot pro použití v intervalu mazání parametrů:
Očekávané vstupy
| Název | Typ | Description |
|---|---|---|
| Nevlakový model | Rozhraní ILearner | Nevlakový model pro parametr Sweep |
| Datová sada školení | Tabulka dat | Vstupní datová sada pro školení |
| Ověřovací datová sada | Tabulka dat | Vstupní datová sada pro ověřování (pro režim ověřování pro vlak/test). Tento vstup je nepovinný. |
Parametry modulu
| Name | Rozsah | Typ | Výchozí | Description |
|---|---|---|---|---|
| Zadat režim mazání parametrů | Seznam | Metody Sweep | Náhodné Shrnutí | Rozložit celou mřížku na místo parametrů nebo vyložit pomocí omezeného počtu vzorových běhů |
| Maximální počet spuštění na náhodném čištění | [1; 10000] | Integer | 5 | Spustit maximální počet spuštění pomocí náhodného čištění |
| Náhodné osazení | Libovolný | Integer | 0 | Zadejte hodnotu pro počáteční generátor náhodných čísel. |
| Sloupec popisku | Libovolný | ColumnSelection | Sloupec popisku | |
| Metrika pro měření výkonu klasifikace | Seznam | Typ metriky binární klasifikace | Údajů | Vyberte metriku, která se používá pro vyhodnocení modelů klasifikace. |
| Metrika pro měření výkonu regrese | Seznam | Typ RegressionMetric | Střední absolutní chyba | Vyberte metriku, která se používá pro vyhodnocení regresních modelů. |
Výstupy
| Název | Typ | Description |
|---|---|---|
| Výsledky Shrnutí | Tabulka dat | Metrika výsledků pro spuštění parametrů pro čištění |
| Vyškolený nejlepší model | Rozhraní ILearner | Model s nejlepším výkonem pro datovou sadu školení |