Dostrajanie hiperparametrów modelu
Ważne
Obsługa programu Machine Learning Studio (wersja klasyczna) zakończy się 31 sierpnia 2024 r. Zalecamy przejście do usługi Azure Machine Learning przed tym terminem.
Od 1 grudnia 2021 r. nie będzie można tworzyć nowych zasobów programu Machine Learning Studio (wersja klasyczna). Do 31 sierpnia 2024 r. można będzie nadal korzystać z istniejących zasobów programu Machine Learning Studio (wersja klasyczna).
- Zobacz informacje na temat przenoszenia projektów uczenia maszynowego z programu ML Studio (wersja klasyczna) do Azure Machine Learning.
- Dowiedz się więcej o Azure Machine Learning.
Dokumentacja programu ML Studio (wersja klasyczna) jest wycofywana i może nie być aktualizowana w przyszłości.
Wykonuje czyszczenie parametrów w modelu w celu określenia optymalnych ustawień parametrów
Kategoria: Machine Learning / Trenuj
Uwaga
Dotyczy: Machine Learning Studio (wersja klasyczna)
Podobne moduły przeciągania i upuszczania są dostępne w Azure Machine Learning projektanta.
Omówienie modułu
W tym artykule opisano sposób użycia modułu hiperparametrów modelu dostrajania w programie Machine Learning Studio (wersja klasyczna) w celu określenia optymalnych hiperparametrów dla danego modelu uczenia maszynowego. Moduł tworzy i testuje wiele modeli przy użyciu różnych kombinacji ustawień oraz porównuje metryki dla wszystkich modeli, aby uzyskać kombinację ustawień.
Terminy parametr ihiperparametr mogą być mylące. Parametry modelu są ustawiane w okienku właściwości. Zasadniczo ten moduł przeprowadza czyszczenie parametrów dla określonych ustawień parametrów i uczy się optymalnego zestawu hiperparametrów, który może być inny dla każdego konkretnego drzewa decyzyjnego, zestawu danych lub metody regresji. Proces znajdowania optymalnej konfiguracji jest czasami nazywany dostrajaniem.
Moduł obsługuje dwie metody znajdowania optymalnych ustawień dla modelu:
Zintegrowany trenowanie i dostrajanie: należy skonfigurować zestaw parametrów do użycia, a następnie pozwolić modułowi iterować po wielu kombinacjach, mierząc dokładność do momentu, gdy znajdzie "najlepszy" model. W przypadku większości modułów szkoleniowych możesz wybrać parametry, które mają zostać zmienione podczas procesu trenowania i które powinny pozostać stałe.
W zależności od tego, jak długo chcesz uruchamiać proces dostrajania, możesz zdecydować się na wyczerpujące przetestowanie wszystkich kombinacji lub skrócić ten proces, ustanawiając siatkę kombinacji parametrów i testując losowy podzbiór siatki parametrów.
Krzyżowe sprawdzanie poprawności za pomocą dostrajania: ta opcja pozwala podzielić dane na kilka kropek, a następnie tworzyć i testować modele na każdym z nich. Ta metoda zapewnia najlepszą dokładność i może pomóc w odnalezieniu problemów z zestawem danych; Trenuje się jednak dłużej.
Obie metody generują wytrenowany model, który można zapisać do ponownego użycia.
Zadania powiązane
Jeśli tworzysz model klastrowania, użyj funkcji Czyszczenie klastrów, aby automatycznie określić optymalną liczbę klastrów i innych parametrów.
Przed dostrajaniem zastosuj wybór funkcji, aby określić kolumny lub zmienne, które mają największą wartość informacji. Aby uzyskać więcej informacji, zobacz Wybór funkcji.
Jak skonfigurować hiperparametry modelu dostrajania
Ogólnie rzecz biorąc, uczenie się optymalnych hiperparametrów dla danego modelu uczenia maszynowego wymaga znacznych eksperymentów. Ten moduł obsługuje zarówno początkowy proces dostrajania, jak i krzyżową walidację w celu przetestowania dokładności modelu:
Znajdowanie optymalnych parametrów modelu przy użyciu funkcji czyszczenie parametrów
Wykonywanie krzyżowej walidacji podczas czyszczenie parametrów
Trenowanie modelu przy użyciu funkcji czyszczenie parametrów
W tej sekcji opisano sposób przeprowadzania podstawowego czyszczenie parametrów, które umożliwia trenowanie modelu przy użyciu modułu Hiperparametry modelu dostrajania.
Dodaj moduł Hiperparametry modelu strojenia do eksperymentu w programie Studio (wersja klasyczna).
Połączenie wytrenowany model (model w formacie iLearner) do danych wejściowych po lewej stronie.
Ustaw opcję Utwórz tryb szkoleniowy na wartość Zakres parametrów i użyj funkcji Range Builder , aby określić zakres wartości do użycia podczas czyszczenie parametrów.
Prawie wszystkie moduły klasyfikacjii regresji obsługują czyszczenie zintegrowanych parametrów. W przypadku osób uczących się, które nie obsługują konfigurowania zakresu parametrów, można przetestować tylko dostępne wartości parametrów.
Możesz ręcznie ustawić wartość dla co najmniej jednego parametru, a następnie przesłonić pozostałe parametry. Może to zaoszczędzić trochę czasu.
Dodaj zestaw danych, którego chcesz użyć do trenowania, i połącz go ze środkowym elementem wejściowym funkcji Dostrajanie hiperparametrów modelu.
Opcjonalnie, jeśli masz oznakowany zestaw danych, możesz połączyć go z najbardziej prawym portem wejściowym (opcjonalny zestaw danych weryfikacji). Dzięki temu można mierzyć dokładność podczas trenowania i dostrajania.
W okienku Właściwości hiperparametrów modelu dostrajania wybierz wartość trybu czyszczenie parametrów. Ta opcja określa sposób wyboru parametrów.
- Cała siatka: po wybraniu tej opcji moduł pętli na siatce wstępnie zdefiniowanej przez system, aby wypróbować różne kombinacje i zidentyfikować najlepszego uczcącego się. Ta opcja jest przydatna w przypadkach, gdy nie wiesz, jakie mogą być najlepsze ustawienia parametrów i chcesz wypróbować wszystkie możliwe kombinacje wartości.
Można również zmniejszyć rozmiar siatki i uruchomić losowe czyszczenie siatki. Badania wykazały, że ta metoda daje te same wyniki, ale jest bardziej wydajna obliczeniowo.
- Czyszczenie losowe: po wybraniu tej opcji moduł losowo wybierze wartości parametrów w zakresie zdefiniowanym przez system. Musisz określić maksymalną liczbę przebiegów, które mają zostać wykonane przez moduł. Ta opcja jest przydatna w przypadkach, gdy chcesz zwiększyć wydajność modelu przy użyciu wybranej metryki, ale nadal oszczędzać zasoby obliczeniowe.
W przypadku kolumny Etykieta uruchom selektor kolumn, aby wybrać kolumnę z jedną etykietą.
Wybierz pojedynczą metrykę do użycia podczas klasyfikacji modeli.
Po uruchomieniu czyszczenie parametrów wszystkie odpowiednie metryki dla typu modelu są obliczane i zwracane w raporcie Wyników czyszczenie . Oddzielne metryki są używane w przypadku modeli regresji i klasyfikacji.
Jednak wybór metryki określa, jak są klasyfikowane modele. Tylko najlepszy model, w klasyfikacji według wybranej metryki, jest danymi wyjściowym jako wytrenowany model, który ma być oceniany.
W przypadku inicjalizacji losowej wpisz liczbę do użycia podczas inicjowania czyszczenie parametrów.
Jeśli trenujesz model, który obsługuje czyszczenie zintegrowanych parametrów, możesz również ustawić zakres wartości iniektora do użycia i iterować po losowych iniektach. Może to być przydatne w przypadku unikania stronniczości wprowadzonej przez wybór iniekcyjną.
Uruchom eksperyment.
Wyniki dostrajania hiperparametrów
Po zakończeniu trenowania:
Aby wyświetlić zestaw metryk dokładności dla najlepszego modelu, kliknij prawym przyciskiem myszy moduł, wybierz polecenie Czyszczenie wyników, a następnie wybierz pozycję Wizualizacja.
Wszystkie metryki dokładności dotyczące typu modelu są danymi wyjściowych, ale metryka wybrana do klasyfikacji określa, który model jest uznawany za "najlepszy". Metryki są generowane tylko dla modelu o najwyższej klasyfikacji.
Aby wyświetlić ustawienia pochodne dla "najlepszego" modelu, kliknij prawym przyciskiem myszy moduł, wybierz pozycję Trained best model (Wytrenowany najlepszy model), a następnie kliknij pozycję Visualize (Wizualizacja). Raport zawiera ustawienia parametrów i wagi cech dla kolumn wejściowych.
Aby użyć modelu do oceniania w innych eksperymentach bez konieczności powtarzania procesu dostrajania, kliknij prawym przyciskiem myszy dane wyjściowe modelu i wybierz pozycję Zapisz jako wytrenowany model.
Wykonywanie krzyżowej walidacji za pomocą czyszczenie parametrów
W tej sekcji opisano, jak połączyć czyszczenie parametrów z krzyżową weryfikacją. Ten proces trwa dłużej, ale można określić liczbę składań i uzyskać maksymalną ilość informacji o zestawie danych i możliwych modelach.
Dodaj moduł Partition (Partycja) i Sample ( Przykład) do eksperymentu i połącz dane szkoleniowe.
Wybierz opcję Przypisz do składań i określ liczbę składań, na które mają zostać podzielone dane. Jeśli nie określisz liczby, domyślnie zostanie użytych 10 kropek. Wiersze są losowo podzielone na te kropki, bez zastępowania.
Aby zrównoważyć próbkowanie w niektórych kolumnach, ustaw podział warstwowy na wartość TRUE, a następnie wybierz kolumnę strata. Jeśli na przykład masz niezrównoważony zestaw danych, możesz podzielić zestaw danych tak, aby każdy składanie pobierało taką samą liczbę przypadków równowagi.
Dodaj moduł Hiperparametry modelu dostrajania do eksperymentu.
Połączenie jeden z modułów uczenia maszynowego w tej kategorii do danych wejściowych po lewej stronie dla hiperparametrów modelu dostrajania.
W okienku Właściwości dla uczących się ustaw opcję Utwórz tryb instruktora na wartość Zakres parametrów i użyj funkcji Range Builder, aby określić zakres wartości do użycia podczas czyszczenie parametrów.
Nie trzeba określać zakresu dla wszystkich wartości. Możesz ręcznie ustawić wartość dla niektórych parametrów, a następnie przesłonić pozostałe parametry. Może to zaoszczędzić trochę czasu.
Aby uzyskać listę osób uczących się, które nie obsługują tej opcji, zobacz sekcję Uwagi techniczne.
Połączenie dane wyjściowe partycji i przykładu do danych wejściowych zestawu danych szkoleniowych dla hiperparametrów dostrajania modelu.
Opcjonalnie możesz połączyć zestaw danych weryfikacji z prawym przyciskiem myszy danych wejściowych hiperparametrów modelu dostrajania. Do krzyżowej weryfikacji potrzebny jest tylko zestaw danych treningowych.
W okienku Właściwości hiperparametrów modelu dostrajania wskaż, czy chcesz przeprowadzić losowe czyszczenie, czy czyszczenie siatki. Czyszczenie siatki jest wyczerpujące, ale bardziej czasochłonne. Losowe wyszukiwanie parametrów może uzyskać dobre wyniki bez zbytniego czasu.
Maksymalna liczba przebiegów podczas losowego czyszczenie: jeśli wybierzesz losowe czyszczenie, możesz określić, ile razy model ma zostać wytrenowany, używając losowej kombinacji wartości parametrów.
Maksymalna liczba przebiegów na siatce losowej: ta opcja kontroluje również liczbę iteracji w losowym próbkowaniu wartości parametrów, ale wartości nie są generowane losowo z określonego zakresu; Zamiast tego jest tworzona macierz ze wszystkimi możliwymi kombinacjami wartości parametrów, a na macierz jest podejmowane losowe próbkowanie. Ta metoda jest bardziej wydajna i mniej podatna na regionalne oversampling lub undersampling.
Porada
Aby uzyskać bardziej szczegółowe omówienie tych opcji, zobacz sekcję Uwagi techniczne.
Wybierz kolumnę z jedną etykietą.
Wybierz pojedynczą metrykę do użycia podczas klasyfikacji modelu. Obliczanych jest wiele metryk, dlatego należy wybrać najważniejszą metrykę do użycia w celu uporządkowania wyników.
W przypadku losowego inicjowania wpisz liczbę do użycia podczas inicjowania czyszczenie parametrów.
Jeśli trenujesz model, który obsługuje czyszczenie zintegrowanych parametrów, możesz również ustawić zakres wartości iniektora do użycia i iterować po losowych iniektach. Jest to opcjonalne, ale może być przydatne do uniknięcia stronniczości wprowadzonej przez wybór iniekcyjną.
Dodaj moduł Cross-Validate Model (Model krzyżowy ). Połączenie dane wyjściowe partycji i przykładu do danych wejściowych zestawu danych, a następnie połącz dane wyjściowe hiperparametrów modelu dostrajania z nieprzeszkolonymi danych wejściowymi modelu.
Uruchom eksperyment.
Wyniki krzyżowej weryfikacji
Po zakończeniu krzyżowej weryfikacji:
Aby wyświetlić wyniki oceny, kliknij prawym przyciskiem myszy moduł, wybierz pozycję Wyniki oceny za pomocą składania, a następnie wybierz pozycję Visualize (Wizualizacja).
Metryki dokładności są obliczane na podstawie przebiegu krzyżowego weryfikacji i mogą się nieznacznie różnić w zależności od wybranej wartości.
Aby zobaczyć, jak zestaw danych został podzielony i jak "najlepszy" model będzie dzielić poszczególne wiersze w zestawie danych, kliknij prawym przyciskiem myszy moduł, wybierz pozycję Scored results (Wyniki z wynikami), a następnie wybierz pozycję Visualize (Wizualizacja).
Jeśli zapiszemy ten zestaw danych do późniejszego ponownego użycia, przypisania składania zostaną zachowane. Na przykład zapisany plik datsaet może wyglądać tak:
Składanie przypisań Klasa Age(1. kolumna funkcji) 2 0 35 1 1 17 3 0 62 Aby uzyskać ustawienia parametrów "najlepszego" modelu, kliknij prawym przyciskiem myszy pozycję Dostosuj hiperparametry modelu
Przykłady
Przykłady sposobu, w jaki jest używany ten moduł, można znaleźć w Azure AI Gallery:
Przewidywanie wydajności studentów: używa algorytmu Two-Class Boosted Decision Tree (Dwuklasowe, boosted Decision Tree) z różnymi parametrami, aby wygenerować model z najlepszym możliwym głównym błędem kwadratowym (RMSE).
Edukacja z liczbami: Klasyfikacja binarna: generuje kompaktowy zestaw funkcji przy użyciu uczenia opartego na liczbach, a następnie stosuje czyszczenie parametrów w celu znalezienia najlepszych parametrów modelu.
Klasyfikacja binarna: wykrywanie włamań do sieci: używa hiperparametrów dostrajania modelu w trybie krzyżowej weryfikacji z niestandardowym podziałem na pięć kropek, aby znaleźć najlepsze hiperparametry dla dwuklasowego modelu regresji logistycznej.
Uwagi techniczne
Ta sekcja zawiera szczegóły implementacji, porady i odpowiedzi na często zadawane pytania.
Jak działa czyszczenie parametrów
W tej sekcji opisano, jak ogólnie działa czyszczenie parametrów i jak współdziałają opcje w tym module.
Podczas konfiguracji czyszczenie parametrów należy zdefiniować zakres wyszukiwania, aby użyć skończonej liczby parametrów wybranej losowo lub wyczerpującego wyszukiwania w przestrzeni parametrów, która jest zdefiniowana.
Czyszczenie losowe: ta opcja szkoli model przy użyciu ustawionej liczby iteracji.
Należy określić zakres wartości do iterowania, a moduł używa losowo wybranego podzestawu tych wartości. Wartości są wybierane ze zamianą, co oznacza, że liczby wybrane wcześniej losowo nie są usuwane z puli dostępnych liczb. W związku z tym prawdopodobieństwo wyboru dowolnej wartości pozostaje takie samo we wszystkich przebiegach.
Czyszczenie siatki: ta opcja tworzy macierz lub siatkę, która zawiera każdą kombinację parametrów w zakresie wartości, który określisz. Po rozpoczęciu dostrajania w tym module wiele modeli jest trenowana przy użyciu kombinacji tych parametrów.
Cała siatka: Opcja użycia całej siatki oznacza tylko to: każda kombinacja jest testowana. Tę opcję można uznać za najbardziej dokładną, ale wymaga najwięcej czasu.
Siatka losowa: w przypadku wybrania tej opcji macierz wszystkich kombinacji jest obliczana, a wartości są próbkowane z macierzy w określonej liczbie iteracji.
Ostatnie badania wykazały, że losowe czyszczenie może działać lepiej niż czyszczenie siatki.
Kontrolowanie długości i złożoności trenowania
Iterowanie po wielu kombinacjach ustawień może być czasochłonne, dlatego moduł udostępnia kilka sposobów ograniczenia procesu:
- Ograniczanie liczby iteracji używanych do testowania modelu
- Ogranicz miejsce parametru
- Ogranicz zarówno liczbę iteracji, jak i przestrzeń parametru
Zalecamy eksperymentowanie z ustawieniami w celu określenia najbardziej wydajnej metody trenowania określonego zestawu danych i modelu.
Wybieranie metryki oceny
Raport zawierający dokładność każdego modelu jest prezentowany na końcu, dzięki czemu można przejrzeć wyniki metryki. Jednolity zestaw metryk jest używany dla wszystkich modeli klasyfikacji, a inny zestaw metryk jest używany w przypadku modeli regresji. Jednak podczas trenowania należy wybrać pojedynczą metrykę do użycia podczas klasyfikacji modeli generowanych podczas procesu dostrajania. Może się okazać, że najlepsza metryka różni się w zależności od problemu biznesowego oraz kosztów wyników fałszywie dodatnich i fałszywie ujemnych.
Aby uzyskać więcej informacji, zobacz Jak ocenić wydajność modelu w Machine Learning
Metryki używane do klasyfikacji
Dokładność Proporcja prawdziwych wyników do łącznej liczby przypadków.
Precyzji Proporcja wyników prawdziwych do wyników dodatnich.
Przypomnieć Ułamek wszystkich poprawnych wyników dla wszystkich wyników.
Wynik F Miara, która równoważy precyzję i przywoływanie.
AUC Wartość, która reprezentuje obszar pod krzywą, gdy na osi x są wykreślone wyniki fałszywie dodatnie, a wartości prawdziwie dodatnie są wykreślone na osi y.
Średnia utrata dziennika Różnica między dwoma rozkładami prawdopodobieństwa: prawdziwym i tym w modelu.
Trenuj utratę dziennika Ulepszenia zapewniane przez model w przypadku przewidywania losowego.
Metryki używane do regresji
Średni bezwzględny błąd Uśrednia cały błąd w modelu, gdzie błąd oznacza odległość przewidywanej wartości od wartości true. Często skracany jako MAE.
Katalog główny błędu średniego kwadratu Mierzy średnią kwadratów błędów, a następnie pobiera wartość główną tej wartości. Często skracany jako RMSE
Względny błąd bezwzględny Reprezentuje błąd jako wartość procentową wartości true.
Błąd względny kwadrat Normalizuje sumę błędu kwadratowego przez podzielenie przez łączną liczbę kwadratów błędu przewidywanych wartości.
Współczynnik ustaleń Pojedyncza liczba wskazująca, jak dobrze dane pasują do modelu. Wartość 1 oznacza, że model dokładnie pasuje do danych; Wartość 0 oznacza, że dane są losowe lub w inny sposób nie można dopasować ich do modelu. Często określane jako r2, R2 lub r-squared.
Moduły, które nie obsługują czyszczenie parametrów
Prawie wszyscy uczniowie w Machine Learning obsługują krzyżowe sprawdzanie poprawności za pomocą zintegrowanego czyszczenie parametrów, które pozwala wybrać parametry do eksperymentowania. Jeśli uczenia nie obsługują ustawiania zakresu wartości, nadal można używać go podczas krzyżowej weryfikacji. W tym przypadku do czyszczenie jest wybierany pewien zakres dozwolonych wartości.
Następujący uczniowie nie obsługują ustawiania zakresu wartości do użycia podczas czyszczenie parametrów:
Oczekiwane dane wejściowe
| Nazwa | Typ | Opis |
|---|---|---|
| Nie wytrenowany model | ILearner, interfejs | Nieprzeszkolony model do czyszczenie parametrów |
| Zestaw danych trenowania | Tabela danych | Wejściowy zestaw danych do trenowania |
| Zestaw danych weryfikacji | Tabela danych | Wejściowy zestaw danych do walidacji (dla trybu weryfikacji Trenuj/Testuj). Te dane wejściowe są opcjonalne. |
Parametry modułu
| Nazwa | Zakres | Typ | Domyślny | Opis |
|---|---|---|---|---|
| Określanie trybu czyszczenie parametrów | Lista | Metody czyszczenie | Czyszczenie losowe | Czyszczenie całej siatki w przestrzeni parametrów lub czyszczenie przy użyciu ograniczonej liczby przykładowych przebiegów |
| Maksymalna liczba przebiegów podczas losowego czyszczenie | [1;10000] | Liczba całkowita | 5 | Wykonywanie maksymalnej liczby przebiegów za pomocą losowego czyszczenie |
| Iniekt losowy | dowolny | Liczba całkowita | 0 | Podaj wartość iniekcyjną generatora liczb losowych |
| Kolumna etykiety | dowolny | ColumnSelection | Kolumna etykiety | |
| Metryka pomiaru wydajności klasyfikacji | Lista | Typ metryki klasyfikacji binarnej | Dokładność | Wybierz metrykę używaną do oceny modeli klasyfikacji |
| Metryka pomiaru wydajności regresji | Lista | RegressionMetric Type | Średni błąd bezwzględny | Wybieranie metryki używanej do oceny modeli regresji |
Dane wyjściowe
| Nazwa | Typ | Opis |
|---|---|---|
| Czyszczenie wyników | Tabela danych | Metryka wyników przebiegów czyszczenie parametrów |
| Wytrenowany najlepszy model | ILearner, interfejs | Modelowanie o najlepszej wydajności w zestawie danych treningowych |