Udostępnij za pośrednictwem

Wieloklasowa regresja logistyczna

  • Artykuł

Ważne

Obsługa programu Machine Learning Studio (wersja klasyczna) zakończy się 31 sierpnia 2024 r. Zalecamy przejście do usługi Azure Machine Learning przed tym terminem.

Od 1 grudnia 2021 r. nie będzie można tworzyć nowych zasobów programu Machine Learning Studio (wersja klasyczna). Do 31 sierpnia 2024 r. można będzie nadal korzystać z istniejących zasobów programu Machine Learning Studio (wersja klasyczna).

Dokumentacja programu ML Studio (wersja klasyczna) jest wycofywana i może nie być aktualizowana w przyszłości.

Tworzy wieloklasowy model klasyfikacji regresji logistycznej

Kategoria: Machine Learning/ Inicjowanie modelu/klasyfikacji

Uwaga

Dotyczy: tylko Machine Learning Studio (klasyczne)

Podobne moduły przeciągania i upuszczania są dostępne w Azure Machine Learning projektanta.

Omówienie modułu

W tym artykule opisano sposób użycia modułu multiklasowej regresji logistycznej w programie Machine Learning Studio (wersja klasyczna) w celu utworzenia modelu regresji logistycznej, który może służyć do przewidywania wielu wartości.

Klasyfikacja przy użyciu regresji logistycznej jest metodą uczenia nadzorowanego i dlatego wymaga zestawu danych z etykietami. Model jest trenowany przez udostępnienie modelu i zestawu danych z etykietami jako danych wejściowych modułu, takiego jak hiperparametry Train Model (Trenowanie modelu) lub Tune Model Hyperparameters (Dostrajanie modelu). Wytrenowany model może następnie służyć do przewidywania wartości dla nowych przykładów wejściowych.

Machine Learning Studio (klasyczne) udostępnia również moduł dwuklasowej regresji logistycznej, który jest odpowiedni do klasyfikacji zmiennych binarnych lub dwuchotomnych.

Więcej informacji na temat wieloklasowej regresji logistycznej

Regresja logistyczna to dobrze znana metoda w statystykach, która jest używana do przewidywania prawdopodobieństwa wyniku i jest szczególnie popularna w przypadku zadań klasyfikacji. Algorytm przewiduje prawdopodobieństwo wystąpienia zdarzenia przez dopasowanie danych do funkcji logistycznej. Aby uzyskać szczegółowe informacje o tej implementacji, zobacz sekcję Uwagi techniczne.

W przypadku wieloklasowej regresji logistycznej klasyfikator może służyć do przewidywania wielu wyników.

Jak skonfigurować wieloklasową regresję logistyczną

  1. Dodaj moduł Multiclass Logistic Regression (Wieloklasowa regresja logistyczna) do eksperymentu.

  2. Określ sposób trenowania modelu, ustawiając opcję Utwórz tryb szkoleniowy .

    • Pojedynczy parametr: użyj tej opcji, jeśli wiesz, jak chcesz skonfigurować model, i podaj określony zestaw wartości jako argumenty.

    • Zakres parametrów: użyj tej opcji, jeśli nie masz pewności co do najlepszych parametrów i chcesz użyć funkcji czyszczenie parametrów.

  3. Tolerancja optymalizacji, określ wartość progową zbieżności optymalizatora. Jeśli poprawa między iteracjami jest mniejsza niż wartość progowa, algorytm zatrzymuje się i zwraca bieżący model.

  4. Waga regularyzacji L1, waga regularyzacji L2: wpisz wartość do użycia dla parametrów regularyzacji L1 i L2. Wartość niezerowa jest zalecana dla obu tych wartości.

    Regularyzacja to metoda zapobiegania naddopasowaniu przez penalizowanie modeli z skrajnymi wartościami współczynnika. Regularyzacja działa przez dodanie kar, która jest skojarzona z wartościami współczynników, do błędu hipotezy. Dokładny model z skrajnymi wartościami współczynników będzie bardziej penalizowany, ale mniej dokładny model z bardziej zachowawczymi wartościami będzie mniej penalizowany.

    Regularyzacja L1 i L2 ma różne efekty i zastosowania. L1 można zastosować do modeli rozrzednych, co jest przydatne podczas pracy z danymi wielowymiarowymi. Z kolei regularyzacja L2 jest preferowana w przypadku danych, które nie są rozrzedzine. Ten algorytm obsługuje liniową kombinację wartości regularyzacji L1 i L2: to jest, jeśli x = L1y = L2i , ax + by = c definiuje liniowy zakres terminów regularyzacji.

    Dla modeli regresji logistycznej opracowano różne kombinacje liniowe terminów L1 i L2, takie jak elastyczna regularyzacja netto.

  5. Rozmiar pamięci dla L-BFGS: określ ilość pamięci do użycia na użytek optymalizacji L-BFGS . Ten parametr wskazuje liczbę przeszłych pozycji i gradientów do przechwycenia do obliczenia w następnym kroku.

    L-BFGS to skrót od Limited Memory Broyden-Przetcher-Goldfarb-Shanno. Jest to algorytm optymalizacji, który jest popularny do szacowania parametrów. Ten parametr optymalizacji ogranicza ilość pamięci używanej do obliczenia następnego kroku i kierunku. W przypadku określenia mniejszej ilości pamięci trenowania jest szybsze, ale mniej dokładne.

  6. Iniekt liczb losowych: wpisz wartość całkowitą do użycia jako iniekt dla algorytmu, jeśli wyniki mają być powtarzalne w przebiegach. W przeciwnym razie wartość zegara systemowego jest używana jako iniekcjator, który może dawać nieco inne wyniki w przebiegach tego samego eksperymentu.

  7. Zezwalaj na nieznane poziomy kategorii: wybierz tę opcję, aby utworzyć dodatkowy poziom "nieznany" w każdej kolumnie kategorii. Wszystkie wartości (poziomy) w testowym zestawie danych, które nie są obecne w zestawie danych treningowych, są mapowane na ten "nieznany" poziom.

  8. Połączenie zestaw danych z etykietą i jeden z modułów szkoleniowych:

    • Jeśli ustawisz tryb Tworzenia instruktora na wartość Pojedynczy parametr, użyj modułu Train Model (Trenowanie modelu).

    • Jeśli ustawisz ustawienie Utwórz tryb instruktora na wartość Zakres parametrów, użyj modułu Hiperparametry modelu dostrajania . Za pomocą tej opcji można określić wiele wartości, a instruktor iteruje po wielu kombinacjach ustawień, aby określić kombinację wartości, która tworzy najlepszy model.

    Uwaga

    Jeśli przekażemy zakres parametrów do funkcji Train Model, będzie używana tylko pierwsza wartość z listy zakresów parametrów.

    Jeśli przekażemy pojedynczy zestaw wartości parametrów do modułu Hiperparametry modelu dostrajania, jeśli oczekuje on zakresu ustawień dla każdego parametru, zignoruje wartości i użyje wartości domyślnych dla uczących się.

    W przypadku wybrania opcji Zakres parametrów i wprowadzenia pojedynczej wartości dla dowolnego parametru określona pojedyncza wartość będzie używana podczas całej czyszczenie, nawet jeśli inne parametry zmienią się w zakresie wartości.

  9. Uruchom eksperyment.

Wyniki

Po zakończeniu szkolenia:

Przykłady

Aby uzyskać przykłady dotyczące sposobu, w jaki jest używany ten algorytm uczenia, zobacz Azure AI Gallery:

Uwagi techniczne

Ta sekcja zawiera szczegóły implementacji, porady i odpowiedzi na często zadawane pytania.

Chcesz dowiedzieć się więcej o regularyzacji L1 i L2? Poniższy artykuł zawiera omówienie różnych regularyzacji L1 i L2 oraz ich wpływu na dopasowanie modelu z przykładami kodu regresji logistycznej i modeli sieci neuronowych.

Aby uzyskać więcej informacji na temat implementacji tego algorytmu, zobacz:

Szczegóły implementacji

Regresja logistyczna wymaga zmiennych liczbowych. W związku z tym podczas próby użycia kolumn kategorii jako zmiennej Machine Learning wartości na tablicę wskaźników wewnętrznie.

W przypadku dat i godzin używana jest reprezentacja liczbowa. Aby uzyskać więcej informacji na temat wartości daty i godziny, zobacz DateTime Structure .NET Framework (Struktura .NET Framework). Jeśli chcesz inaczej obsługiwać daty i godziny, zalecamy utworzenie kolumny pochodnej.

Standardowa regresja logistyczna jest binomialna i przyjmuje dwie klasy wyjściowe. Regresja logistyczna wieloklasowa lub wielomianowa zakłada co najmniej trzy klasy danych wyjściowych.

Dwumianowa regresja logistyczna zakłada rozkład logistyczny danych, gdzie prawdopodobieństwo, że przykład należy do klasy 1, jest formułą:

p(x;β0,…, βD-1)

Gdzie:

  • x jest wektorem D-wymiarowym zawierającym wartości wszystkich cech wystąpienia.

  • p to funkcja dystrybucji logistycznej.

  • β{0},..., β {D-1} to nieznane parametry rozkładu logistycznego.

Algorytm próbuje znaleźć optymalne wartości dla β{0},..., β {D-1} przez maksymalizację prawdopodobieństwa dziennika parametrów podanych danych wejściowych. Maksymalizacja jest wykonywana przy użyciu popularnej metody szacowania parametrów o nazwie Limited Memory BFGS.

Parametry modułu

Nazwa Zakres Typ Domyślny Opis
Tolerancja optymalizacji >= double. Epsilon Float 0.0000001 Określanie wartości tolerancji dla optymalizatora L-BFGS
Waga regularyzacji L1 >= 0,0 Float 1.0 Określ wagę regularyzacji L1. Użyj wartości niezerowej, aby uniknąć naddopasowania.
Waga regularyzacji L2 >= 0,0 Float 1.0 Określ wagę regularyzacji L2. Użyj wartości niezerowej, aby uniknąć naddopasowania.
Rozmiar pamięci dla L-BFGS >= 1 Liczba całkowita 20 Określ ilość pamięci (w MB) do użycia dla optymalizatora L-BFGS. Gdy jest używana mniejsza ilość pamięci, trenowania jest szybsze, ale mniej dokładne.
Iniekt liczb losowych Dowolne Liczba całkowita Wpisz wartość, aby zainicjować generator liczb losowych używany przez model. Pozostaw wartość domyślną pustą.
Zezwalaj na nieznane poziomy kategorii Dowolne Boolean Prawda Wskaż, czy należy utworzyć dodatkowy poziom dla każdej kolumny kategorii. Wszystkie poziomy w testowym zestawie danych, które nie są dostępne w zestawie danych treningowych, są mapowane na ten dodatkowy poziom.

Dane wyjściowe

Nazwa Typ Opis
Nie wytrenowany model ILearner, interfejs Nieprzeszkolony model klasyfikacji

Zobacz też

Klasyfikacja
Dwuklasowa regresja logistyczna
Lista modułów A–Z