Interpretowanie wyników modelu w usłudze Machine Learning Studio (wersja klasyczna)

DOTYCZY: Machine Learning Studio (wersja klasyczna) Azure Machine Learning

Ważne

Obsługa programu Machine Learning Studio (wersja klasyczna) zakończy się 31 sierpnia 2024 r. Zalecamy przejście do usługi Azure Machine Learning przed tym terminem.

Od 1 grudnia 2021 r. nie będzie można tworzyć nowych zasobów programu Machine Learning Studio (wersja klasyczna). Do 31 sierpnia 2024 r. można będzie nadal korzystać z istniejących zasobów programu Machine Learning Studio (wersja klasyczna).

• Zobacz informacje na temat przenoszenia projektów uczenia maszynowego z usługi ML Studio (klasycznej) do usługi Azure Machine Learning.
• Dowiedz się więcej o usłudze Azure Machine Learning

Dokumentacja programu ML Studio (wersja klasyczna) jest wycofywana i może nie być aktualizowana w przyszłości.

W tym temacie wyjaśniono, jak wizualizować i interpretować wyniki przewidywania w usłudze Machine Learning Studio (wersja klasyczna). Po wytrenowanym modelu i wykonaniu na nim przewidywań ("scored the model"), musisz zrozumieć i zinterpretować wynik przewidywania.

Istnieją cztery główne rodzaje modeli uczenia maszynowego w usłudze Machine Learning Studio (wersja klasyczna):

• Klasyfikacja
• Klastrowanie
• Regresja
• Systemy rekomendatora

Moduły używane do przewidywania na podstawie tych modeli to:

• Moduł Score Model (Generowanie wyników dla modelu klasyfikacji i regresji)
• Przypisywanie do modułu Klastry na potrzeby klastrowania
• Score Matchbox Recommender for recommendation systems (Generowanie wyników dla modułów rekomendacji dla systemów rekomendacji)

Dowiedz się, jak wybrać parametry, aby zoptymalizować algorytmy w usłudze ML Studio (wersja klasyczna).

Aby dowiedzieć się, jak oceniać modele, zobacz Jak ocenić wydajność modelu.

Jeśli dopiero zaczynasz korzystać z programu ML Studio (wersja klasyczna), dowiedz się, jak utworzyć prosty eksperyment.

Klasyfikacja

Istnieją dwie podkategorie problemów klasyfikacji:

• Problemy z tylko dwiema klasami (klasyfikacja dwuklasowa lub binarna)
• Problemy z więcej niż dwiema klasami (klasyfikacja wieloklasowa)

Usługa Machine Learning Studio (klasyczna) ma różne moduły do obsługi każdego z tych typów klasyfikacji, ale metody interpretowania wyników przewidywania są podobne.

Klasyfikacja dwuklasowa

Przykładowy eksperyment

Przykładem problemu z klasyfikacją dwuklasową jest klasyfikacja kwiatów irysów. Zadaniem jest klasyfikowanie kwiatów irysów na podstawie ich cech. Zestaw danych Iris udostępniony w usłudze Machine Learning Studio (wersja klasyczna) jest podzbiorem popularnego zestawu danych Iris zawierającego tylko wystąpienia tylko dwóch gatunków kwiatów (klasy 0 i 1). Istnieją cztery cechy dla każdego kwiatu (długość sepa, szerokość sepal, długość płatka i szerokość płatka).

Rysunek 1. Eksperyment problemu z klasyfikacją dwuklasową Iris

Eksperyment został wykonany w celu rozwiązania tego problemu, jak pokazano na rysunku 1. Model dwuklasowego wzmocnionego drzewa decyzyjnego został wytrenowany i oceniany. Teraz możesz wizualizować wyniki przewidywania z modułu Score Model (Generowanie wyników dla modelu), klikając port wyjściowy modułu Score Model (Generowanie wyników dla modelu), a następnie klikając pozycję Visualize (Wizualizacja).

Spowoduje to wyświetlenie wyników oceniania, jak pokazano na rysunku 2.

Rysunek 2. Wizualizowanie wyniku modelu oceny w klasyfikacji dwuklasowej

Interpretacja wyników

W tabeli wyników znajduje się sześć kolumn. Cztery lewe kolumny to cztery funkcje. Odpowiednie dwie kolumny, Scored Labels i Scored Prawdopodobieństwa, są wynikami przewidywania. Kolumna Scored Probabilities (Obliczone prawdopodobieństwo) pokazuje prawdopodobieństwo, że kwiat należy do klasy dodatniej (Klasa 1). Na przykład pierwsza liczba w kolumnie (0.028571) oznacza, że istnieje prawdopodobieństwo 0,028571, że pierwszy kwiat należy do klasy 1. W kolumnie Scored Labels (Etykiety wyników) jest wyświetlana przewidywana klasa dla każdego kwiatu. Jest to oparte na kolumnie Scored Probabilities (Obliczone prawdopodobieństwo). Jeśli obliczone prawdopodobieństwo kwiatu jest większe niż 0,5, jest przewidywane jako klasa 1. W przeciwnym razie jest ona przewidywana jako klasa 0.

Publikacja usługi sieci Web

Po zrozumieniu i ocenieniu wyników przewidywania eksperyment można opublikować jako usługę internetową, aby można było wdrożyć go w różnych aplikacjach i wywołać go w celu uzyskania przewidywań klas na każdym nowym kwiatie irysów. Aby dowiedzieć się, jak zmienić eksperyment trenowania w eksperyment oceniania i opublikować go jako usługę internetową, zobacz Samouczek 3: Wdrażanie modelu ryzyka kredytowego. Ta procedura zawiera eksperyment oceniania, jak pokazano na rysunku 3.

Rysunek 3. Ocenianie eksperymentu problemu z klasyfikacją dwuklasową iris

Teraz musisz ustawić dane wejściowe i wyjściowe dla usługi internetowej. Dane wejściowe to właściwy port wejściowy modelu wyników, który jest danymi wejściowymi funkcji kwiat irysów. Wybór danych wyjściowych zależy od tego, czy interesuje Cię przewidywana klasa (etykieta oceniana), obliczone prawdopodobieństwo, czy oba te elementy. W tym przykładzie przyjęto założenie, że interesuje Cię obie te elementy. Aby wybrać żądane kolumny wyjściowe, użyj modułu Select Columns in Data set (Wybieranie kolumn w zestawie danych). Kliknij pozycję Wybierz kolumny w zestawie danych, kliknij pozycję Uruchom selektor kolumn, a następnie wybierz pozycję Scored Labels (Obliczone etykiety ) i Scored Probabilities (Obliczone prawdopodobieństwo). Po ustawieniu portu wyjściowego select columns in Data set (Wybieranie kolumn w zestawie danych) i ponownym uruchomieniu go powinno być gotowe do opublikowania eksperymentu oceniania jako usługi internetowej, klikając pozycję PUBLISH WEB SERVICE (PUBLIKUJ usługę internetową). Końcowy eksperyment wygląda jak Rysunek 4.

Rysunek 4. Końcowy eksperyment oceniania problemu klasyfikacji dwuklasowej irysów

Po uruchomieniu usługi internetowej i wprowadzeniu niektórych wartości funkcji wystąpienia testowego wynik zwraca dwie liczby. Pierwsza liczba to etykieta oceniana, a druga to obliczone prawdopodobieństwo. Ten kwiat jest przewidywany jako klasa 1 z prawdopodobieństwem 0,9655.

Rysunek 5. Wynik usługi internetowej klasyfikacji dwuklasowej irysów

Klasyfikacja wieloklasowa

Przykładowy eksperyment

W tym eksperymencie wykonasz zadanie rozpoznawania liter jako przykład klasyfikacji wieloklasowej. Klasyfikator próbuje przewidzieć określoną literę %28class%29 na podstawie niektórych ręcznie napisanych wartości atrybutów wyodrębnionych z ręcznie napisanych obrazów.

W danych szkoleniowych istnieje 16 funkcji wyodrębnionych z ręcznie napisanych obrazów listów. 26 liter tworzą nasze 26 klas. Rysunek 6 przedstawia eksperyment, który wytrenuje model klasyfikacji wieloklasowej na potrzeby rozpoznawania liter i przewiduje tę samą funkcję ustawioną na zestawie danych testowych.

Rysunek 6. Eksperyment problemu z klasyfikacją wieloklasowej rozpoznawania liter

Wizualizowanie wyników z modułu Score Model (Generowanie wyników w modelu), klikając port wyjściowy modułu Score Model (Generowanie wyników dla modelu), a następnie klikając pozycję Visualize (Wizualizacja), powinna zostać wyświetlona zawartość, jak pokazano na rysunku 7.

Rysunek 7. Wizualizowanie wyników modelu wyników w klasyfikacji wieloklasowej

Interpretacja wyników

Lewe 16 kolumn reprezentuje wartości funkcji zestawu testowego. Kolumny o nazwach takich jak Scored Probabilities for Class "XX" są podobne do kolumny Scored Probabilities (Obliczone prawdopodobieństwo) w przypadku dwuklasowym. Pokazują prawdopodobieństwo, że odpowiedni wpis należy do określonej klasy. Na przykład dla pierwszego wpisu istnieje prawdopodobieństwo 0,003571, że jest to "A", 0,000451 prawdopodobieństwo, że jest to "B", itd. Ostatnia kolumna (scored Labels) jest taka sama jak scored Labels w przypadku dwóch klas. Wybiera klasę z największym szacowanym prawdopodobieństwem jako przewidywaną klasą odpowiedniego wpisu. Na przykład dla pierwszego wpisu etykieta oceniana jest "F", ponieważ ma największe prawdopodobieństwo, że ma wartość "F" (0,916995).

Publikacja usługi sieci Web

Można również uzyskać etykietę ocenianą dla każdego wpisu i prawdopodobieństwo oceny etykiety. Podstawowa logika polega na znalezieniu największego prawdopodobieństwa wśród wszystkich ocenianych prawdopodobieństwa. W tym celu należy użyć modułu Execute R Script (Wykonywanie skryptu języka R). Kod języka R jest wyświetlany na rysunku 8, a wynik eksperymentu pokazano na rysunku 9.

Rysunek 8. Kod języka R do wyodrębniania etykiet ocenianych i skojarzonych prawdopodobieństwa etykiet

Rysunek 9. Końcowy eksperyment oceniania problemu z klasyfikacją wieloklasową rozpoznawania liter

Po opublikowaniu i uruchomieniu usługi internetowej i wprowadzeniu niektórych wartości funkcji wejściowych zwrócony wynik wygląda następująco: Rysunek 10. Ta ręcznie napisana litera, z wyodrębnionym 16 cechami, przewiduje się, że będzie "T" z prawdopodobieństwem 0,9715.

Rysunek 10. Wynik usługi sieci Web klasyfikacji wieloklasowej

Regresja

Problemy regresji różnią się od problemów klasyfikacji. W przypadku problemu klasyfikacji próbujesz przewidzieć klasy dyskretne, takie jak klasa, do której należy kwiat tęczówki. Ale jak widać w poniższym przykładzie problemu regresji, próbujesz przewidzieć zmienną ciągłą, taką jak cena samochodu.

Przykładowy eksperyment

Użyj przewidywania cen samochodów jako przykładu dla regresji. Próbujesz przewidzieć cenę samochodu na podstawie jego cech, w tym marki, typu paliwa, typu ciała i koła napędowego. Eksperyment jest pokazany na rysunku 11.

Rysunek 11. Eksperyment dotyczący regresji cen samochodów

Wizualizowanie modułu Score Model (Generowanie wyników dla modelu ) wynik wygląda następująco: Rysunek 12.

Rysunek 12. Wynik oceniania problemu z przewidywaniem cen samochodów

Interpretacja wyników

Scored Labels to kolumna wyników w tym wyniku oceniania. Liczby są przewidywaną ceną dla każdego samochodu.

Publikacja usługi sieci Web

Eksperyment regresji można opublikować w usłudze internetowej i wywołać go na potrzeby przewidywania cen samochodów w taki sam sposób, jak w przypadku użycia klasyfikacji dwuklasowej.

Rysunek 13. Eksperyment oceniania problemu regresji cen samochodów

Uruchomienie usługi internetowej zwrócony wynik wygląda następująco: Rysunek 14. Przewidywana cena tego samochodu wynosi 15 085,52 USD.

Rysunek 14. Wynik usługi internetowej dotyczący problemu regresji cen samochodów

Klastrowanie

Przykładowy eksperyment

Użyjmy ponownie zestawu danych Iris, aby skompilować eksperyment klastrowania. W tym miejscu można odfiltrować etykiety klas w zestawie danych, aby były dostępne tylko funkcje i mogą być używane do klastrowania. W tym przypadku użycia irysów określ liczbę klastrów, które mają być dwa podczas procesu trenowania, co oznacza, że kwiaty zostaną zgrupowane w dwie klasy. Eksperyment jest pokazany na rysunku 15.

Rysunek 15. Eksperyment z klastrowaniem irysów

Klastrowanie różni się od klasyfikacji, ponieważ zestaw danych treningowych nie ma samych etykiet podstawowych prawdy. Klastrowanie grupuje wystąpienia zestawu danych trenowania w odrębne klastry. Podczas procesu trenowania model etykietuje wpisy, ucząc się różnic między ich funkcjami. Następnie wytrenowany model może służyć do dalszego klasyfikowania przyszłych wpisów. Istnieją dwie części wyniku, które nas interesują w ramach problemu klastrowania. Pierwsza część to etykietowanie zestawu danych treningowych, a druga klasyfikuje nowy zestaw danych za pomocą wytrenowanego modelu.

Pierwszą część wyniku można zwizualizować, klikając lewy port wyjściowy trenowania modelu klastrowania, a następnie klikając pozycję Visualize ( Wizualizacja). Wizualizacja jest wyświetlana na rysunku 16.

Rysunek 16. Wizualizowanie wyniku klastrowania dla zestawu danych treningowych

Wynik drugiej części, klastrowanie nowych wpisów za pomocą wytrenowanego modelu klastrowania, jest pokazane na rysunku 17.

Rysunek 17. Wizualizowanie wyniku klastrowania w nowym zestawie danych

Interpretacja wyników

Chociaż wyniki obu części wynikają z różnych etapów eksperymentu, wyglądają tak samo i są interpretowane w ten sam sposób. Pierwsze cztery kolumny to funkcje. Ostatnia kolumna, Przypisania, jest wynikiem przewidywania. Wpisy przypisane do tej samej liczby są przewidywane w tym samym klastrze, czyli współużytkują podobieństwa w jakiś sposób (w tym eksperymencie jest używana domyślna metryka odległości euklidesowej). Ponieważ określono liczbę klastrów na 2, wpisy w przypisania są oznaczone etykietą 0 lub 1.

Publikacja usługi sieci Web

Eksperyment klastrowania można opublikować w usłudze internetowej i wywołać go w celu przewidywania klastrowania w taki sam sposób, jak w przypadku użycia klasyfikacji dwuklasowej.

Rysunek 18. Eksperyment oceniania problemu z klastrowaniem irysów

Po uruchomieniu usługi internetowej zwrócony wynik wygląda następująco: Rysunek 19. Ten kwiat ma znajdować się w klastrze 0.

Rysunek 19. Wynik usługi internetowej klasyfikacji dwuklasowej irysów

System rekomendatora

Przykładowy eksperyment

W przypadku systemów rekomendacji można użyć problemu z rekomendacją restauracji jako przykładu: możesz polecić restauracje klientom na podstawie ich historii klasyfikacji. Dane wejściowe składają się z trzech części:

• Oceny restauracji od klientów
• Dane funkcji klienta
• Dane cech restauracji

Istnieje kilka czynności, które możemy wykonać za pomocą modułu Train Matchbox Recommender w usłudze Machine Learning Studio (wersja klasyczna):

• Przewidywanie ocen dla danego użytkownika i elementu
• Zalecane elementy dla danego użytkownika
• Znajdowanie użytkowników powiązanych z danym użytkownikiem
• Znajdowanie elementów powiązanych z danym elementem

Możesz wybrać, co chcesz zrobić, wybierając z czterech opcji w menu Rodzaj przewidywania modułu rekomendacji. W tym miejscu możesz zapoznać się ze wszystkimi czterema scenariuszami.

Typowy eksperyment usługi Machine Learning Studio (klasyczny) dla systemu rekomendacji wygląda jak Rysunek 20. Aby uzyskać informacje o sposobie korzystania z tych modułów systemowych modułów polecających, zobacz Train matchbox recommender and Score matchbox recommender (Trenowanie modułu rekomendacji matchbox) i Score matchbox recommender (Generowanie wyników w pole wyboru).

Rysunek 20. Eksperyment systemowy modułu rekomendacji

Interpretacja wyników

Przewidywanie ocen dla danego użytkownika i elementu

Wybierając pozycję Przewidywanie klasyfikacji w obszarze Rodzaj przewidywania modułu rekomendacji, prosisz system polecający o przewidywanie oceny dla danego użytkownika i elementu. Wizualizacja danych wyjściowych score Matchbox Recommender wygląda następująco: Rysunek 21.

Rysunek 21. Wizualizowanie wyniku wyniku modułu rekomendacji — przewidywanie oceny

Dwie pierwsze kolumny to pary elementów użytkownika udostępniane przez dane wejściowe. Trzecia kolumna to przewidywana ocena użytkownika dla określonego elementu. Na przykład w pierwszym wierszu przewiduje się, że klient U1048 ocenia 135026 restauracji jako 2.

Zalecane elementy dla danego użytkownika

Wybierając pozycję Zalecenie dotyczące elementu w obszarze Rodzaj przewidywania modułu rekomendacji, prosisz system rekomendacji o polecanie elementów dla danego użytkownika. Ostatni parametr do wybrania w tym scenariuszu to Wybór zalecanego elementu. Opcja Od elementów ocenianych (na potrzeby oceny modelu) jest przeznaczona głównie do oceny modelu podczas procesu trenowania. Na potrzeby tego etapu przewidywania wybieramy pozycję Z wszystkich elementów. Wizualizacja danych wyjściowych score Matchbox Recommender wygląda następująco: Rysunek 22.

Rysunek 22. Wizualizowanie wyniku wyniku rekomendacji elementu systemowego — rekomendacja

Pierwsza z sześciu kolumn reprezentuje podane identyfikatory użytkowników, dla których mają być zalecane elementy, zgodnie z danymi wejściowymi. Pozostałe pięć kolumn reprezentuje elementy zalecane dla użytkownika w kolejności malejącej istotności. Na przykład w pierwszym wierszu najbardziej zalecaną restauracją dla klienta U1048 jest 134986, a następnie 135018, 134975, 135021 i 132862.

Znajdowanie użytkowników powiązanych z danym użytkownikiem

Wybierając pozycję Powiązane użytkownicy w obszarze Rodzaj przewidywania rekomendacji, prosisz system polecający o znalezienie powiązanych użytkowników z danym użytkownikiem. Powiązanych użytkowników to użytkownicy, którzy mają podobne preferencje. Ostatnim parametrem do wyboru w tym scenariuszu jest wybór powiązanego użytkownika. Opcja Od użytkowników, którzy ocenili elementy (na potrzeby oceny modelu) jest przeznaczona głównie do oceny modelu podczas procesu trenowania. Wybierz pozycję Spośród wszystkich użytkowników dla tego etapu przewidywania. Wizualizacja danych wyjściowych score Matchbox Recommender wygląda następująco: Rysunek 23.

Rysunek 23. Wizualizowanie wyników oceny użytkowników związanych z systemem

Pierwsza z sześciu kolumn zawiera podane identyfikatory użytkowników potrzebne do znalezienia powiązanych użytkowników, zgodnie z danymi wejściowymi. Pozostałe pięć kolumn przechowuje przewidywanych powiązanych użytkowników użytkownika w kolejności malejącej istotności. Na przykład w pierwszym wierszu najbardziej odpowiedni klient dla klienta U1048 to U1051, a następnie U1066, U1044, U1017 i U1072.

Znajdowanie elementów powiązanych z danym elementem

Wybierając pozycję Elementy pokrewne w obszarze Rodzaj przewidywania modułu rekomendacji, prosisz system polecający o znalezienie powiązanych elementów z danym elementem. Powiązane elementy to elementy, które najprawdopodobniej będą lubiane przez tego samego użytkownika. Ostatnim parametrem do wybrania w tym scenariuszu jest wybór elementu Powiązane. Opcja Od elementów ocenianych (na potrzeby oceny modelu) jest przeznaczona głównie do oceny modelu podczas procesu trenowania. Wybieramy opcję Od wszystkich elementów dla tego etapu przewidywania. Wizualizacja danych wyjściowych score Matchbox Recommender wygląda następująco: Rysunek 24.

Rysunek 24. Wizualizowanie wyników oceny elementów związanych z systemem

Pierwsza z sześciu kolumn reprezentuje podane identyfikatory elementów potrzebne do znalezienia powiązanych elementów, zgodnie z danymi wejściowymi. Pozostałe pięć kolumn przechowuje przewidywane powiązane elementy elementu w kolejności malejącej pod względem istotności. Na przykład w pierwszym wierszu najbardziej odpowiedni element 135026 elementu jest 135074, a następnie 135035, 132875, 135055 i 134992.

Publikacja usługi sieci Web

Proces publikowania tych eksperymentów jako usług internetowych w celu uzyskania przewidywań jest podobny dla każdego z czterech scenariuszy. W tym miejscu użyjemy drugiego scenariusza (zalecamy użycie elementów dla danego użytkownika) jako przykładu. Możesz wykonać tę samą procedurę z pozostałymi trzema.

Zapisanie wytrenowanego systemu rekomendacji jako wytrenowanego modelu i filtrowanie danych wejściowych do jednej kolumny identyfikatora użytkownika zgodnie z żądaniem, można podłączyć eksperyment w sposób pokazany na rysunku 25 i opublikować go jako usługę internetową.

Rysunek 25. Eksperyment oceniania problemu z rekomendacją restauracji

Uruchomienie usługi internetowej zwracany wynik wygląda następująco: Rysunek 26. Pięć zalecanych restauracji dla użytkownika U1048 to 134986, 135018, 134975, 135021 i 132862.

Rysunek 26. Wynik rekomendacji dotyczącej usługi sieci Web dotyczący rekomendacji dotyczących restauracji