Informacje o modelu i jego testowanie

  • 5 min

Utworzyliśmy model uczenia maszynowego! Przetestujmy go i przyjrzyjmy się, jak dobrze działa.

Wydajność modelu

Usługa Custom Vision wyświetla trzy metryki podczas testowania modelu. Metryki to wskaźniki, które mogą pomóc zrozumieć, jak działa model. Wskaźniki nie wskazują, jak rzeczywisty lub dokładny jest model. Wskaźniki informują tylko o tym, jak model był wykonywany na podanych danych. Jak dobrze model jest wykonywany na znanych danych, daje wyobrażenie o tym, jak model będzie działać na nowych danych.

Dla całego modelu i dla każdej klasy podano następujące metryki:

Metryczne opis
precision Jeśli model przewiduje tag, ta metryka wskazuje, jak prawdopodobne jest przewidywanie poprawnego tagu.
recall Spośród tagów, które model powinien prawidłowo przewidzieć, ta metryka wskazuje procent tagów, które model prawidłowo przewidział.
average precision Mierzy wydajność modelu przez obliczenie dokładności i kompletności przy różnych progach.

Podczas testowania modelu usługi Custom Vision zobaczymy liczby dla każdej z tych metryk w wynikach testu iteracji.

Typowe błędy

Zanim przetestujemy nasz model, rozważmy niektóre błędy "początkujących", które należy obserwować podczas pierwszego rozpoczęcia tworzenia modeli uczenia maszynowego.

Korzystanie z danych niezrównoważonych

To ostrzeżenie może zostać wyświetlone podczas wdrażania modelu:

Unbalanced data detected. The distribution of images per tag should be uniform to ensure model performance.

To ostrzeżenie oznacza, że nie masz parzystej liczby próbek dla każdej klasy danych. Chociaż w tym scenariuszu istnieje wiele opcji, typowym sposobem rozwiązania niezrównoważonego danych jest użycie techniki próbkowania syntetycznej mniejszości (SMOTE). SmOTE duplikuje przykłady trenowania z istniejącej puli szkoleniowej.

Uwaga

W naszym modelu może nie być widoczne to ostrzeżenie, zwłaszcza jeśli przekazano ułamek zestawu danych. Podzestaw danych modelu Red-tailed Hawk (Ciemny morf) zawiera mniej niż 60 zdjęć w porównaniu z innymi modelami, które mają więcej niż 100 zdjęć. Używanie niezrównoważonych danych jest czymś, co należy obserwować w dowolnym modelu uczenia maszynowego.

Nadmierne dopasowanie modelu

Jeśli nie masz wystarczającej ilości danych lub jeśli dane nie są wystarczająco zróżnicowane, model może stać się nadmiernie dopasowany. Gdy model jest nadmiernie dopasowany, dobrze zna podany zestaw danych i jest on nadmiernie dopasowany do wzorców w tych danych. W takim przypadku model działa dobrze na danych treningowych, ale działa źle na nowych danych, których wcześniej nie widział. Z tego powodu zawsze używamy nowych danych do testowania modelu.

Testowanie przy użyciu danych treningowych

Podobnie jak w przypadku nadmiernego dopasowania, jeśli testujesz model przy użyciu tych samych danych, które były używane do trenowania modelu, model wydaje się działać prawidłowo. Jednak podczas wdrażania modelu w środowisku produkcyjnym najprawdopodobniej będzie działać źle.

Używanie nieprawidłowych danych

Innym typowym błędem jest użycie nieprawidłowych danych do wytrenowania modelu. Niektóre dane mogą rzeczywiście zmniejszyć dokładność modelu. Na przykład użycie danych , które są "hałaśliwe", może zmniejszyć dokładność modelu. W hałaśliwych danych zbyt wiele informacji, które nie są przydatne, znajduje się w zestawie danych i powoduje zamieszanie w modelu. Więcej danych jest lepiej tylko wtedy, gdy dane są dobrymi danymi, których może używać model. Może być konieczne wyczyszczenie danych lub usunięcie funkcji w celu zwiększenia dokładności modelu.

Testowanie modelu

Zgodnie z metrykami, które udostępnia usługa Custom Vision, nasz model działa na zadowalającym poziomie. Przetestujmy go i zobaczmy, jak działa na danych, których jeszcze nie zna. Użyjemy obrazu ptaka z wyszukiwania w Internecie.

  1. W przeglądarce internetowej wyszukaj obraz ptaka pasujący do jednego z gatunków, które wytrenowane model został rozpoznany. Skopiuj adres URL obrazu.

  2. W portalu Custom Vision wybierz projekt Klasyfikacja ptaków.

  3. Na górnym pasku menu wybierz pozycję Szybki test.

  4. W obszarze Szybki test wklej adres URL w polu Adres URL obrazu, a następnie naciśnij klawisz Enter, aby przetestować dokładność modelu. Prognoza jest wyświetlana w oknie.

Usługa Custom Vision analizuje obraz w celu przetestowania dokładności modelu i wyświetla wyniki:

Screenshot that shows prediction results after a quick test on an image in the Custom Vision project.

W następnym kroku zostanie wdrożony model. Po wdrożeniu modelu możemy przeprowadzić więcej testów za pomocą punktu końcowego, który utworzymy.