Ocenianie modelu Vowpal Wabbit

  • Artykuł

W tym artykule opisano sposób użycia składnika Score Vowpal Wabbit Model w projektancie usługi Azure Machine Learning w celu wygenerowania wyników dla zestawu danych wejściowych przy użyciu istniejącego wytrenowanego modelu Vowpal Wabbit.

Ten składnik udostępnia najnowszą wersję struktury Vowpal Wabbit w wersji 8.8.1. Ten składnik służy do oceniania danych przy użyciu wytrenowanego modelu zapisanego w formacie VW w wersji 8.

Jak skonfigurować model Score Vowpal Wabbit

  1. Dodaj składnik Score Vowpal Wabbit Model do eksperymentu.

  2. Dodaj wytrenowany model Vowpal Wabbit i połącz go z portem wejściowym po lewej stronie. Możesz użyć wytrenowanego modelu utworzonego w tym samym eksperymencie lub zlokalizować zapisany model w kategorii Zestawy danych w okienku nawigacji po lewej stronie projektanta. Jednak model musi być dostępny w projektancie usługi Azure Machine Learning.

    Uwaga

    Obsługiwane są tylko modele Vowpal Wabbit 8.8.1; Nie można połączyć zapisanych modeli, które zostały wytrenowane przy użyciu innych algorytmów.

  3. Dodaj testowy zestaw danych i połącz go z portem wejściowym po prawej stronie. Jeśli testowy zestaw danych jest katalogiem zawierającym plik danych testowych, określ nazwę pliku danych testowych o nazwie pliku danych testowych. Jeśli testowy zestaw danych jest pojedynczym plikiem, pozostaw wartość Nazwa pliku danych testowych , aby był pusty.

  4. W polu tekstowym Argumenty VW wpisz zestaw prawidłowych argumentów wiersza polecenia do pliku wykonywalnego Vowpal Wabbit.

    Aby uzyskać informacje o tym, które argumenty Vowpal Wabbit są obsługiwane i nieobsługiwane w usłudze Azure Machine Learning, zobacz sekcję Uwagi techniczne .

  5. Nazwa pliku danych testowych: wpisz nazwę pliku zawierającego dane wejściowe. Ten argument jest używany tylko wtedy, gdy testowy zestaw danych jest katalogiem.

  6. Określ typ pliku: określ format używany przez dane treningowe. Vowpal Wabbit obsługuje te dwa formaty plików wejściowych:

    • VW reprezentuje format wewnętrzny używany przez Vowpal Wabbit . Aby uzyskać szczegółowe informacje, zobacz stronę wiki Vowpal Wabbit .
    • SVMLight to format używany przez inne narzędzia uczenia maszynowego.

  7. Wybierz opcję Dołącz dodatkową kolumnę zawierającą etykiety, jeśli chcesz uzyskać etykiety wyjściowe wraz z wynikami.

    Zazwyczaj podczas obsługi danych tekstowych Vowpal Wabbit nie wymaga etykiet i zwraca tylko wyniki dla każdego wiersza danych.

  8. Wybierz opcję Dołącz dodatkową kolumnę zawierającą nieprzetworzone wyniki, jeśli chcesz wygenerować nieprzetworzone wyniki wraz z wynikami.

  9. Prześlij potok.

Wyniki

Po zakończeniu trenowania:

  • Aby zwizualizować wyniki, kliknij prawym przyciskiem myszy dane wyjściowe składnika Score Vowpal Wabbit Model (Generowanie wyników Wabbit Model ). Dane wyjściowe wskazują wynik przewidywania znormalizowany z zakresu od 0 do 1.

  • Aby ocenić wyniki, wyjściowy zestaw danych powinien zawierać określone nazwy kolumn wyników, które spełniają wymagania dotyczące składnika Ocena modelu.

    • W przypadku zadania regresji zestaw danych do oceny musi zawierać jedną kolumnę o nazwie Regression Scored Labels, która reprezentuje ocenione etykiety.
    • W przypadku zadania klasyfikacji binarnej zestaw danych do oceny musi zawierać dwie kolumny o nazwie Binary Class Scored Labels,Binary Class Scored Probabilities, które reprezentują odpowiednio etykiety ocenione i prawdopodobieństwa.
    • W przypadku zadania z wieloma klasyfikacjami zestaw danych do oceny musi zawierać jedną kolumnę o nazwie Multi Class Scored Labels, która reprezentuje ocenione etykiety.

    Należy pamiętać, że wyniki składnika Score Vowpal Wabbit Model nie mogą być oceniane bezpośrednio. Przed dokonaniem oceny zestaw danych powinien zostać zmodyfikowany zgodnie z powyższymi wymaganiami.

Uwagi techniczne

Ta sekcja zawiera szczegóły implementacji, porady i odpowiedzi na często zadawane pytania.

Parametry

Vowpal Wabbit ma wiele opcji wiersza polecenia do wybierania i dostrajania algorytmów. Pełna dyskusja na temat tych opcji nie jest możliwa w tym miejscu; Zalecamy wyświetlenie strony wiki Vowpal Wabbit.

Następujące parametry nie są obsługiwane w usłudze Azure Machine Learning Studio (wersja klasyczna).

  • Opcje wejściowe/wyjściowe określone w https://github.com/JohnLangford/vowpal_wabbit/wiki/Command-line-arguments

    Te właściwości są już konfigurowane automatycznie przez składnik.

  • Ponadto każda opcja, która generuje wiele danych wyjściowych lub pobiera wiele danych wejściowych, jest niedozwolona. Należą do --cbtnich : , --ldai --wap.

  • Obsługiwane są tylko nadzorowane algorytmy uczenia. Nie zezwala to na następujące opcje: –active, --rank--search itp.

Wszystkie argumenty inne niż opisane powyżej są dozwolone.

Następne kroki

Zobacz zestaw składników dostępnych dla usługi Azure Machine Learning.