Testowanie modelu

Po pomyślnym wytrenowanym modelu możesz użyć tłumaczeń do oceny jakości modelu. Aby podjąć świadomą decyzję o tym, czy używać naszego standardowego modelu, czy modelu niestandardowego, należy ocenić różnicę między oceną BLEU modelu niestandardowego a modelem standardowym BLEU. Jeśli modele zostały wytrenowane w wąskiej dziedzinie, a dane treningowe są spójne z danymi testowymi, możesz oczekiwać wysokiego wskaźnika BLEU.

Wynik BLEU

BLEU (Dwujęzyczna ocena understudy) to algorytm oceny dokładności lub dokładności tekstu przetłumaczonego z jednego języka na inny. Usługa Custom Translator używa metryki BLEU jako jednego ze sposobów przekazywania dokładności tłumaczenia.

Wynik BLEU jest liczbą z zakresu od zera do 100. Wynik zero wskazuje tłumaczenie o niskiej jakości, w którym nic w tłumaczeń nie pasuje do odwołania. Wynik 100 wskazuje idealne tłumaczenie, które jest identyczne z odwołaniem. Nie jest konieczne uzyskanie wyniku 100 — wynik BLEU z zakresu od 40 do 60 wskazuje wysokiej jakości tłumaczenie.

Dowiedz się więcej

Szczegóły modelu

1. Wybierz blok Szczegóły modelu .

2. Wybierz nazwę modelu. Przejrzyj datę/godzinę trenowania, łączny czas trenowania, liczbę zdań używanych do trenowania, dostrajania, testowania i słownika. Sprawdź, czy system wygenerował zestawy testów i dostrajania. Użyjesz elementu , Category ID aby wysyłać żądania tłumaczenia.

3. Ocena wyniku BLEU modelu. Przejrzyj zestaw testów: wynik BLEU to niestandardowy wynik modelu, a punkt odniesienia BLEU jest wstępnie wytrenowanym modelem odniesienia używanym do dostosowywania. Wyższa ocena BLEU oznacza, że istnieje wysoka jakość tłumaczenia przy użyciu modelu niestandardowego.

   

Testowanie jakości tłumaczenia modelu

1. Wybierz blok Test modelu .

2. Wybierz pozycję Nazwa modelu.

3. Ocena przez człowieka tłumaczenia z modelu niestandardowego i modelu linii bazowej (nasz wstępnie wytrenowany punkt odniesienia używany do dostosowywania) względem odwołania (tłumaczenie docelowe z zestawu testowego).

4. Jeśli wyniki trenowania są zadowalające, umieść żądanie wdrożenia dla wytrenowanego modelu.

Następne kroki

• Dowiedz się , jak opublikować/wdrożyć model niestandardowy.
• Dowiedz się , jak tłumaczyć dokumenty przy użyciu modelu niestandardowego.