Udostępnij za pośrednictwem

Uwaga dotycząca przezroczystości usługi Azure AI Translator

Ważne

Tłumaczenia nieanglojęzyczne są dostępne tylko dla wygody. Aby zapoznać się z wiążącą wersją, sprawdź EN-US wersję tego dokumentu.

System sztucznej inteligencji (AI) obejmuje nie tylko technologię, ale także osoby, które będą jej używać, osoby, których to dotyczy, oraz środowisko, w którym zostanie wdrożony. Utworzenie systemu dopasowanego do zamierzonego celu wymaga zrozumienia, jak działa technologia, jakie są jej możliwości i ograniczenia oraz jak osiągnąć najlepszą wydajność. Uwagi dotyczące przejrzystości firmy Microsoft mają pomóc zrozumieć, w jaki sposób działa nasza technologia sztucznej inteligencji, wybory, które mogą wpływać na wydajność i zachowanie systemu oraz znaczenie myślenia o całym systemie, w tym technologii, ludzi i środowiska. Możesz użyć notatek przezroczystości podczas tworzenia lub wdrażania własnego systemu lub udostępniania ich osobom, które będą korzystać z systemu lub mają na nie wpływ.

Uwagi dotyczące przejrzystości firmy Microsoft są częścią szerszego wysiłku firmy Microsoft, aby w praktyce wprowadzić nasze zasady sztucznej inteligencji. Aby dowiedzieć się więcej, zobacz Zasady sztucznej inteligencji firmy Microsoft.

Podstawy usługi Azure AI Translator

Wprowadzenie

Azure AI Translator to usługa sztucznej inteligencji, która tłumaczy tekst z jednego języka naturalnego na inny. W literaturze uczenia maszynowego ten proces jest nazywany tłumaczeniem maszynowym. Zastosowanie technik sztucznej inteligencji znacznie poprawiło tłumaczenie maszynowe między językami w ciągu ostatnich 70 lat badań nad tłumaczeniem maszynowym, co oznacza, że możemy przedstawić wynik tłumaczenia maszynowego do odbiorców bezpośrednich, bez edycji, w niektórych przypadkach użycia.

Translator udostępnia interfejs API, który umożliwia tłumaczenie z jednego języka na inny język lub wiele języków jednocześnie.

Wewnętrznie każde tłumaczenie języka jest wykonywane jako osobny akt. Możesz przetłumaczyć między jednym z ponad 135 języków i dialektów oferowanych przez tłumacza.

Trenowanie systemów tłumaczenia zależy od dostępności danych między parami językowymi. Tworzymy systemy dwujęzyczne (systemy tłumaczenia między dwoma językami) lub wielojęzyczne systemy (systemy tłumaczenia w wielu powiązanych językach). Na podstawie jakości modelu usługa wybierze optymalną ścieżkę dla określonego tłumaczenia żądanego przez użytkownika.

Tłumaczenie między niektórymi parami może obejmować przejście przez trzeci język. Na przykład tłumaczenie między Swahili i Hindi może obejmować tłumaczenie z suahili na angielski, a następnie tłumaczenie z języka angielskiego na język hindi. Ten proces odbywa się automatycznie w ramach usługi.

Kluczowe terminy

Termin Definicja
Znak Interfejs API usługi Translator zlicza każdy punkt kodu zdefiniowany w formacie Unicode jako znak.
Fraza tekstowa Zdanie, które jest kompletne lub częściowe.
Dokument Kolekcja tekstu w formacie pliku cyfrowego, w tym dokument programu Word, arkusz kalkulacyjny programu Excel, prezentacja programu PowerPoint, Adobe PDF, HTML, Text i Markdown.
Styl i rejestrowanie Sposób pisowni/interpunkcji tekstu, który może mieć wpływ na jakość tłumaczenia.

Możliwości

Zachowanie systemu

Usługa Azure AI Translator ma następujące możliwości:

  • Tłumaczenie tekstu na wiele języków.
  • Transliterowanie tekstu z jednego skryptu do innego.
  • Asynchronicznie tłumacz partie dużych dokumentów na wiele języków, które zachowują strukturę i układ, jak w dokumencie źródłowym.
  • Synchronicznie przetłumacz mały pojedynczy dokument na jeden język docelowy, który zachowuje strukturę i układ, jak w dokumencie źródłowym.

Przypadki użycia

Zamierzone użycia

Dostępne są następujące klasy przypadków użycia tłumaczenia, które ułatwiają przemyślenie własnych scenariuszy:

Tłumaczenie danych wychodzących: wydawca informacji udostępnia dokumenty lub tekst w wielu językach, zwracając się do odbiorców docelowych w języku odbiorcy. Istnieją różne klasy i formaty materiałów wychodzących, na przykład ulotki marketingowe, filmy informacyjne lub podręczniki hali produkcyjnej. Tłumaczenie maszynowe jest bardziej odpowiednie dla niektórych klas niż dla innych. Ogólnie rzecz biorąc, użyteczność tłumaczenia maszynowego jest odwrotnie proporcjonalna do kreatywności treści. Tłumaczenie można opublikować jako zawartość internetową, dokument elektroniczny lub jako napisy wideo lub dubbing albo wydrukować na papierze.

  • Nieprzetworzone tłumaczenie: opublikuj tłumaczenie dostarczone przez system tłumaczenia maszynowego. Ten przypadek użycia wiąże się z najniższym kosztem i ma zauważalny współczynnik błędów. Powinny istnieć mechanizmy reagowania na błędne tłumaczenia, takie jak opinie konsumentów.
  • Tłumaczenie po edycji: opublikuj tłumaczenie po edycji, czyli wynik tłumaczenia maszynowego poprawiony przez recenzenta. Interwencja człowieka zwiększa koszt tłumaczenia nieprzetworzonego o współczynnik ponad 1000, ale znacznie zmniejsza szybkość błędów i poprawia płynność i zrozumiałość tłumaczenia.

Tłumaczenie przychodzące: ktoś otrzymuje informacje w języku obcym i używa usługi Translator do tłumaczenia informacji na język macierzysty. Przykłady to witryny internetowe, przeglądy produktów, raporty finansowe i biznesowe lub raporty o błędach przybywające do języka obcego. Tolerancja błędów tłumaczenia może być wyższa w tym przypadku użycia, ale tłumaczenie może wywołać znaczące nieporozumienia w nieistotnej liczbie przypadków. Często w tym scenariuszu tłumaczenie maszynowe jest lepsze niż żadne tłumaczenie. Osoba lub firma może automatycznie filtrować lub klasyfikować w celu wyodrębniania informacji lub stosować inne techniki sztucznej inteligencji w dokumentach z różnych źródeł, w tym dokumentów w języku obcym. Przykłady mogą być monitorowanie multimediów, wielojęzyczne asystenty wirtualne lub odnajdywanie elektroniczne. Odbiorca stosuje tłumaczenie maszynowe przed przekazaniem dokumentu do analizy automatycznej. W większości przypadków ten proces jest w pełni zautomatyzowany bez interwencji człowieka.

Tłumaczenie dwukierunkowe: co najmniej dwóch ludzi, którzy nie mówią w tym samym języku, używają tłumaczenia maszynowego w rozmowie na żywo za pośrednictwem wiadomości błyskawicznych lub konwersacji mówionej. Na przykład agent pomocy technicznej nie mówi w tym samym języku, co klient szuka pomocy.

Sekwencjonowanie wielu usług sztucznej inteligencji:

  • Tłumaczenie mowy: usługa Azure Speech, inna usługa Azure AI Services, może tłumaczyć mowę między językami. Przetwarzanie mowy generuje transkrypcję w tym samym języku co oryginalna mowa, a następnie wewnętrznie wykorzystuje usługę Translator do tłumaczenia transkrypcji. Przypadki użycia obejmują przetłumaczoną rozmowę mówioną między ludźmi, dubbing lub tworzenie napisów do treści.
  • Tłumaczenie tekstu na obrazach: Azure Computer Vision, inna usługa Azure AI, może wyodrębniać widoczny tekst z obrazów. Następnie można przetłumaczyć wyodrębniony tekst. Przypadki użycia obejmują tłumaczenie zeskanowanych dokumentów, menu i znaków.

Zagadnienia dotyczące wyboru innych przypadków użycia

Jakość tłumaczenia będzie mieć wpływ na użyteczność przetłumaczonej zawartości. Styl i rejestr przetłumaczonego tekstu oraz przeznaczenie i przypadek użycia określają odpowiedniość:

Rozważ użycie: zawartości, która jest poprawnie napisana i sformatowana oraz jest dokładna i płynna. Przykłady takiej zawartości to:

  • Dokumentacja techniczna
  • Podręczniki produktu
  • Bazy wiedzy
  • Zawartość witryny sieci Web

Starannie rozważ użycie: Tłumaczenie nieprofesjalnie utworzonego materiału. Oto kilka przykładów:

  • Potoczne pisanie
  • Transkrypcja mowy
  • Czat w mediach społecznościowych

Należy uważnie rozważyć zastosowanie przeglądu przez człowieka, gdy są zaangażowane poufne dane lub scenariusze: ważne jest, aby uwzględnić człowieka w pętli w celu ręcznego przeglądu w przypadku scenariuszy o wysokich stawkach (np. mających wpływ na czyjeś prawa wtórne) lub poufnych danych. Tłumaczenie maszynowe może popełnić błędy. Rozważ uważnie, kiedy należy uwzględnić ręczny krok przeglądu dla niektórych przepływów pracy. Na przykład tłumaczenie dokumentacji medycznej powinno obejmować nadzór człowieka.

Należy uważnie rozważyć użycie do przyznawania lub odmawiania korzyści: translator nie został zaprojektowany lub oceniony pod kątem przyznania lub odmowy świadczeń, a użycie w tych scenariuszach może mieć niezamierzone konsekwencje. Te scenariusze obejmują:

  • Ubezpieczenie medyczne: Obejmowałoby to stosowanie przetłumaczonych dokumentacji medycznej i recept medycznych jako podstawy do podejmowania decyzji w sprawie nagrody ubezpieczeniowej lub odmowy.
  • Zatwierdzenia pożyczek: Obejmują one tłumaczenie wniosków o nowe pożyczki lub refinansowanie istniejących.

Nieobsługiwane zastosowania:

  • Dokumenty prawne: Błędnie przetłumaczone umowy prowadzą do braku zgodności z umowami.
  • Treści kreatywne, takie jak materiały marketingowe, poezja i fikcja: Tłumaczenie nie będzie przekazywać kreatywności.

Zagadnienia prawne i regulacyjne: Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i prawne w przypadku korzystania z usług i rozwiązań sztucznej inteligencji, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ponadto usługi sztucznej inteligencji lub rozwiązania nie są przeznaczone do użytku i mogą nie być używane w sposób zabroniony w odpowiednich warunkach świadczenia usług i odpowiednich kodeksach postępowania.

Ograniczenia

Tłumaczenie maszynowe może być opłacalną metodą dostarczania tłumaczeń dużej ilości zawartości w znacznie krótszym czasie. Tłumaczenie maszynowe kosztuje mniej niż 1/1000 tłumaczenia przez człowieka i jest szybsze, ale może popełnić błędy.

Niestandardowe modele tłumaczenia maszynowego zwykle generują znacznie lepszą jakość danych wyjściowych z niewielką liczbą błędów terminologii. Te modele tłumaczeń maszynowych są trenowane na podstawie wystarczająco dużej i dobrej liczby poprzednich tłumaczeń specyficznych dla klienta.

Ograniczenia techniczne, czynniki operacyjne i zakresy

Pełny kontekst dokumentu

Pełne systemy tłumaczenia dokumentów są w fazie rozwoju, ale większość powszechnie dostępnych systemów tłumaczenia maszynowego, w tym nasze, przetwarza dokumenty zdanie po zdaniu. Gdy dzisiejsze systemy tłumaczą zdanie, większość z nich nie zna poprzednich lub kolejnych zdań w tym samym dokumencie. Informacje niezbędne do poprawnego tłumaczenia zdania (na przykład płeć i liczba zaimka) mogą być dostępne tylko na poziomie całego dokumentu, co powoduje błędne tłumaczenie.

Przykład:

  1. Angielski: Słońce miało zachodzić. Wciąż świeciło jasno.
  2. Tłumaczenie maszynowe na język niemiecki: Die Sonne stand kurz vor dem Untergehen. Świeciło jeszcze jasno.

"Słońce" w języku niemieckim ma rodzaj żeński. Tłumaczenie maszynowe w tym przykładzie używało neutralnej płci.

W tłumaczeniach z oryginału bez płci do tłumaczenia płciowego system tłumaczenia zakłada płeć. Próbuje utworzyć płynne i gramatyczne poprawne zdanie w języku docelowym. Gdy system wykorzystuje płeć, stosuje stronniczość wobec płci, która była rozpowszechniona w danym kontekście w materiale używanym do trenowania systemu. Ta praktyka może prowadzić do błędów.

Konstrukcje bezpłciowe występują w wielu różnych językach, w tym w języku chińskim, fińskim, tamilskim, tureckim i wietnamskim.

Sekwencjonowanie wielu usług sztucznej inteligencji

Podczas sekwencjonowania wielu usług, z których każda ma niezerowy współczynnik błędów, błędy się kumulują. Tłumaczenie wyników rozpoznawania mowy lub optycznego rozpoznawania znaków (OCR) nie będzie w stanie naprawić błędu w kroku rozpoznawania, a dodatkowo wprowadzi własne błędy po rozpoznaniu.

Wejście językowe mieszane

Każde żądanie tłumaczenia tłumaczy się z jednego języka na inny język. Jeśli wiele języków jest w tekście źródłowym pojedynczego żądania tłumaczenia, tłumaczenie tekstu w języku docelowym może być nieoptymalne. Może być pozostawiony tak, jak jest, błędnie przetłumaczony, być poprawnie przetłumaczony lub może być poprawnie lub niepoprawnie transliterowany.

Usługa Translator może automatycznie wykrywać język tekstu źródłowego, ale stosuje wykryty język do całego tekstu.

Rzeczywista wiedza

System tłumaczenia maszynowego jest szkolony na wcześniej przetłumaczonych dokumentach. System używa tylko tego, czego można się nauczyć z poszczególnych zdań dokumentów szkoleniowych; nie ma szerszego kontekstu.

Ten brak rzeczywistej wiedzy może spowodować kilka błędów, takich jak:

  • Tłumaczenia są zbyt literałami, nie odzwierciedlają implikacji, niuansów lub inuendo oryginału.
  • Idiomy i wyrażenia, które nie są rozumiane dosłownie, nie wyrażają implikowanego znaczenia oryginału. Angielski przykład to "Knocking it out of the ballpark".
  • Jeśli tłumaczenie wymaga modyfikacji oryginalnej z uwzględnieniem kultury, może nie zostać odpowiednio odzwierciedlone. Ten błąd może wystąpić w przypadku konwersji waluty, konwersji formatu daty lub godziny, zmiany nazwy języka, gdy jest przeznaczony język oficjalny regionu lub zmiana regionu w celu prawidłowej lokalizacji dokumentu docelowego.
  • Tytuły i rangi osób mogą nie zostać odpowiednio odzwierciedlone, na przykład w przypadku tłumaczenia z języka obcego na kulturę danej osoby.
  • Ton i nastrój (zły, spokojny, podekscytowany, smutny) oryginału mogą nie być odpowiednio odzwierciedlone. Zazwyczaj tłumaczenie automatyczne jest bardziej neutralne i mniej kolorowe niż oryginał.
  • Wiek, tytuł, związek lub doświadczenie osoby, której dotyczy rozmowa, może nie być odpowiednio odzwierciedlone. Ten błąd jest szczególnie istotny w przypadku tłumaczenia z języka, w którym sposób rozwiązania problemu z kimś jest stosunkowo niezależny od wieku i relacji, jak "ty" w języku angielskim, do języka, w którym istnieje wiele opcji, takich jak "tu" i "vous" w języku francuskim. Która forma adresu do użycia jest prawie zawsze istotna. System tłumaczenia wybierze termin, który najlepiej pasuje do danych treningowych, na podstawie krótkiego kontekstu, który widzi w zdaniu, ale nie będzie wiedział, na przykład, jeśli uczestnicy konwersacji są powiązani, nawet jeśli te informacje są wymienione gdzie indziej w dokumencie.

Błędy o wysokiej ważności

Błędy o wysokiej ważności są definiowane jako błędy, które mogą nadszarpnąć reputację osoby lub instytucji mówiącej w przetłumaczonym głosie, lub w przetłumaczonym tekście lub dokumencie, niezależnie od tego, czy jest tłumaczona przez człowieka, czy maszynę. Błąd o wysokiej ważności jest żenujący dla osoby mówiącej lub autora lub może prowadzić do błędnego wniosku ze znaczącymi konsekwencjami. Samo nieprawidłowe tłumaczenie lub błąd gramatyczny nie kwalifikuje się jako błąd o wysokiej ważności. Większość błędów w tłumaczeniu maszynowym może zostać poprawiona przez recenzenta na podstawie kontekstu. Błąd o wysokiej ważności prowadzi do namacalnego negatywnego efektu.

Przykłady potencjalnych błędów o wysokiej ważności:

  • Odwrócona negacja: oryginalny tekst mówi, żeby czegoś nie robić, jednak tłumaczenie wskazuje, żeby to zrobić. Albo oryginał stwierdza fakt, ale tłumaczenie stwierdza przeciwieństwo. Złożone zdania i podwójne negatywy mogą powodować ten błąd.
  • Zmieniono liczbę lub jednostkę miary: wskaźnik wymiaru, jednostka miary lub waluta (cal, funt, centymetr, grosze) zostaje niepoprawnie przetłumaczony, co może prowadzić do nieprawidłowego pomiaru lub nadmiernej utraty lub zysku funduszy.
  • Sfałszowane nazwiska i tytuły osób: Niewłaściwy tytuł jest stosowany do osoby, na przykład "King", gdzie powinien być "Książę Koronny". W politycznie wrażliwych środowiskach ten błąd może prowadzić do znacznego zakłopotania.
  • Postacie religijne lub symbole umieszczone w niekorzystnym kontekście: Niejednoznaczność w oryginalnym materiale może prowadzić do tłumaczenia, które pokazuje znaczącą postać religijną lub odpowiedni symbol w niekorzystnym świetle. Może to być tak proste, jak fraza z konotacją religijną wyświetlaną jako tłumaczenie, lub wyrazem innym niż skrót, literówka lub bezsensowne dane wejściowe.
  • Pominięcia i nieuzasadniona treść: tłumaczenie maszynowe może pominąć część zawartości źródłowej lub dodać koncepcję, która nie była obecna w oryginale. Sieci neuronowe mają możliwość tworzenia bardzo płynnych zdań. Nietypowe lub zbędne zdanie źródłowe może zostać przetłumaczone na płynne zdanie docelowe, które nie odzwierciedla oryginalnego dokładnie lub może być całkowicie niepowiązane ze źródłem.
  • Przestępstwo: Dosłowne tłumaczenie idiomu lub neutralnego wyrażenia może stać się bardziej agresywne lub obraźliwe. Niektóre wyrażenia nie mają odpowiednika kulturowego w języku docelowym. Na przykład "Przerwij nogę" jest życzeniem powodzenia dla występu sceny. System może nie być świadomy pełnego kontekstu, aby wymyślić odpowiednie tłumaczenie.

W dzisiejszych systemach tłumaczenia maszynowego błędy o wysokiej ważności są rzadkie. Strach przed błędem szkodzącym reputacji jest główną przeszkodą dla publikowania nieprzetworzonego, nieedytowanego tłumaczenia maszynowego. Chociaż ryzyko błędów o wysokiej ważności może być niskie w przypadku bardziej zgodnych par językowych, deweloper będzie chciał użyć technik, aby zmniejszyć efekt, jeśli tak się stanie. Obecnie tłumacze ludzki są lepiej przygotowani do znajdowania i poprawiania błędów o wysokiej ważności niż maszyny. Dodanie kroku przeglądu przez człowieka w celu znalezienia i naprawienia błędów o wysokiej ważności w tłumaczeniu maszynowym jest sposobem rozwiązania tego ograniczenia. Możesz również rozważyć dodanie przeglądu przez człowieka na żądanie lub na podstawie metryk analizy biznesowej, takich jak oceny użytkowników, odbiorcy lub ważność zawartości, po opublikowaniu dokumentu nieoglądanego.

Stronniczość

Dzisiejsze systemy tłumaczenia maszynowego są oparte na algorytmach uczenia maszynowego. Systemy tłumaczeń dowiedzą się, jak tłumaczyć z wcześniej przetłumaczonych dokumentów. To, czego nauczył się system, jest przechowywany w modelu probabilistycznym, który jest zazwyczaj siecią neuronową. Środowisko uruchomieniowe, które obsługuje żądanie tłumaczenia, odwołuje się do tej sieci neuronowej, aby utworzyć najlepszy wybór spośród możliwych tłumaczeń dla danego wejścia. To tłumaczenie będzie odzwierciedlać domenę, terminologię, styl i stronniczość, która była obecna w oryginalnym materiale szkoleniowym. Ta stronniczości może być bardzo subtelna. W niektórych parach językowych, na przykład podczas tłumaczenia zdania bez zaimku podmiotu, system wstawia zaimek, ponieważ gramatyka języka docelowego tego wymaga. Płeć tego wymyślonego zaimka będzie zależeć od kontekstu zawartego w materiale szkoleniowym, niezależnie od rzeczywistej płci podmiotu w tłumaczonym dokumencie. Ten problem jest obszarem aktywnych badań i pracujemy nad rozwiązaniem problemów związanych z stronniczością.

Przykłady potencjalnych uprzedzeń w tłumaczeniu maszynowym:

  • Stronniczość płci: Podczas tłumaczenia z języka neutralnego płciowo do języka o silnie zaznaczonej płciowości, wybrane zaimki będą pod wpływem kontekstu znalezionego w materiale szkoleniowym, co może nie odzwierciedlać rzeczywistej płci aktora.
  • Stronniczość polityczna: Frazy lub wybory wyrazów o stronniczości politycznej w jednym języku niekoniecznie tłumaczą się z tą samą stronniczością lub konotacją w innym języku.
  • Stronniczość religijna: Podobnie jak stronniczość polityczna, wybór słów może wskazywać konkretny punkt widzenia, pewne przekonanie lub dogmat. Podczas przełączania języków ten punkt widzenia może zostać dodany lub usunięty lub zmieniony na inną interpretację.
  • Orientacja seksualna, pochodzenie narodowe, pochodzenie etniczne, rasa: warunki, które społeczeństwo stosuje do grup w tym społeczeństwie, zmieniają się w czasie. Dyskryminacyjny termin napisany w oryginalnym dokumencie mógł utrwalić się w materiale treningowym i mógł pojawić się w tłumaczeniu w szkodliwym kontekście.
  • Wulgaryzm: To, co jest uważane za wulgaryzmy w obrębie kultury zmienia się w czasie. Celem systemu tłumaczenia jest zachowanie wulgarnego lub nieprofanego charakteru wyrażenia w danych wejściowych. Ten poziom dokładności nie działa przy 100% niezawodności, ponieważ wiele wulgaryzmów jest w rzeczywistości niejednoznacznych, a stopień wulgarności przetłumaczonego terminu różni się w zależności od języków.

Wydajność systemu

  • Interfejs API tłumaczenia nie ma limitów dla żądań współbieżnych.
  • API Translatora ustala różne limity liczby znaków, które można przetłumaczyć w ciągu godziny przez zasób tłumacza, bazując na jednostce SKU licencjonowanej przez klienta. Limity przydziału różnią się od 40 milionów znaków na godzinę do 200 milionów znaków na godzinę.
  • Usługa Translator ma maksymalne opóźnienie wynoszące 15 sekund przy użyciu standardowych modeli. Odpowiedzi na tekst w granicach 100 znaków są zwykle zwracane w ciągu 150–300 milisekund.
  • Czasy odpowiedzi interfejsu API usługi Translator różnią się w zależności od rozmiaru pary żądań i języka.
    • Tłumaczenie między językiem a językiem angielskim jest szybsze niż tłumaczenie między dwoma językami innym niż angielski.

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

  • Użytkownicy mogą uzyskać najlepszą wydajność tłumaczenia frazy tekstowej na wiele języków docelowych, wysyłając indywidualne żądania dla każdego języka, a nie wysyłając pojedynczego żądania dla wielu języków. Takie podejście ułatwia użytkownikom korzystanie z dostępnych tłumaczeń zamiast oczekiwania na zwrot wszystkich tłumaczeń przez system.
  • Jeśli wolumen tłumaczenia jest wysoki, zwiększ zaangażowanie lub przełącz się na wyższe progi.

Ocena usługi Azure AI Translator

Metody oceny

Jakość tłumaczenia jest zawsze względna względem zestawu testowego. Nie ma ustalonych standardowych zestawów testów tłumaczenia na potrzeby testów porównawczych. Z tego powodu nie publikujemy bezwzględnych wyników własnych pomiarów systemów tłumaczenia maszynowego.

Dzisiejsze systemy translacji maszynowej oparte na sieci neuronowej mogą generować płynne i gramatyczne poprawne zdania, biorąc pod uwagę odpowiednie źródło. Jednak jakość systemów tłumaczenia maszynowego różni się parą języków. Możemy określić, czy określona klasa dokumentów jest odpowiednia do tłumaczenia maszynowego dla określonej pary językowej.

Zalecamy pomiar jakości reprezentatywnego zestawu testów dla danego scenariusza. Poziom tolerancji błędnej translacji według języka różni się w zależności od scenariusza. Oczekiwanie na tłumaczenie językowe, formalne i potoczne różni się również w zależności od scenariusza.

Wyniki oceny

Istnieje wiele sposobów mierzenia jakości. Techniki automatyczne obliczają odległość do tłumaczenia referencyjnego utworzonego przez człowieka. Wynik dwujęzycznej oceny BLEU jest najstarszą techniką i nadal cieszy się popularnością. Inne techniki wykorzystują wytrenowany model językowy do mierzenia odległości względem sekwencji i kontekstu przechowywanego w modelu, na przykład Krosjęzykowa Zoptymalizowana Metryka do Oceny Tłumaczenia (COMET). W ocenie ludzkiej ewaluatorzy oceniają tłumaczenie na co najmniej jedno kryterium, na przykład dokładność i płynność. Stale mierzymy jakość tłumaczenia w usłudze Translator przy użyciu wielu technik. Ocena człowieka zapewnia najbardziej znaczące i wiarygodne wyniki.

Ocenianie i integrowanie usługi Azure AI Translator na potrzeby Twojego zastosowania

Ponieważ firma Microsoft pracuje, aby pomóc klientom w bezpiecznym tworzeniu i wdrażaniu rozwiązań przy użyciu usługi Translator, stosujemy podejście do przestrzegania osobistego sprawstwa i godności, biorąc pod uwagę sprawiedliwość, niezawodność oraz bezpieczeństwo systemów sztucznej inteligencji, prywatność oraz bezpieczeństwo, inkluzywność, przejrzystość i odpowiedzialność ludzi. Te zagadnienia są zgodne z naszym zobowiązaniem do opracowywania odpowiedzialnej sztucznej inteligencji.

Gdy wszystko będzie gotowe do integracji i używania produktów lub funkcji opartych na sztucznej inteligencji, należy pamiętać o następujących zasadach:

  • Zalecenia dotyczące opracowywania aplikacji: zalecamy, aby deweloperzy zaczęli od przeprowadzenia oceny wpływu w celu zrozumienia zamierzonego użycia, kontekstu i niezamierzonych zastosowań lub wysokiego ryzyka w celu uniknięcia.
  • Dowiedz się, co może zrobić: w pełni ocenić usługę Translator, aby zrozumieć jej możliwości i/lub ograniczenia. Testowanie firmy Microsoft może nie odzwierciedlać Twojego scenariusza. Dowiedz się, jak będzie ona działać w konkretnym scenariuszu, dokładnie testując je przy użyciu rzeczywistych warunków i zróżnicowanych danych użytkowników, które odzwierciedlają kontekst, w tym zagadnienia dotyczące sprawiedliwości.

Człowiek w pętli: uwzględnij nadzór człowieka jako spójny obszar wzorca do zbadania. Takie podejście oznacza zapewnienie ciągłego nadzoru człowieka nad translatorem i utrzymanie roli ludzi w podejmowaniu decyzji. Upewnij się, że możesz mieć interwencję człowieka w czasie rzeczywistym w rozwiązaniu, aby zapobiec szkodom. Ta funkcja umożliwia zarządzanie miejscem, w którym usługa Translator nie działa zgodnie z wymaganiami.

  • Pomiary jakości: zalecamy pomiar jakości tłumaczenia dla reprezentatywnego zestawu testowego dla danego scenariusza. Poziom tolerancji błędnej translacji według języka różni się w zależności od scenariusza. Oczekiwanie na tłumaczenie językowe, formalne i potoczne różni się również w zależności od scenariusza. Aby uzyskać więcej informacji, zobacz następną sekcję.
  • Przestrzegaj prawa osoby fizycznej do prywatności: usługa Translator nie zachowuje zawartości przesyłanej przez klientów do tłumaczenia. Zalecamy, aby nie zachowywać zawartości i informacji otrzymanych od użytkowników aplikacji, aby szanować prawo osób do prywatności.
  • Przegląd prawny: Uzyskaj odpowiednią poradę prawną, aby przejrzeć rozwiązanie, szczególnie w przypadku planowania korzystania z niego w aplikacjach poufnych lub o wysokim ryzyku. Dowiedz się, jakie ograniczenia mogą mieć wpływ na Twoją pracę oraz zrozum swoją odpowiedzialność za rozwiązanie przyszłych problemów.
  • Zabezpieczenia: Upewnij się, że rozwiązanie jest bezpieczne i ma odpowiednie mechanizmy kontroli w celu zachowania integralności zawartości i zapobiegania nieautoryzowanemu dostępowi.
  • Pętla opinii klientów: podaj kanał opinii, który umożliwia użytkownikom i osobom zgłaszanie problemów z usługą po jej wdrożeniu. Po wdrożeniu usługi Translator wymaga ciągłego monitorowania i ulepszania. Przygotuj się do zaimplementowania wszelkich opinii i sugestii dotyczących ulepszeń.

Człowiek w pętli

Odpowiedzialne wprowadzenie tłumaczenia maszynowego obejmuje opcję przeprowadzania przeglądu przez człowieka i poprawiania automatycznego tłumaczenia.

Recenzenci mają rzeczywistą wiedzę, wiedzę na temat danej dziedziny i naturalną wrażliwość na potencjalnie kontrowersyjne słowa i frazy. Ludzie mogą zidentyfikować odpowiedni kontekst i utworzyć tłumaczenie, które odzwierciedla odpowiedni ton dla danej sytuacji. Maszyny są bardziej ograniczone w ich możliwości poprawnego stosowania tonu i kontekstu.

Warto przygotować się do infrastruktury, która umożliwia szybkie i wydajne przeprowadzenie przeglądu przez człowieka. Ten typ systemu jest nazywany systemem zarządzania tłumaczeniami (TMS). TMS są dostępne od wielu dostawców. Firma Microsoft nie sprzedaje oprogramowania TMS. Usługa Translator jest zintegrowana z kilkoma systemami TMS.

Przegląd realizowany przez człowieka jest kosztownym przedsięwzięciem. Aby uzyskać optymalne wykorzystanie funduszy i natychmiastową dostępność dokumentów dla odbiorców docelowych, należy zidentyfikować wskaźniki na podstawie zamierzonego użycia lub analizy biznesowej. Wskaźniki te mogą sugerować, że artykuł lub element dokumentu wymaga przeglądu przez człowieka.

Przykłady sygnałów analizy biznesowej:

  • Widoki stron: wydawca przetłumaczonych informacji decyduje o wartości progowej mierzonej w widokach strony przetłumaczonych informacji. Jeśli przetłumaczone maszynowo informacje przechodzą przez zdefiniowany próg widoku strony, system wyzwoli ludzką recenzję tej zawartości. Ludzka recenzja może zmniejszyć narażenie złego tłumaczenia na dodatkowych widzów lub klientów.
  • Eskalacja użytkownika: odbiorca tłumaczenia może przekazać opinię lub wydać alert dotyczący nieprawidłowego, mylącego lub obraźliwego tłumaczenia. Ta eskalacja wyzwala ludzką recenzję danej zawartości.
  • Eskalacja pracownika: pracownik wydawcy przetłumaczonych informacji może wysłać wniosek o przejrzenie artykułu przez człowieka.
  • Ważność lub wartość elementu: Artykuł o lub opis niskiej ceny i niskiej ilości przedmiotów do sprzedaży może nie być ekonomicznie możliwe do tłumaczenia przez człowieka. Jednak element o wyższej wartości może również uzasadniać wydatki tłumaczenia przez człowieka. Wysoka wartość może automatycznie wyzwolić ręczną weryfikację tłumaczenia.
  • Odpowiedniość: niektóre klasy dokumentów tłumaczą się z lepszą jakością niż inne. Wydawca może używać automatycznych mechanizmów oceniania lub klasyfikacji zawartości dokumentu w celu określenia, czy ten dokument wymaga przeglądu przez człowieka. Platforma Microsoft Azure oferuje kilka technik klasyfikacji opartej na zawartości, takich jak Language Understanding i Analiza tekstu. Usługa Translator nie zwraca współczynnika ufności dla jego tłumaczeń.

Dalsze kroki