Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Co to jest notatka dotycząca przezroczystości?
System sztucznej inteligencji obejmuje nie tylko technologię, ale także osoby, które będą jej używać, osoby, których to dotyczy, oraz środowisko, w którym jest wdrażana. Utworzenie systemu dopasowanego do zamierzonego celu wymaga zrozumienia, jak działa technologia, jakie są jej możliwości i ograniczenia oraz jak osiągnąć najlepszą wydajność. Noty dotyczące przejrzystości firmy Microsoft mają pomóc Ci zrozumieć, jak działa nasza technologia AI, jakie wybory mogą podejmować właściciele systemów, które wpływają na wydajność i działanie systemu, oraz jak ważne jest myślenie o całym systemie, w tym o technologii, ludziach i środowisku. Możesz użyć notatek przezroczystości podczas opracowywania lub wdrażania własnego systemu lub udostępniać je osobom, które będą korzystać z systemu lub mają na nie wpływ.
Uwagi dotyczące przejrzystości firmy Microsoft są częścią szerszego wysiłku firmy Microsoft w celu wprowadzenia w życie naszych zasad sztucznej inteligencji. Dowiedz się więcej w zasadach sztucznej inteligencji firmy Microsoft.
Podstawy ograniczonego rozpoznawania mowy
Wprowadzenie
Rozpoznawanie mowy jest istotną funkcją do angażowania się w systemy sztucznej inteligencji z obsługą głosu. Te systemy (często nazywane aparatami zamiany mowy na tekst) konwertują słowa mówione przez użytkownika na tekst, często generując wskaźnik ufności wskazujący prawdopodobieństwo poprawności danych wyjściowych. Ograniczone rozpoznawanie mowy to specyficzna modalność, która ogranicza zestaw możliwych wyrazów lub fraz do rozpoznawania przez aparat. To ograniczenie odbywa się za pomocą gramatyki. Gramatyki są z definicji opartą na regułach listą oczekiwanych słów lub fraz do rozpoznawania przez aparat.
Ograniczone aparaty rozpoznawania mowy są szczególnie przydatne w następujących celach:
Rozpoznawanie alfanumerycznych danych wejściowych, takich jak numery kont i numery śledzenia.
Duże listy specyficzne dla domeny (zapasy, adresy, nazwy).
Małe aplikacje o określonym zakresie, które są przeznaczone do interakcji z małym zestawem wyrazów i fraz do rozpoznawania.
Dialog prowadzony, który pomaga w poruszaniu się po hierarchicznej strukturze menu; może być wykorzystywany podczas pierwszej interakcji osoby dzwoniącej lub stanowić podstawę projektu dialogu systemu.
Kluczowe terminy
| Termin | Definition |
|---|---|
| Gramatyka | Gramatyka to opis słów i fraz, które moduł rozpoznawania mowy rozumie i interpretuje. Moduł rozpoznawania ładuje gramatyki w czasie działania, aby przekształcić mówione odpowiedzi i polecenia użytkownika w informacje, które aplikacja głosowa może wykorzystać. |
| GrXML | Format, w którym składają się gramatyki. |
| Specyfikacja gramatyki rozpoznawania mowy (SRGS) | Standard W3C do definiowania gramatyki. |
| Wypowiedź | Wypowiedziane słowa lub frazy od użytkownika do systemu sztucznej inteligencji głosowej interpretowane przez system rozpoznawania mowy. |
Capabilities
Zachowanie systemu
Za każdym razem, gdy rozpoznawanie interpretuje wypowiedzi użytkownika, kompiluje listę najbliższych możliwych dopasowań, aby powrócić do aplikacji głosowej. Ta lista jest nazywana n-best l ist, ponieważ składa się z wstępnie określonej liczby n interpretacji, które najlepiej pasują do tego, co użytkownik wydaje się powiedział. Gdy użytkownik mówi, rozpoznawanie wyszukuje najlepsze dopasowania między elementami zdefiniowanymi w gramatyce. Aparat rozpoznawania dodaje każdą pasującą interpretację do kandydatów branych pod uwagę na potrzeby listy n najlepszych wyników. Podczas wyszukiwania rozpoznawanie używa modeli akustycznych do analizowania danych wejściowych audio, modeli leksykalnych w celu określenia najbardziej prawdopodobnych zdań w gramatykach i semantycznych modeli, aby określić najbardziej prawdopodobne znaczenie tego, co powiedział rozmówca. Moduł rozpoznawania przeszukuje dane, dopóki nie znajdzie najbardziej prawdopodobnych interpretacji lub dopóki pozostałe elementy nie mogą już odpowiadać temu, co zostało usłyszane.
Moduł rozpoznawania przypisuje poziom ufności każdej pozycji na liście kandydatów i szereguje je od najwyższego poziomu ufności do najniższego. Moduł rozpoznawania ponownie ocenia i dostraja te wyniki w miarę znajdowania nowych interpretacji. Jeśli gramatyki dopuszczają homonimy (wyrazy, które brzmią identycznie, ale mają różne znaczenia), a jeden z nich zostanie wypowiedziany, moduł rozpoznawania przypisze homonimy do oddzielnych interpretacji z identycznymi ocenami pewności. Moduł rozpoznawania zawęża listę kandydatów, przetwarzając wszelkie listy ograniczeń i/lub skrypty interpretacji semantycznej (ECMAScript) określone w gramatykach. Rozpoznawanie usuwa wszelkie interpretacje, które nie spełniają docelowych poziomów ufności skonfigurowanych do rozpoznawania. Aparat rozpoznawania zwraca końcowe n wyników do aplikacji. Ta lista n najlepszych elementów zawiera dopasowany tekst (dla całej wypowiedzi i poszczególnych miejsc na wartość), współczynniki ufności oraz wszystkie klucze i wartości ustawione dla wypowiedzi.
Przypadki użycia
Zamierzone zastosowania
Ograniczone rozpoznawanie mowy może być używane w wielu scenariuszach. Zamierzone zastosowania systemu obejmują:
Rozpoznawanie tekstu mówionego: aby przekształcić mowę na tekst ograniczony do zdefiniowanej listy przekazanej systemowi za pomocą „gramatyki”. Na przykład alfanumeryczne numery identyfikacyjne i numery ubezpieczenia społecznego wprowadzane ręcznie lub z danych opartych na listach, a także katalog firmowy, symbole giełdowe i adresy.
Sprawdź poprawność danych wejściowych: aby sprawdzić, czy to, co zostało wypowiedziane, ma zostać zaakceptowane przez system. Na przykład sprawdzanie poprawności numeru karty kredytowej (matematycznie).
Usuń kandydatów rozpoznania: usuń wyrazy lub frazy z wyników rozpoznawania podczas ponownych prób rozpoznawania.
Zagadnienia dotyczące wybierania innych przypadków użycia
Zachęcamy klientów do korzystania z ograniczonego rozpoznawania mowy w swoich innowacyjnych rozwiązaniach lub aplikacjach. Poniżej przedstawiono jednak niektóre zagadnienia dotyczące wybierania przypadku użycia:
Informacja: Zgodnie z zasadami tworzenia agentów AI zawsze informuj rozmówcę, że system, z którym wchodzi w interakcję, jest oparty na sztucznej inteligencji.
Nieobsługiwane zastosowania:
Transkrypcja wsadowa: Całkowite transkrybowanie wszystkich wypowiedzianych przez daną osobę słów na pełny zapis tekstowy.
Interpretacja intencji: Mapowanie wypowiedzianych słów osoby na interpretowaną intencję, w przeciwieństwie do transkrypcji.
Zagadnienia prawne i prawne: Organizacje muszą ocenić potencjalne konkretne zobowiązania prawne i prawne w przypadku korzystania z usług i rozwiązań sztucznej inteligencji, które mogą nie być odpowiednie do użycia w każdej branży lub scenariuszu. Ograniczenia mogą się różnić w zależności od regionalnych lub lokalnych wymagań prawnych. Ponadto usługi sztucznej inteligencji lub rozwiązania nie są przeznaczone do użytku i mogą nie być używane w sposób zabroniony w odpowiednich warunkach świadczenia usług i odpowiednich kodeksach postępowania.
Ograniczenia
Jak wspomniano wcześniej, ograniczone rozpoznawanie mowy działa wyjątkowo dobrze w określonych przypadkach użycia, takich jak zadania rozpoznawania alfanumeryczne i oparte na liście, w których informacje są jawne, precyzyjne i ograniczone od użytkownika. Natomiast tradycyjne systemy zamiany mowy na tekst, które wykorzystują modele oparte na semantyce lub modele rozumienia języka naturalnego, najlepiej nadają się do rozpoznawania szerokiego zakresu tematów poruszanych w mowie oraz do interpretowania treści mieszczących się w zakresie modelu lub zbliżonych do niego. Mówiąc jawnie, wszystkie dane wejściowe mowy, które wykraczają poza definicję gramatyki, nie są rozpoznawane. W związku z tym zachęca się deweloperów tworzących aplikacje głosowe do rozważenia, w jakich sytuacjach właściwe jest użycie ograniczonych poleceń głosowych, a kiedy lepiej zastosować metody alternatywne.
Ograniczenia techniczne, czynniki operacyjne i zakresy
Aby system rozpoznawania mowy o ograniczonym słowniku działał dokładnie, dobrze zaprojektowana gramatyka musi być w stanie rozpoznawać wiele różnych wypowiedzi użytkowników oraz interpretować je szybko, trafnie i sprawnie. Oznacza to, że deweloper musi być w stanie przewidzieć odpowiedzi, które każda aplikacja wyświetli, i zakodować je w gramatyce tak wydajnie, jak to możliwe. Oznacza to z kolei, że gramatyki muszą być projektowane równolegle z aplikacją głosową.
Dobra gramatyka równoważy te cele:
Dokładne pokrycie: gramatyka akceptuje i interpretuje uzasadnione odpowiedzi od użytkowników do wcześniejszego polecenia aplikacji.
Dokładność: Gramatyka poprawnie rozpoznaje odpowiedzi, dzięki czemu użytkownicy nie są proszeni o powtórzenie, a gramatyki nie przekazują niepoprawnych wartości do głównej aplikacji.
Szybkość: Gramatyka szybko rozpoznaje odpowiedzi bez opóźnień, które frustrują użytkowników.
Zużycie zasobów: Gramatyka działa wydajnie.
Pisanie gramatyki jest procesem iteracyjnym. Tworzysz początkową gramatykę na podstawie tego, czego spodziewasz się po wypowiedziach dzwoniących, zbierasz rzeczywiste dane, dopracowujesz gramatykę, zbierasz więcej danych, ponownie dopracowujesz gramatykę i tak dalej. W miarę dopracowywania gramatyki przez dodawanie i usuwanie fraz coraz bardziej odpowiada ona temu, w jaki sposób użytkownicy zwracają się do aplikacji. W praktyce żadna gramatyka nie może zawierać wszystkich odpowiedzi, które mogą wystąpić w aplikacji, ponieważ nie można kontrolować sposobu mówienia przez ludzi.
Proces opracowywania zestawu gramatyki zwykle obejmuje następujące kroki:
Zidentyfikuj elementy informacji i zdefiniuj miejsca: Jakie informacje muszą dostarczyć użytkownik do aplikacji i czy istnieje określona kolejność, w której musi zostać podana?
Zaprojektuj okno dialogowe: określ najbardziej wydajny przepływ okna dialogowego między użytkownikiem a aplikacją.
Zaprojektuj prompty: utwórz prompty, które pozwalają uzyskać wymagane informacje.
Przewiduj odpowiedzi dzwoniącego na komunikaty: Weź pod uwagę wypowiadane słowa, które gramatyka będzie musiała rozpoznać.
Zidentyfikuj podstawowe i uzupełniające elementy swoich gramatyk: zidentyfikuj kluczowe słowa, których należy szukać w odpowiedziach.
Zaplanuj strategię gramatyczną: określ najlepszy sposób spełnienia wymagań dla każdej gramatyki i wybierz odpowiednie podejście lub kombinację podejść, aby je rozwiązać.
Dostosuj i uściślij gramatyki: rozwiąż wszelkie problemy i zoptymalizuj wydajność gramatyczną,
Wydajność systemu
Ograniczony aparat rozpoznawania mowy działa lepiej w porównaniu z alternatywnymi modalnościami rozpoznawania mowy przy użyciu ograniczonej pamięci podczas przetwarzania żądań. Czynniki w kontrolce deweloperów mają większy wpływ na wydajność niż sam system. Głównym celem opracowywania gramatyki jest zaprojektowanie optymalnej dokładności rozpoznawania. Kolejnym celem jest pisanie z myślą o przejrzystości, łatwości utrzymania i rozszerzalności. Trzecim celem jest utworzenie wydajnych kontekstów rozpoznawania.
Najlepsze rozwiązania dotyczące poprawy wydajności systemu
Poniżej przedstawiono cechy gramatyczne wpływające na użycie zasobów:
Zakres: Gramatyka obejmuje frazy, których ma używać dzwoniący. Niewystarczające pokrycie prowadzi do wzrostu liczby wypowiedzi spoza słownika, potwierdzeń i ponownych prób, co zwiększa obciążenie procesora, wydłuża czas trwania połączeń i obniża zadowolenie dzwoniących.
Nadmierne generowanie: ważne jest, aby gramatyka nie była nadmiernie generowana, zezwalając na niesensowne frazy, ponieważ zmniejsza to dokładność. Na przykład gramatyka, która rozpoznaje miasto i stan, musi ograniczyć wypowiedzi do prawidłowych kombinacji miast i stanów.
Wiele analiz składniowych: W idealnym przypadku każde zdanie dopuszczalne w danej gramatyce ma unikalną analizę. Czasami gramatyka może zezwalać na wiele analiz pojedynczego zdania. Zwykle wiele interpretacji składniowych wskazuje na niedopatrzenie w projekcie gramatyki, które wymaga poprawy.
Klucze przekazane do aplikacji: należy upewnić się, że pary klucz/wartość są ustawione poprawnie.
Gdy dzwoniący wypowie słowo lub wyrażenie, którego gramatyka nie może rozpoznać, uznaje się je za element spoza gramatyki. Przyjmuje się, że odsetek wypowiedzi spoza gramatyki na poziomie pięciu procent jest akceptowalny. Czasami nawet odsetki rozpoznań wykraczających poza gramatykę na poziomie 10–20% nie należą do rzadkości w przypadku niektórych typów zadań rozpoznawania. Rozważ użycie alternatywnych metod rozpoznawania mowy przy tej wyższej szybkości.
Opóźnienie jest definiowane jako czas, który upłynął po tym, jak obiekt wywołujący przestanie mówić (w tym skonfigurowany limit czasu zakończenia mowy), dopóki wynik rozpoznawania nie zostanie zwrócony do aplikacji. Gdy opóźnienie jest zbyt wysokie, środowisko użytkownika ulega pogorszeniu; system wydaje się powolny, co może być frustrujące dla użytkownika i prowadzi do dalszych komplikacji interfejsu użytkownika.
W skrajnych okolicznościach nadmierne opóźnienie powoduje nieudane transakcje aplikacji, jeśli użytkownik przestanie mówić bez osiągnięcia celu konwersacji. Długi czas odpowiedzi rozpoznawania może wynikać z wielu czynników:
Korzystanie z bardzo dużych gramatyk zawierających setki tysięcy elementów.
Bardzo długie średnie długości wypowiedzi.
Znaczna ilość przetwarzania ECMAScript w gramatyce.
Opóźnienia sieci podczas pobierania gramatyki.
Pamiętaj, aby prawidłowo przetestować gramatyki przed wdrożeniem ich w systemie uruchomionym na żywo, takim jak uruchamianie scenariuszy testowych z różnymi frazami, które mają być wypowiadane.
Ocena ograniczonego rozpoznawania mowy
Metody oceny
Niektóre często używane metryki do oceny ograniczonego rozpoznawania mowy to:
Współczynnik błędów programu Word (WER): mierzy procent wyrazów, które są niepoprawnie rozpoznawane. Oblicza się ją jako sumę podstawień, usunięć i wstawek podzieloną przez łączną liczbę wyrazów w tekście referencyjnym.
Dokładność listy N najlepszych wyników: To ocenia dokładność N najlepszych hipotez wygenerowanych przez rozpoznawacz. Warto zrozumieć, jak często prawidłowa interpretacja jest jedną z najważniejszych sugestii.
Pokrycie: Ta metryka ocenia, czy gramatyka zawiera wszystkie niezbędne frazy i odmiany, które użytkownicy mogą powiedzieć. Gramatyka z dobrym pokryciem zapewnia, że system może obsłużyć szeroką gamę danych wejściowych.
Opóźnienie: mierzy czas potrzebny systemowi na przetworzenie wypowiedzianych danych wejściowych i wygenerowanie wyniku rozpoznawania. Mniejsze opóźnienie ma kluczowe znaczenie dla aplikacji w czasie rzeczywistym.
Współczynnik fałszywej akceptacji/odrzucenia: określa liczbę przypadków fałszywie dodatnich i fałszywie ujemnych występujących w systemie. Ma to bezpośredni wpływ na wskaźnik utrzymania dzwoniących w systemie oraz wskaźniki skuteczności aplikacji w scenariuszach centrum kontaktowego.
Zagadnienia dotyczące sprawiedliwości
W firmie Microsoft staramy się wspierać każdą osobę na świecie, aby robić więcej. Istotną częścią tego celu jest stworzenie technologii i produktów, które są sprawiedliwe i inkluzywne. Sprawiedliwość jest wielowymiarowym, społeczno-technicznym tematem i ma wpływ na wiele różnych aspektów naszego rozwoju produktu. Możesz dowiedzieć się więcej o podejściu firmy Microsoft do sprawiedliwości.
Ważnym wymiarem, który należy wziąć pod uwagę podczas korzystania z systemów sztucznej inteligencji, w tym ograniczonego rozpoznawania mowy, jest to, jak dobrze system działa dla różnych grup osób. Badania wykazały, że bez świadomego wysiłku ukierunkowanego na poprawę wydajności dla wszystkich grup systemy sztucznej inteligencji mogą wykazywać różne poziomy wydajności w różnych czynnikach demograficznych, takich jak rasa, pochodzenie etniczne, płeć i wiek.
W niektórych przypadkach mogą występować różnice w wydajności. Należy pamiętać, że te rozbieżności mogą przekraczać wartość docelową, a my aktywnie pracujemy nad eliminowaniem i minimalizowaniem wszelkich potencjalnych uprzedzeń lub różnic w wydajności, dokładnie rozważamy wybór grupy demograficznej aktora oraz uwzględniamy różnorodne perspektywy pochodzące z różnych środowisk.
W odniesieniu do szkód związanych z reprezentacją, takich jak utrwalanie stereotypów, poniżające treści lub pomijanie pewnych grup w wynikach, dostrzegamy ryzyko związane z tymi zjawiskami. Chociaż nasz proces oceny ma na celu ograniczenie takich zagrożeń, zachęcamy użytkowników do dokładnego rozważenia konkretnych przypadków użycia i wdrożenia dodatkowych środków zaradczych zgodnie z potrzebami. Udział człowieka w procesie może zapewnić dodatkowy poziom nadzoru, pomagając przeciwdziałać potencjalnej stronniczości i niezamierzonym konsekwencjom.
Jesteśmy zobowiązani do ciągłego ulepszania naszych ocen sprawiedliwości, aby lepiej zrozumieć wydajność systemu w różnych grupach demograficznych i potencjalne obawy dotyczące sprawiedliwości. Trwa proces oceny i aktywnie pracujemy nad zwiększeniem sprawiedliwości i inkluzywności oraz eliminowaniem zidentyfikowanych różnic. Rozumiemy znaczenie rozwiązywania problemów z sprawiedliwością i dążymy do zapewnienia, że ograniczone rozpoznawanie mowy zapewnia niezawodne i sprawiedliwe dane wyjściowe rozpoznawania mowy.
Uwaga / Notatka
Te informacje reprezentują to, co wiemy do tej pory o ocenach sprawiedliwości, a my pozostajemy oddani uściśliniu naszych metodologii oceny i rozwiązaniu wszelkich problemów dotyczących sprawiedliwości, które mogą wystąpić.
Dowiedz się więcej na temat odpowiedzialnej sztucznej inteligencji
Zasady sztucznej inteligencji firmy Microsoft
Zasoby odpowiedzialnej sztucznej inteligencji firmy Microsoft
Kursy usługi Microsoft Azure Learning dotyczące odpowiedzialnej sztucznej inteligencji