Wprowadzanie głosu w unrealistycznej
Wprowadzanie głosu w systemie Unreal umożliwia interakcję z hologramem bez konieczności używania gestów dłoni i jest obsługiwana tylko HoloLens 2. Dane wejściowe głosowe na HoloLens 2 są obsługiwane przez ten sam aparat, który obsługuje mowę we wszystkich innych aplikacjach uniwersalnych systemu Windows, ale Unreal używa bardziej ograniczonego aparatu do przetwarzania danych wejściowych głosowych. Ogranicza to funkcje wejściowe głosu w nierealnych do wstępnie zdefiniowanych mapowań mowy, które zostały omówione w poniższych sekcjach.
Włączanie rozpoznawania mowy
Jeśli używasz wtyczki Windows Mixed Reality, dane wejściowe głosowe nie wymagają żadnych specjalnych interfejsów API Windows Mixed Reality; jest ona oparta na istniejącym interfejsie API mapowania danych wejściowych aparatu Unreal Engine 4. Jeśli używasz programu OpenXR, należy dodatkowo zainstalować wtyczkę Microsoft OpenXR.
Aby włączyć rozpoznawanie mowy na urządzeniu HoloLens:
- Wybierz pozycję Możliwości urządzenia HoloLens > dla ustawień >> projektu i włącz mikrofon.
- Włączone rozpoznawanie mowy w obszarze Ustawienia > Mowa prywatności > i wybierz pozycję Angielski.
Uwaga
Rozpoznawanie mowy zawsze działa w języku wyświetlania systemu Windows skonfigurowanym w aplikacji Ustawienia . Zalecane jest również włączenie rozpoznawania mowy online w celu uzyskania najlepszej jakości usługi.
- Po pierwszym uruchomieniu aplikacji zostanie wyświetlone okno dialogowe z pytaniem, czy chcesz włączyć mikrofon. Wybranie pozycji Tak powoduje uruchomienie danych wejściowych głosowych w aplikacji.
Dodawanie mapowań mowy
Łączenie mowy z akcją jest ważnym krokiem podczas korzystania z danych głosowych. Te mapowania monitorują aplikację pod kątem słów kluczowych mowy, które użytkownik może powiedzieć, a następnie uruchamiają połączoną akcję. Mapowania mowy można znaleźć w:
- Wybierz pozycję Edytuj > ustawienia projektu, przewiń do sekcji Aparat i kliknij pozycję Dane wejściowe.
Aby dodać nowe mapowanie mowy dla polecenia przesiadkowego:
- Wybierz ikonę + obok pozycji Elementy tablicy i wypełnij następujące wartości:
- jumpWord dla nazwy akcji
- jump for Speech Keyword (skok dla słowa kluczowego mowy)
Uwaga
Dowolne wyrazy angielskie lub krótkie zdania mogą być używane jako słowo kluczowe.
Mapowania mowy mogą być używane jako składniki wejściowe, takie jak mapowania akcji lub osi lub jako węzły strategii na wykresie zdarzeń. Możesz na przykład połączyć polecenie przesiadkowe, aby wyświetlić dwa różne dzienniki w zależności od tego, kiedy słowo jest mówione:
- Kliknij dwukrotnie strategię, aby otworzyć ją na grafie zdarzeń.
- Kliknij prawym przyciskiem myszy i wyszukaj nazwę akcji mapowania mowy (w tym przypadku jumpWord), a następnie naciśnij klawisz Enter , aby dodać węzeł akcji wejściowej do grafu.
- Przeciągnij i upuść przypnij naciśnięcie do węzła Ciąg wydruku , jak pokazano na poniższej ilustracji. Możesz pozostawić puste przypięcie wydane , ale nie będzie wykonywać niczego dla mapowań mowy.
- Odtwórz aplikację, powiedz przeskok słowa i watch konsoli wyświetlić dzienniki!
To wszystko, co należy skonfigurować, aby rozpocząć dodawanie danych wejściowych głosowych do aplikacji HoloLens w aplikacji Unreal. Więcej informacji na temat mowy i interakcyjności można znaleźć w poniższych linkach i pamiętać o środowisku tworzonym dla użytkowników.
Następny punkt kontrolny programowania
Jeśli obserwujesz określoną przez nas podróż dewelopera Unreal, następnym zadaniem jest eksplorowanie możliwości platformy i interfejsów API Mixed Reality:
Zawsze możesz wrócić do nierealnych punktów kontrolnych programowania w dowolnym momencie.