Sdílet prostřednictvím

Hlasový vstup v unrealu

  • Článek

Hlasový vstup v Aplikaci Unreal umožňuje interakci s hologramem bez použití gest rukou a podporuje se pouze HoloLens 2. Hlasový vstup na HoloLens 2 využívá stejný modul, který podporuje řeč ve všech ostatních Univerzálních aplikacích pro Windows, ale Unreal používá k zpracování hlasového vstupu omezenější modul. Funkce hlasového vstupu v Unreal se tak omezují na předdefinovaná mapování řeči, která jsou popsaná v následujících částech.

Povolení rozpoznávání řeči

Pokud používáte modul plug-in Windows Mixed Reality, hlasový vstup nevyžaduje žádná speciální rozhraní API pro Windows Mixed Reality. Je založený na stávajícím rozhraní API pro mapování vstupu Unreal Engine 4. Pokud používáte OpenXR, měli byste navíc nainstalovat modul plug-in Microsoft OpenXR.

Povolení rozpoznávání řeči v HoloLensu:

  1. Vyberte Project Settings > Platform HoloLens Capabilities (Možnosti platformy > HoloLens > ) a povolte Mikrofon.
  2. Povolené rozpoznávání řeči v nastavení > Ochrana osobních údajů > Řeč a vyberte Angličtina.

Poznámka

Rozpoznávání řeči vždy funguje v jazyce zobrazení Windows nakonfigurovaného v aplikaci Nastavení . Doporučujeme také povolit online rozpoznávání řeči pro zajištění nejlepší kvality služby.

Nastavení rozpoznávání řeči ve Windows

  1. Když se aplikace poprvé začne ptát, jestli chcete povolit mikrofon, zobrazí se dialogové okno. Výběrem možnosti Ano spustíte hlasový vstup v aplikaci.

Přidání mapování řeči

Připojení řeči k akci je důležitým krokem při používání hlasového vstupu. Tato mapování monitorují v aplikaci klíčová slova řeči, která může uživatel vyslovit, a pak spustí propojenou akci. Mapování řeči najdete podle:

  1. Vyberte Upravit > nastavení projektu, posuňte se do části Modul a klikněte na Vstup.

Přidání nového mapování řeči pro příkaz skoku:

  1. Vyberte ikonu + vedle položky Prvky pole a vyplňte následující hodnoty:
    • jumpWord pro název akce
    • jump for Speech Keyword

Poznámka

Jako klíčové slovo lze použít libovolná anglická slova nebo krátké věty.

Nastavení vstupu modulu UE4

Mapování řeči je možné použít jako vstupní komponenty, jako jsou mapování akcí nebo osy, nebo jako uzly podrobného plánu v grafu událostí. Můžete například propojit příkaz jump a vytisknout dva různé protokoly v závislosti na tom, kdy se slovo vyslovuje:

  1. Poklikáním otevřete podrobný plán v grafu událostí.
  2. Klikněte pravým tlačítkem myši a vyhledejte název akce mapování řeči (v tomto případě jumpWord) a stisknutím klávesy Enter přidejte do grafu uzel Vstupní akce .
  3. Přetáhněte připnutí připnutí do uzlu Tisk řetězce , jak je znázorněno na obrázku níže. Uvolněný špendlík můžete nechat prázdný, ale pro mapování řeči nic nespustí.

Jednoduchá akce pro hlas

  1. Zahrajte si aplikaci, řekněte slovo skok a watch konzole vytiskněte protokoly!

To je všechno, co budete potřebovat, abyste mohli začít přidávat hlasový vstup do aplikací HoloLens v Unrealu. Další informace o řeči a interaktivitě najdete na následujících odkazech a nezapomeňte se zamyslet nad prostředím, které pro uživatele vytváříte.

Další kontrolní bod vývoje

Pokud se chystáte na cestu unreal developmentu, kterou jsme si vytyčili, dalším úkolem je prozkoumat možnosti a rozhraní API platformy Mixed Reality:

Kamera HoloLens

K kontrolním bodům Unreal Development se můžete kdykoli vrátit.

Viz také