Spraakinvoer in Unreal

Met spraakinvoer in Unreal kunt u werken met een hologram zonder dat u handbewegingen hoeft te gebruiken. Dit wordt alleen ondersteund HoloLens 2. Spraakinvoer op HoloLens 2 wordt aangedreven door dezelfde engine die spraak in alle andere Universele Windows-apps ondersteunt, maar Unreal gebruikt een beperktere engine om spraakinvoer te verwerken. Dit beperkt spraakinvoerfuncties in Unreal tot vooraf gedefinieerde spraaktoewijzingen, die in de volgende secties worden behandeld.

Spraakherkenning inschakelen

Als u Windows Mixed Reality-invoegtoepassing gebruikt, zijn voor spraakinvoer geen speciale Windows Mixed Reality API's vereist. Deze api is gebaseerd op de bestaande Api voor invoertoewijzing van Unreal Engine 4. Als u OpenXR gebruikt, moet u ook de Microsoft OpenXR-invoegtoepassing installeren.

Spraakherkenning inschakelen op HoloLens:

  1. Selecteer Projectinstellingen > Platform > HoloLens > Capabilities en schakel Microfoon in.
  2. Spraakherkenning is ingeschakeld in Instellingen > Privacyspraak > en selecteer Engels.

Notitie

Spraakherkenning werkt altijd in de Windows-weergavetaal die is geconfigureerd in de app Instellingen . Het is raadzaam om ook online spraakherkenning in te schakelen voor de beste servicekwaliteit.

Instellingen voor Windows Spraakherkenning

  1. Er wordt een dialoogvenster weergegeven wanneer de toepassing voor het eerst wordt gevraagd of u de microfoon wilt inschakelen. Als u Ja selecteert, wordt spraakinvoer in de app gestart.

Spraaktoewijzingen toevoegen

Spraak verbinden met actie is een belangrijke stap bij het gebruik van spraakinvoer. Met deze toewijzingen wordt de app gecontroleerd op gesproken trefwoorden die een gebruiker zou kunnen zeggen en start vervolgens een gekoppelde actie af. U kunt spraaktoewijzingen vinden op:

  1. Selecteer Projectinstellingen bewerken>, schuif naar de sectie Engine en klik op Invoer.

Ga als volgt te werk om een nieuwe spraaktoewijzing toe te voegen voor een jump-opdracht:

  1. Selecteer het + pictogram naast Matrixelementen en vul de volgende waarden in:
    • jumpWord voor actienaam
    • Spring naar Spraakwoord

Notitie

Een of meer Engelse woorden of korte zin(en) kunnen als trefwoord worden gebruikt.

Invoerinstellingen voor UE4-engine

Spraaktoewijzingen kunnen worden gebruikt als invoeronderdelen, zoals actie- of astoewijzingen, of als blauwdrukknooppunten in de gebeurtenisgrafiek. U kunt bijvoorbeeld de jump-opdracht koppelen om twee verschillende logboeken af te drukken, afhankelijk van wanneer het woord wordt uitgesproken:

  1. Dubbelklik op een blauwdruk om deze te openen in de gebeurtenisgrafiek.
  2. Klik met de rechtermuisknop en zoek naar de actienaam van uw spraaktoewijzing (in dit geval jumpWord). Druk vervolgens op Enter om een invoeractieknooppunt toe te voegen aan de grafiek.
  3. Sleep de Pressed pin naar het knooppunt Print String zoals wordt weergegeven in de onderstaande afbeelding. U kunt de vrijgegeven pincode leeg laten, er wordt niets uitgevoerd voor spraaktoewijzingen.

Eenvoudige actie voor spraak

  1. Speel de app af, zeg het woord spring en watch de console de logboeken afdrukken.

Dat is alles wat u nodig hebt om spraakinvoer toe te voegen aan uw HoloLens-apps in Unreal. U vindt meer informatie over spraak en interactiviteit via de onderstaande koppelingen en vergeet niet na te denken over de ervaring die u voor uw gebruikers maakt.

Controlepunt volgende ontwikkeling

Als u het Unreal-ontwikkelingstraject volgt dat we hebben uitgetekend, is de volgende taak het verkennen van de mogelijkheden en API's van het Mixed Reality-platform:

U kunt altijd op elk gewenst moment teruggaan naar de controlepunten voor Unreal-ontwikkeling .

Zie ook