Vorige

Volgende

Oefening: spraakherkenning en transcriptie integreren en gebruiken

Voltooid

In deze module maakt u een Mixed Reality-toepassing die het gebruik van Azure Speech Services verkent met de HoloLens 2. Wanneer u deze reeks voltooit, kunt u de microfoon van uw apparaat gebruiken om spraak in realtime te transcriberen naar tekst, spraak te vertalen naar andere talen en de functie Intentieherkenning te gebruiken om spraakopdrachten te begrijpen met behulp van kunstmatige intelligentie.

Het Unity-project maken en voorbereiden

In deze sectie maakt u een nieuw Unity-project en bereidt u het voor op MRTK-ontwikkeling.

Zorg er als vereiste voor dat u de onderstaande stappen hebt uitgevoerd om uw project en toepassing te initialiseren:

1. Het Unity-project maken en deze een geschikte naam geven, bijvoorbeeld MRTK-zelfstudies
2. Overschakelen van het buildplatform
3. De Essential Resources van TextMeshPro importeren
4. De Mixed Reality Toolkit importeren
5. Het Unity-project configureren
6. De scène maken en configureren en deze een geschikte naam geven; Bijvoorbeeld AzureSpeechServices

Notitie

U kunt leren hoe u uw mixed reality-project instelt in de module Introduction to Mixed Reality Toolkit .

De mogelijkheden configureren

1. Selecteer in het Unity-menu Project bewerken>Instellingen... om het venster Player Instellingen te openen en zoek vervolgens de sectie Player>Publishing Instellingen:

   

2. Schuif in het publicatie-Instellingen omlaag naar de sectie Mogelijkheden en controleer of de mogelijkheden van InternetClient, Microfoon en SpatialPerception (die u hebt ingeschakeld toen u het project aan het begin van de zelfstudie maakte) nog steeds zijn ingeschakeld. Schakel vervolgens de mogelijkheden van InternetClientServer en PrivateNetworkClientServer in.

   

De zelfstudieassets importeren

1. Download en importeer de volgende aangepaste Unity-pakketten in de volgorde waarin ze worden vermeld:

   • Microsoft.CognitiveServices.Speech.N.N.unitypackage (nieuwste versie)
   • MRTK. HoloLens2.Unity.Tutorials.Assets.GettingStarted.3.0.0.unitypackage
   • MRTK. HoloLens2.Unity.Tutorials.Assets.AzureSpeechServices.3.0.0.unitypackage

2. Zodra u de zelfstudieassets hebt geïmporteerd, ziet het projectvenster er als volgt uit:

   

De scène voorbereiden

In deze sectie bereidt u de scène voor door de zelfstudie-prefab toe te voegen en het onderdeel Lunarcom Controller (Script) te configureren om uw scène te beheren.

1. Navigeer in het venster Project naar de MRTK assets>. De map Tutorials.AzureSpeechServices>Prefabs en sleep de lunarcom-prefab naar het venster Hierarchy om deze toe te voegen aan uw scène.

   

2. Als het Lunarcom-object nog steeds is geselecteerd in het venster Hierarchy, gebruikt u in het venster Inspector de knop Component toevoegen om het onderdeel Lunarcom Controller (Script) toe te voegen aan het Lunarcom-object.

   

3. Als het Lunarcom-object nog steeds is geselecteerd, vouwt u het uit om de onderliggende objecten weer te geven en sleept u het Terminal-object naar het terminalveld van het onderdeel Lunarcom Controller (Script).

   

4. Als het Lunarcom-object nog steeds is geselecteerd, vouwt u het Terminal-object uit om de onderliggende objecten weer te geven en sleept u het object Verbinding maken ionLight naar het Verbinding maken ion Light-veld van het onderdeel Lunarcom Controller (Script) en het object OutputText naar het veld Uitvoertekst.

   

5. Als het Lunarcom-object nog steeds is geselecteerd, vouwt u het knoppenobject uit om de onderliggende objecten weer te geven. Vouw vervolgens in het venster Inspector de lijst Knoppen uit, stel het veld Knoppen in op 3 en sleep de objecten MicButton, SatelliteButton en RocketButton respectievelijk naar de velden Element 0, 1 en 2.

   

Verbinding maken het Unity-project naar de Azure-resource

Als u Azure Speech Services wilt gebruiken, moet u een Azure-resource maken en een API-sleutel voor de Speech Service verkrijgen. Volg de quickstart-instructies en noteer uw serviceregio (ook wel locatie genoemd) en API-sleutel (ook wel Key1 of Key2 genoemd).

1. Selecteer in het venster Hierarchy het Lunarcom-object en ga in het venster Inspector naar de sectie Speech SDK-referenties van het onderdeel Lunarcom Controller (Script) en configureer het als volgt:

   • Voer in het veld Speech Service-API-sleutel uw API-sleutel (Key1 of Key2) in.
   • Voer in het veld Speech Service Region uw serviceregio (Locatie) in met kleine letters en spaties die zijn verwijderd.

   

Spraakherkenning gebruiken om spraak te transcriberen

1. Selecteer in het venster Hierarchy het Lunarcom-object en gebruik vervolgens in het venster Inspector de knop Component toevoegen om het onderdeel Lunarcom Speech Recognizer (Script) toe te voegen aan het Lunarcom-object.

   

2. Als u nu de gamemodus opent en de afspeelknop selecteert, kunt u de spraakherkenning testen door eerst op de microfoonknop te drukken:

   

3. Als uw computer vervolgens een microfoon heeft, wordt uw spraak getranscribeerd op het terminalpaneel wanneer u iets zegt:

   

   Let op

   De toepassing moet verbinding maken met Azure, dus zorg ervoor dat uw computer/apparaat is verbonden met internet.

Doorgaan