Een spraak-assistent zonder code maken in Azure Percept Studio

  • Artikel

Belangrijk

Buitengebruikstelling van Azure Percept DK:

Update 22 februari 2023: Een firmware-update voor de percept DK Vision- en Audio-accessoireonderdelen (ook wel bekend als Vision en Audio SOM) is nu hier beschikbaar en zorgt ervoor dat de accessoireonderdelen na de buitengebruikstellingsdatum kunnen blijven functioneren.

De openbare preview van Azure Percept wordt ontwikkeld ter ondersteuning van nieuwe edge-apparaatplatforms en ontwikkelaarservaringen. Als onderdeel van deze evolutie worden de Azure Percept DK en audioaccessoire en de bijbehorende ondersteunende Azure-services voor de Percept DK op 30 maart 2023 buiten gebruik gesteld.

Vanaf 30 maart 2023 worden de Azure Percept DK en Audio Accessory niet meer ondersteund door Azure-services, waaronder Azure Percept Studio, updates van het besturingssysteem, updates voor containers, webstreams weergeven en Custom Vision-integratie. Microsoft biedt geen ondersteuning meer voor klantsucces en eventuele bijbehorende ondersteunende services. Ga voor meer informatie naar het blogbericht over buitengebruikstelling.

In deze zelfstudie maakt u een spraak assistent van een sjabloon voor gebruik met uw Azure Percept DK en Azure Percept Audio. De demo voice assistent wordt uitgevoerd binnen Azure Percept Studio en bevat een selectie virtuele objecten die door de stem worden beheerd. Als u een object wilt beheren, zegt u uw trefwoord. Dit is een woord of korte woordgroep waarmee uw apparaat wordt geactiveerd, gevolgd door een opdracht. Elke sjabloon reageert op een set specifieke opdrachten.

Deze handleiding begeleidt u bij het instellen van uw apparaten, het maken van een assistent en de benodigde Speech Services-resources, het testen van uw spraak assistent, het configureren van uw trefwoord en het maken van aangepaste trefwoorden.

Vereisten

Een assistent maken met behulp van een beschikbare sjabloon

  1. Navigeer naar Azure Percept Studio.

  2. Open het tabblad Demo's & zelfstudies .

    Schermopname van Azure Portal startpagina.

  3. Klik op Voice assistent-sjablonen uitproberen onder Zelfstudies en demo's voor Spraak. Hiermee opent u een venster aan de rechterkant van het scherm.

  4. Ga als volgt te werk in het venster:

    1. Selecteer in de vervolgkeuzelijst IoT Hub de IoT-hub waarmee uw devkit is verbonden.

    2. Selecteer uw devkit in het vervolgkeuzemenu Apparaat .

    3. Selecteer een van de beschikbare sjablonen voor spraak assistent.

    4. Klik op het selectievakje Ik ga akkoord met voorwaarden & voorwaarden voor dit project .

    5. Klik op Create.

    Schermopname van het maken van spraak assistent sjabloon.

  5. Nadat u op Maken hebt geklikt, wordt in de portal een ander venster geopend om uw spraakthemaresource te maken. Ga als volgt te werk in het venster:

    1. Selecteer uw Azure-abonnement in het vak Abonnement .

    2. Selecteer de resourcegroep van uw voorkeur in de vervolgkeuzelijst Resourcegroep . Als u een nieuwe resourcegroep wilt maken voor gebruik met uw spraak assistent, klikt u in de vervolgkeuzelijst op Maken en volgt u de aanwijzingen.

    3. Voer bij Toepassingsvoorvoegsel een naam in. Dit is het voorvoegsel voor uw project en de naam van uw aangepaste opdracht.

    4. Selecteer onder Regio de regio waarnaar u resources wilt implementeren.

    5. Selecteer onder LUIS-voorspellingsprijscategoriede optie Standard (de gratis laag biedt geen ondersteuning voor spraakaanvragen).

    6. Klik op de knop Maken. Resources voor de spraak-assistent-toepassing worden geïmplementeerd in uw abonnement.

      Waarschuwing

      Sluit het venster NIET totdat de portal klaar is met het implementeren van de resource. Als u het venster voortijdig sluit, kan dit leiden tot onverwacht gedrag van de stem assistent. Zodra uw resource is geïmplementeerd, wordt de demo weergegeven.

    Schermopname van het selectievenster voor abonnementen en resourcegroepen.

Test uw stem assistent

Als u wilt communiceren met uw stem assistent, zegt u het trefwoord gevolgd door een opdracht. Wanneer de Oor-SoM uw trefwoord herkent, verzendt het apparaat een geluidssignaal (dat u kunt horen als een luidspreker of hoofdtelefoon is aangesloten) en knipperen de LED's blauw. De LED's schakelen over naar raceblauw terwijl uw opdracht wordt verwerkt. De reactie van de stem assistent op uw opdracht wordt in het demovenster in tekst afgedrukt en hoorbaar uitgezonden via uw luidspreker/hoofdtelefoon. Het standaard trefwoord (vermeld naast Aangepast trefwoord) is ingesteld op 'Computer', en elke sjabloon heeft een set compatibele opdrachten waarmee u kunt communiceren met virtuele objecten in het demovenster. Als u bijvoorbeeld de demo horeca of gezondheidszorg gebruikt, zegt u 'Computer, schakel tv in' om de virtuele tv in te schakelen.

Schermopname van het demovenster voor gastvrijheid.

Democommando's voor gastvrijheid en gezondheidszorg

Zowel de demo's voor gezondheidszorg als horeca hebben virtuele tv's, lichten, jaloezieën en thermostaten waarmee u kunt communiceren. De volgende opdrachten (en aanvullende variaties) worden ondersteund:

  • "Zet de lichten aan/uit."
  • "Schakel de tv in of uit."
  • "Schakel de wisselstroom in of uit."
  • "De jaloezieën openen/sluiten."
  • "Temperatuur instellen op X graden." (X is de gewenste temperatuur, bijvoorbeeld 75.)

Schermopname van het demovenster voor de gezondheidszorg.

Demoopdrachten voor auto's

De demo voor auto's heeft een virtuele stoelwarmer, een ontdoofapparaat en een thermostaat waarmee u kunt werken. De volgende opdrachten (en aanvullende variaties) worden ondersteund:

  • "Schakel het ontdoofster in of uit."
  • "Zet de stoelwarmer in of uit."
  • "Temperatuur instellen op X graden." (X is de gewenste temperatuur, bijvoorbeeld 75.)
  • "Verhoog/verlaag de temperatuur met Y graden."

Schermopname van het demovenster voor auto's.

Demo-opdrachten voor inventaris

De inventarisdemo bevat een selectie virtuele blauwe, gele en groene vakken om mee te werken, samen met een virtuele inventaris-app. De volgende opdrachten (en aanvullende variaties) worden ondersteund:

  • "X-vakken toevoegen/verwijderen." (X is het aantal vakken, bijvoorbeeld 4.)
  • "X dozen bestellen/verzenden."
  • "Hoeveel dozen zijn er op voorraad?"
  • "Aantal Y-vakken." (Y is de kleur van de vakken, bijvoorbeeld geel.)
  • "Verzend alles op voorraad."

Schermopname van het demovenster van de voorraad.

Uw trefwoord configureren

U kunt het trefwoord voor uw spraaktoepassing assistent aanpassen.

  1. Klik in het demovenster op Wijzigen naast Aangepast trefwoord .

  2. Selecteer een van de beschikbare trefwoorden. U kunt kiezen uit een selectie voorbeeldtrefwoorden en eventuele aangepaste trefwoorden die u hebt gemaakt.

  3. Klik op Opslaan.

Een aangepast trefwoord maken

U kunt uw eigen trefwoord maken voor uw spraaktoepassing. De training voor uw aangepaste trefwoord kan in slechts enkele minuten zijn voltooid.

  1. Klik boven in het demovenster op + Aangepast trefwoord maken .

  2. Voer het gewenste trefwoord in. Dit kan één woord of een korte woordgroep zijn.

  3. Selecteer uw Spraak-resource (deze wordt weergegeven naast Aangepaste opdracht in het demovenster en bevat het voorvoegsel van uw toepassing).

  4. Klik op Opslaan.

Een aangepaste opdracht maken

De portal biedt ook functionaliteit voor het maken van aangepaste opdrachten met bestaande spraakresources. 'Aangepaste opdracht' verwijst naar de spraak assistent toepassing zelf, niet naar een specifieke opdracht binnen de bestaande toepassing. Door een aangepaste opdracht te maken, maakt u een nieuw spraakproject, dat u verder moet ontwikkelen in Speech Studio.

Als u een nieuwe aangepaste opdracht wilt maken vanuit het demovenster, klikt u op + Aangepaste opdracht maken bovenaan de pagina en gaat u als volgt te werk:

  1. Voer een naam in voor de aangepaste opdracht.

  2. Voer een beschrijving van uw project in (optioneel).

  3. Selecteer uw voorkeurstaal.

  4. Selecteer uw spraakresource.

  5. Selecteer uw LUIS-resource.

  6. Selecteer uw LUIS-ontwerpresource of maak een nieuwe.

  7. Klik op Create.

Schermopname van het venster voor het maken van aangepaste opdrachten.

Zodra u een aangepaste opdracht hebt gemaakt, moet u naar Speech Studio gaan voor verdere ontwikkeling. Als u Speech Studio opent en uw aangepaste opdracht niet wordt weergegeven, voert u de volgende stappen uit:

  1. Klik in het linkermenuvenster in Azure Percept Studio op Spraak onder AI-projecten.

  2. Selecteer het tabblad Opdrachten .

    Schermopname van de lijst met aangepaste opdrachten die kunnen worden bewerkt.

  3. Selecteer de aangepaste opdracht die u wilt ontwikkelen. Hiermee opent u het project in Speech Studio.

    Schermopname van het startscherm van Speech Studio.

Raadpleeg de documentatie van Speech Service voor meer informatie over het ontwikkelen van aangepaste opdrachten.

Problemen oplossen

Spraak assistent is gemaakt, maar reageert niet op opdrachten

Controleer de LED-lampjes op het interposerbord:

  • Drie effen blauwe lampjes geven aan dat de stem assistent gereed is en wacht op het trefwoord.
  • Als de middelste LED (L02) wit is, is de initialisatie van de devkit voltooid en moet deze worden geconfigureerd met een trefwoord.
  • Als de middelste LED (L02) wit knippert, heeft de Audio SoM de initialisatie nog niet voltooid. Het kan enkele minuten duren voordat de initialisatie is voltooid.

Zie het artikel LED voor meer informatie over de LED-indicatoren.

Voice assistent reageert niet op een aangepast trefwoord dat is gemaakt in Speech Studio

Dit kan gebeuren als de spraakmodule verouderd is. Volg deze stappen om de spraakmodule bij te werken naar de nieuwste versie:

  1. Klik op Apparaten in het linkermenuvenster van de startpagina van Azure Percept Studio.

  2. Zoek en selecteer uw apparaat.

    Schermopname van de lijst met apparaten in Azure Percept Studio.

  3. Selecteer in het apparaatvenster het tabblad Spraak .

  4. Controleer de versie van de spraakmodule. Als er een update beschikbaar is, ziet u een knop Bijwerken naast het versienummer.

  5. Klik op Bijwerken om de spraakmodule-update te implementeren. Het updateproces duurt over het algemeen 2-3 minuten.

Resources opschonen

Zodra u klaar bent met het werken met uw voice assistent-toepassing, volgt u deze stappen om de spraakresources op te schonen die u tijdens deze zelfstudie hebt geïmplementeerd:

  1. Selecteer in de Azure PortalResourcegroepen in het linkermenuvenster of typ het in de zoekbalk.

    Schermopname van Azure Portal startpagina met het linkermenu en Resourcegroepen.

  2. Selecteer uw resourcegroep.

  3. Selecteer alle zes resources die het toepassingsvoorvoegsel bevatten en klik op het pictogram Verwijderen in het bovenste menuvenster.
    Schermopname van spraakresources die zijn geselecteerd voor verwijdering.

  4. Als u het verwijderen wilt bevestigen, typt u Ja in het bevestigingsvak, controleert u of u de juiste resources hebt geselecteerd en klikt u op Verwijderen.

    Schermopname van het bevestigingsvenster voor verwijderen.

Waarschuwing

Hiermee worden alle aangepaste trefwoorden verwijderd die zijn gemaakt met de spraakresources die u verwijdert, en werkt de stem assistent demo niet meer.

Volgende stappen

Nu u een oplossing voor spraak zonder code hebt gemaakt, kunt u proberen een oplossing zonder code te maken voor uw Azure Percept DK.