Vytvoření hlasového asistent bez kódování v Azure Percept Studio

Důležité

Vyřazení azure Percept DK z provozu:

Aktualizace z 22. února 2023: Tady je nyní k dispozici aktualizace firmwaru pro součásti příslušenství Percept DK Vision a Audio (označované také jako Vision a Audio SOM), která umožní, aby komponenty příslušenství fungovaly i po datu vyřazení z provozu.

Azure Percept Public Preview se bude vyvíjet tak, aby podporovala nové platformy hraničních zařízení a prostředí pro vývojáře. V rámci tohoto vývoje budou 30. března 2023 vyřazeny azure Percept DK a audiopříslušné podpůrné služby Azure pro Percept DK.

Od 30. března 2023 už azure Percept DK a Audio Accessory nebudou podporovány žádnými službami Azure, včetně Azure Percept Studio, aktualizací operačního systému, aktualizací kontejnerů, zobrazení webového streamu a integrace Custom Vision. Microsoft už nebude poskytovat podporu pro úspěšné zákazníky a žádné související podpůrné služby. Další informace najdete v blogovém příspěvku o oznámení o vyřazení.

V tomto kurzu vytvoříte hlasovou asistent ze šablony, kterou použijete se sadou Azure Percept DK a Azure Percept Audio. Ukázka hlasového asistent běží v Azure Percept Studio a obsahuje výběr virtuálních objektů ovládaných hlasem. Pokud chcete ovládat objekt, řekněte vaše klíčové slovo, což je slovo nebo krátká fráze, která probudí vaše zařízení, a potom příkaz. Každá šablona reaguje na sadu konkrétních příkazů.

Tato příručka vás provede procesem nastavení zařízení, vytvoření hlasového asistent a potřebných prostředků služeb Speech, testování hlasového asistent, konfigurace klíčového slova a vytvoření vlastních klíčových slov.

Požadavky

• Azure Percept DK (devkit)
• Azure Percept Audio
• Reproduktory nebo sluchátka, které se dají připojit k 3,5mm zvukovému konektoru (volitelné)
• Předplatné Azure
• Prostředí pro nastavení sady Azure Percept DK: Připojili jste devkit k Wi-Fi síti, vytvořili IoT Hub a připojili svou sadu devkit k IoT Hub
• nastavení Azure Percept Audio

Vytvoření hlasového asistent pomocí dostupné šablony

1. Přejděte na Azure Percept Studio.

2. Otevřete kartu Ukázky & kurzy .

   

3. V části Kurzy a ukázky řeči klikněte na Vyzkoušet hlasové asistent šablony. Otevře se okno na pravé straně obrazovky.

4. V okně udělejte toto:

   1. V rozevírací nabídce IoT Hub vyberte centrum IoT, ke kterému je sada DevKit připojená.

   2. V rozevírací nabídce Zařízení vyberte svou sadu devkit.

   3. Vyberte jednu z dostupných šablon hlasových asistent.

   4. Zaškrtněte políčko Souhlasím s podmínkami & pro tento projekt .

   5. Klikněte na Vytvořit.

   

5. Po kliknutí na Vytvořit se na portálu otevře další okno pro vytvoření prostředku motivu řeči. V okně udělejte toto:

   1. V poli Předplatné vyberte své předplatné Azure.

   2. V rozevírací nabídce Skupina prostředků vyberte upřednostňovanou skupinu prostředků . Pokud chcete vytvořit novou skupinu prostředků pro použití s hlasovými asistent, klikněte v rozevírací nabídce na Vytvořit a postupujte podle pokynů.

   3. Do pole Předpona aplikace zadejte název. Bude to předpona vašeho projektu a název vlastního příkazu.

   4. V části Oblast vyberte oblast, do které chcete prostředky nasadit.

   5. V části Cenová úroveň predikce služby LUIS vyberte Standard (bezplatná úroveň nepodporuje žádosti o řeč).

   6. Klikněte na tlačítko Vytvořit. Prostředky pro aplikaci hlasového asistent se nasadí do vašeho předplatného.

      Upozornění

      NEZAVÍREJTE okno, dokud portál nedokončí nasazení prostředku. Předčasné zavření okna může vést k neočekávanému chování hlasového asistent. Po nasazení prostředku se zobrazí ukázka.

   

Testování hlasového asistent

Pokud chcete pracovat s hlasovými asistent, řekněte klíčové slovo následované příkazem. Když sluchátko rozpozná vaše klíčové slovo, zařízení vydá zvonkohru (což uslyšíte, jestli je připojený reproduktor nebo sluchátka) a indikátory LED budou blikat modře. Indikátory LED se během zpracování příkazu přepnou do závodní modré. Hlasová odpověď asistent na váš příkaz se vytiskne v textovém okně ukázky a vydá se slyšitelně prostřednictvím reproduktoru nebo náhlavní soupravy. Výchozí klíčové slovo (uvedené vedle vlastního klíčového slova) je nastaveno na "Počítač" a každá šablona obsahuje sadu kompatibilních příkazů, které umožňují interakci s virtuálními objekty v ukázkovém okně. Pokud například používáte ukázku pohostinství nebo zdravotní péče, řekněte "Počítač, zapnout televizi", abyste zapnuli virtuální televizi.

Ukázkové příkazy pro pohostinství a zdravotní péči

Ukázky zdravotní péče a pohostinství mají virtuální televizory, světla, žaluzie a termostaty, se kterými můžete pracovat. Podporují se následující příkazy (a další varianty):

• "Zapněte/vypněte světla."
• "Turn on/off the TV." (Zapnout nebo vypnout televizi)
• "Turn on/off the AC." (Zapněte/vypněte ac).
• "Open/close the blinds."
• "Nastavení teploty na X stupňů." (X je požadovaná teplota, např. 75.)

Ukázkové příkazy pro automobilový průmysl

Automobilová ukázka má virtuální sedadlo teplejší, rozmrazovač a termostat, se kterým můžete pracovat. Podporují se následující příkazy (a další varianty):

• "Turn on/off the rozmrazování."
• "Turn on/off the seat warmer."
• "Nastavení teploty na X stupňů." (X je požadovaná teplota, např. 75.)
• "Zvyšte/snižte teplotu o stupně Y."

Příkazy s ukázkami inventáře

Ukázka inventáře obsahuje výběr virtuálních modrých, žlutých a zelených polí, se kterými můžete pracovat, spolu s virtuální aplikací inventáře. Podporují se následující příkazy (a další varianty):

• "Add/remove X boxes" (Přidat nebo odebrat pole X). (X je počet polí, například 4.)
• "Order/ship X boxes" (Objednat/expedovat X boxes).
• "How many boxes are in stock?" (Kolik krabic je skladem? )
• "Count Y boxes." (Počet políček Y). (Y je barva polí, např. žlutá.)
• "Expedovat všechno na skladě."

Konfigurace klíčového slova

Klíčové slovo pro aplikaci hlasového asistent můžete přizpůsobit.

1. V ukázkovém okně klikněte na Změnit vedle vlastního klíčového slova .

2. Vyberte jedno z dostupných klíčových slov. Budete si moci vybrat z výběru ukázkových klíčových slov a všech vlastních klíčových slov, která jste vytvořili.

3. Klikněte na Uložit.

Vytvoření vlastního klíčového slova

Pro hlasovou aplikaci si můžete vytvořit vlastní klíčové slovo. Trénování vlastního klíčového slova se může dokončit během několika minut.

1. V horní části ukázkového okna klikněte na + Vytvořit vlastní klíčové slovo .

2. Zadejte požadované klíčové slovo, kterým může být jedno slovo nebo krátká fráze.

3. Vyberte prostředek služby Speech (v ukázkovém okně je uvedený vedle položky Vlastní příkaz a obsahuje předponu vaší aplikace).

4. Klikněte na Uložit.

Vytvoření vlastního příkazu

Portál také poskytuje funkce pro vytváření vlastních příkazů s existujícími prostředky služby Speech. "Vlastní příkaz" odkazuje na hlasovou asistent samotnou aplikaci, nikoli na konkrétní příkaz v rámci existující aplikace. Vytvořením vlastního příkazu vytváříte nový projekt řeči, který musíte dále vyvíjet v speech studiu.

Pokud chcete vytvořit nový vlastní příkaz v okně ukázky, klikněte v horní části stránky na + Vytvořit vlastní příkaz a udělejte toto:

1. Zadejte název vlastního příkazu.

2. Zadejte popis projektu (volitelné).

3. Vyberte upřednostňovaný jazyk.

4. Vyberte prostředek služby Speech.

5. Vyberte prostředek služby LUIS.

6. Vyberte prostředek pro vytváření luis nebo vytvořte nový.

7. Klikněte na Vytvořit.

Jakmile vytvoříte vlastní příkaz, musíte přejít do nástroje Speech Studio pro další vývoj. Pokud otevřete Speech Studio a vlastní příkaz v seznamu nevidíte, postupujte takto:

1. Na levém panelu nabídek v Azure Percept Studio klikněte v části Projekty AI na Řeč.

2. Vyberte kartu Příkazy .

   

3. Vyberte vlastní příkaz, který chcete vyvinout. Tím se projekt otevře v Speech Studiu.

   

Další informace o vývoji vlastních příkazů najdete v dokumentaci ke službě Speech.

Poradce při potížích

Hlasový asistent byl vytvořen, ale nereaguje na příkazy

Zkontrolujte kontrolky LED na desce Interposeru:

• Tři plná modrá světla označují, že hlasová asistent je připravená a čeká na klíčové slovo.
• Pokud je středový indikátor LED (L02) bílý, inicializace devkitu se dokončila a je potřeba ho nakonfigurovat pomocí klíčového slova.
• Pokud středový indikátor LED (L02) bliká bíle, inicializace zvukového somku ještě nedokončila. Dokončení inicializace může trvat několik minut.

Další informace o indikátorech LED najdete v článku o indikátorech LED.

Voice asistent nereaguje na vlastní klíčové slovo vytvořené v nástroji Speech Studio

K tomu může dojít, pokud je modul řeči zastaralý. Postupujte podle těchto kroků a aktualizujte modul služby Speech na nejnovější verzi:

1. Na panelu nabídek vlevo na domovské stránce Azure Percept Studio klikněte na Zařízení.

2. Vyhledejte a vyberte své zařízení.

   

3. V okně zařízení vyberte kartu Řeč .

4. Zkontrolujte verzi modulu řeči. Pokud je k dispozici aktualizace, zobrazí se vedle čísla verze tlačítko Aktualizovat .

5. Kliknutím na Aktualizovat nasadíte aktualizaci modulu řeči. Proces aktualizace obvykle trvá 2 až 3 minuty.

Vyčištění prostředků

Jakmile dokončíte práci s aplikací hlasového asistent, postupujte podle těchto kroků a vyčistěte prostředky služby Speech, které jste nasadili během tohoto kurzu:

1. V Azure Portal vyberte v levém panelu nabídek Skupiny prostředků nebo ji zadejte do panelu hledání.

   

2. Vyberte skupinu prostředků.

3. Vyberte všech šest prostředků, které obsahují předponu aplikace, a klikněte na ikonu Odstranit na horním panelu nabídek.
   

4. Odstranění potvrdíte tak, že do potvrzovacího pole zadáte ano , ověříte, že jste vybrali správné prostředky, a kliknete na Odstranit.

   

Upozornění

Tím se odeberou všechna vlastní klíčová slova vytvořená s prostředky řeči, které odstraňujete, a hlasová asistent ukázka už nebude fungovat.

Další kroky

Teď, když jste vytvořili řešení řeči bez kódu, zkuste vytvořit řešení pro zpracování obrazu bez kódu pro vaši sadu Azure Percept DK.