Создание голосового помощника в Azure Percept Studio без кода

Важно!

Прекращение поддержки Azure Percept DK.

Обновление 22 февраля 2023 г.: обновление встроенного ПО для периферийных компонентов Percept DK Vision and Audio (также известных как Vision and Audio SOM) теперь доступно здесь и позволит вспомогательным компонентам продолжать работу после даты прекращения использования.

Общедоступная предварительная версия Azure Percept будет развиваться для поддержки новых пограничных платформ устройств и возможностей разработчиков. В рамках этой эволюции azure Percept DK и аудиокомпоненты и связанные службы Azure для Percept DK будут выведены из эксплуатации 30 марта 2023 г.

Начиная с 30 марта 2023 г. Azure Percept DK и аудиоспись больше не будут поддерживаться службами Azure, включая Azure Percept Studio, обновления ОС, обновления контейнеров, просмотр веб-потока и интеграцию Пользовательское визуальное распознавание. Корпорация Майкрософт больше не будет предоставлять поддержку по успешному выполнению клиентов и связанные с ней вспомогательные услуги. Дополнительные сведения см. в записи блога Уведомление о прекращении поддержки.

В этом учебнике вы создадите голосовой помощник из шаблона для использования с Azure Percept DK и Azure Percept Audio. Демоверсия голосового помощника выполняется в Azure Percept Studio и содержит набор виртуальных объектов, управляемых голосом. Для управления объектом следует сказать ключевое слово (это может быть слово или короткая фраза), которое активирует устройство, а затем произнести команду. Каждый шаблон реагирует на определенный набор команд.

В этом руководстве рассматривается настройка устройств, создание голосового помощника и необходимых ресурсов служб распознавания речи, тестирование голосового помощника, настройка ключевого слова и создание пользовательских ключевых слов.

Предварительные требования

• Azure Percept DK (DevKit).
• Azure Percept Audio.
• Динамик или наушники, которые можно подключить к аудиовходу 3,5 мм (необязательно)
• Подписка Azure.
• Выполненная настройка Azure Percept DK. Предполагается, что вы уже подключили DevKit к сети Wi-Fi, создали центр Интернета вещей и подключили к нему DevKit.
• Настройка Azure Percept Audio

Создание голосового помощника с помощью доступного шаблона

1. Перейдите в Azure Percept Studio.

2. Откройте вкладку Demos & tutorials (Демоверсии и учебники).

   

3. Щелкните Try out voice assistant templates (Попробовать шаблоны голосового помощника) в разделе Speech tutorials and demos (Учебники и демоверсии для распознавания речи). В правой части экрана откроется окно.

4. Выполните в нем следующие действия.

   1. Из раскрывающегося меню IoT Hub (Центр Интернета вещей) выберите центр Интернета вещей, к которому подключено устройство DevKit.

   2. Из раскрывающегося меню Device (Устройство) выберите свое устройство DevKit.

   3. Выберите один из доступных шаблонов голосового помощника.

   4. Установите флажок I agree to terms & conditions for this project (Я принимаю условия для этого проекта).

   5. Нажмите кнопку Создать.

   

5. После нажатия кнопки Create (Создать) на портале откроется новое окно для создания ресурса темы речи. Выполните в нем следующие действия.

   1. Выберите свою подписку Azure в поле Subscription (Подписка).

   2. Выберите предпочитаемую группу ресурсов из раскрывающегося меню Resource group (Группа ресурсов). Если вы хотите создать новую группу ресурсов для голосового помощника, щелкните Create (Создать) в раскрывающемся меню и следуйте инструкциям на экране.

   3. В поле Application prefix (Префикс приложения) введите имя. Это будет префикс для проекта и пользовательской команды.

   4. В разделе Region (Регион) выберите регион для развертывания ресурсов.

   5. В разделе LUIS prediction pricing tier (Ценовая категория службы прогнозирования LUIS) выберите Standard (Стандартный) (ценовая категория "Бесплатный" не поддерживает голосовые запросы).

   6. Нажмите кнопку Создать . Ресурсы для приложения голосового помощника будут развернуты в вашей подписке.

      Предупреждение

      НЕ закрывайте это окно, пока портал не завершит развертывание ресурса. Преждевременное закрытие данного окна может привести к непредвиденному поведению голосового помощника. После развертывания ресурса отобразится демоверсия.

   

Тестирование голосового помощника

Чтобы взаимодействовать с голосовым помощником, произнесите ключевое слово, а затем — команду. Когда Ear SoM распознает ключевое слово, устройство издаст звуковой сигнал (который можно услышать, если подключены динамики или наушники), а индикаторы замигают синим цветом. Индикаторы будут быстро мигать синим цветом, пока команда обрабатывается. Ответ голосового помощника на вашу команду будет выведен в виде текста в окне демоверсии и воспроизведен через динамики или наушники. В качестве ключевого слова по умолчанию (приведенного рядом с пользовательским ключевым словом) задано слово "Computer", и каждый шаблон имеет набор совместимых команд для взаимодействия с виртуальными объектами в окне демоверсии. Например, если вы используете демоверсию для гостиничного бизнеса или здравоохранения, скажите "Computer, turn on TV", чтобы включить виртуальный телевизор.

Команды демоверсий для гостиничного бизнеса и здравоохранения

В демоверсиях для гостиничного бизнеса и здравоохранения есть виртуальные телевизоры, светильники, жалюзи и термостаты, с которыми вы можете взаимодействовать. Поддерживаются следующие команды (и дополнительные варианты):

• "Turn on/off the lights" (Включить или выключить свет).
• "Turn on/off the TV" (Включить или выключить телевизор).
• "Turn on/off the AC" (Включить или выключить кондиционер).
• "Open/close the blinds" (Открыть или закрыть жалюзи).
• "Установите температуру X градусов". (X — это требуемая температура, например 75.)

Команды демоверсии для автомобиля

В демоверсии для автомобиля есть виртуальный обогреватель сидений, стеклообогреватель и термостат, с которыми можно взаимодействовать. Поддерживаются следующие команды (и дополнительные варианты):

• "Turn on/off the defroster" (Включить или выключить стеклообогреватель).
• "Turn on/off the seat warmer" (Включить или выключить обогреватель сидений).
• "Установите температуру X градусов". (X — это требуемая температура, например 75.)
• "Increase/decrease the temperature by Y degrees" (Поднять или понизить температуру на Y градусов).

Команды демоверсии для инвентаризации

В демоверсии для инвентаризации есть виртуальные синие, желтые и зеленые коробки для взаимодействия с приложением виртуальной инвентаризации. Поддерживаются следующие команды (и дополнительные варианты):

• "Добавление и удаление полей X". (X — это количество полей, например 4.)
• "Order/ship X boxes" (Заказать или отправить X коробок).
• "How many boxes are in stock?" (Сколько коробок в наличии?)
• "Число Y коробок". (Y — это цвет полей, например желтый.)
• "Ship everything in stock" (Отправить все, что есть в наличии).

Настройка ключевого слова

Можно настроить ключевое слово для приложения голосового помощника.

1. Щелкните Change (Изменить) рядом с полем Custom Keyword (Пользовательское ключевое слово) в окне демоверсии.

2. Выберите одно из доступных ключевых слов. Вы сможете выбрать любое из предложенных ключевых слов и всех созданных вами пользовательских ключевых слов.

3. Выберите команду Сохранить.

Создание пользовательского ключевого слова

Можно создать собственное ключевое слово для голосового приложения. Обучение вашему пользовательскому ключевому слову может занять всего несколько минут.

1. Щелкните + Create Custom Keyword (+ Создать пользовательское ключевое слово) в верхней части окна демоверсии.

2. Введите нужное ключевое слово (отдельное слово или короткую фразу).

3. Выберите элемент Speech resource (Ресурс речи), который расположен возле пункта Custom Command (Пользовательская команда) в окне демоверсии и содержит префикс приложения.

4. Выберите команду Сохранить.

Создание пользовательской команды

Портал также предоставляет функциональные возможности для создания пользовательских команд с использованием существующих ресурсов службы "Речь". "Пользовательская команда" используется в самом приложении речевого помощника, а не в существующем приложении. Создавая пользовательскую команду, вы создаете новый проект для распознавания речи, который требует дополнительной разработки в Speech Studio.

Чтобы создать пользовательскую команду из окна демоверсии, щелкните + Create Custom Command (+ Создать пользовательскую команду) в верхней части страницы и выполните следующие действия.

1. Введите имя пользовательской команды.

2. Введите описание проекта (необязательно).

3. Выберите предпочитаемый язык.

4. Выберите ресурс службы "Речь".

5. Выберите ресурс LUIS.

6. Выберите имеющийся ресурс разработки LUIS или создайте новый.

7. Нажмите кнопку Создать.

После создания пользовательской команды необходимо перейти в Speech Studio для дальнейшей разработки. Если вы открыли Speech Studio и не видите свою пользовательскую команду в списке, выполните следующие действия.

1. На панели меню слева в Azure Percept Studio щелкните Speech (Речь) в разделе AI Projects (Проекты ИИ).

2. Выберите вкладку Commands (Команды).

   

3. Выберите пользовательскую команду, которую вы хотите разработать. Откроется проект в Speech Studio.

   

Дополнительные сведения о разработке пользовательских команд см. в документации по службе "Речь".

Устранение неполадок

Голосовой помощник был создан, но не отвечает на команды

Проверьте светодиодные индикаторы на доске высветки.

• Три горящих синих индикатора означают, что голосовой помощник готов к работе и ожидает ключевое слово.
• Если центральный индикатор (L02) горит белым цветом, то инициализация устройства DevKit завершена и его необходимо настроить с помощью ключевого слова.
• Если центральный светодиодный индикатор (L02) мигает белым, инициализация модели Audio SoM еще не завершилась. Инициализация может занять несколько минут.

Дополнительные сведения о светодиодных индикаторах см. в статье об индикаторах.

Голосовой помощник не реагирует на пользовательское ключевое слово, созданное в Speech Studio

Это может произойти, если модуль распознавания речи устарел. Выполните следующие действия, чтобы обновить модуль распознавания речи до последней версии.

1. Щелкните Devices (Устройства) на панели меню слева на домашней странице Azure Percept Studio.

2. Найдите и выберите свое устройство.

   

3. В окне устройства выберите вкладку Speech (Речь).

4. Проверьте версию модуля распознавания речи. Если доступно обновление, рядом с номером версии вы увидите кнопку Update (Обновить).

5. Нажмите кнопку Update (Обновить), чтобы развернуть обновление модуля распознавания речи. Процесс обновления обычно занимает 2–3 минуты.

Очистка ресурсов

Завершив работу с приложением голосового помощника, выполните следующие действия, чтобы очистить ресурсы службы "Речь", развернутые в ходе работы с этим учебником.

1. На портале Azure выберите Группы ресурсов на панели меню слева или введите "Группы ресурсов" в строке поиска.

   

2. Выберите нужную группу ресурсов.

3. Выберите все шесть ресурсов, которые содержат ваш префикс приложения, и щелкните значок Удалить на панели меню вверху.
   

4. Чтобы подтвердить удаление, в поле подтверждения введите yes (Да), убедитесь, что выбраны правильные ресурсы, и нажмите кнопку Удалить.

   

Предупреждение

Будут удалены все пользовательские ключевые слова, созданных с помощью удаляемых ресурсов службы "Речь", и демоверсия голосового помощника больше не будет работать.

Next Steps

Теперь, когда вы создали решение для распознавания речи без написания кода, попробуйте создать решение для визуального распознавания без написания кода для Azure Percept DK.