Настройка голосовых возможностей

В этой статье описаны функции, доступные в Copilot Studio для интерактивного голосового ответа с многоканальным взаимодействием для Customer Service.

Чтобы подготовить помощник к голосовым службам, см. раздел Интеграция голосового помощника с Многоканальным взаимодействием для Customer Service.

Обзор голосовых служб см. в разделе Использование интерактивного голосового ответа в помощниках.

Модальность речи и DTMF

Голосовой помощник отличается от помощника на основе чата. Голосовой помощник включает специальные системные темы голосовой связи для обработки голосовых сценариев. Помощник на основе чата использует текстовую модальность по умолчанию. Голосовой помощник использует модальность речи и DTMF. Эти две модальности несовместимы друг с другом.

Оптимизация для голосовой связи позволяет создавать голосовых помощников в различных модальностях и обеспечивает правильную разработку функций, связанных с речью.

Оптимизировать для голосового взаимодействия

Если вы не запустили своего помощника с шаблоном голосовой связи, вам необходимо включить параметр Оптимизация для голосовой связи в параметрах помощника.

1. Открыв помощник, перейдите в Параметры>Голос.

2. Выберите Оптимизировать для голоса. Параметр Использовать голосовую связь в качестве основного режима разработки также установлен по умолчанию.

Ваш помощник получает следующие обновления, когда вы включаете параметры Оптимизация для голосовой связи и Использовать голосовую связь в качестве основного режима разработки:

• Возможность создавать голосовые функции при переключении с текста на Речь и DTMF.
• Темы голосовой системы Обнаружение тишины, Речь не распознана и Неизвестное нажатие панели набора номера автоматически добавляются для обработки сценариев, связанных с речью.
• Повышение точности с помощью данных помощника (включено по умолчанию) повышает точность распознавания речи.
• В существующем потоке помощника, в том числе в теме Главное меню изменений нет, и можно начать разговор с сопоставленными триггерами DTMF.

Важно

• Параметр Оптимизация для голосовой связи изменяет только возможности голосовой разработки, а не настройки канала. Включите канал Телефония для обеспечения полной голосовой поддержки для помощника.
• Кроме того, параметр Оптимизация для голосовой связи в помощнике, который изначально не был настроен для голосовых функций, означает, что помощник не будет содержать тему Главное меню (предварительная версия). При необходимости нужно повторно создать эту тему.

Отключение оптимизации для голосовой связи

Вы можете отключить параметр Оптимизация для голоса при разработке помощника, если вы не включите канал телефонии. После того, как вы отключите параметр Оптимизация для голосовой связи, вы получите следующие изменения:

• Отсутствие разработки помощника для голосовых функций, таких как DTMF и вмешательство в разговор.
• По умолчанию используется модальность текст.
• Отсутствие улучшения распознавания речи, поскольку нет распознавания речи.
• Отсутствие системных тем голосовой связи или глобальной темы DTMF.

  Заметка

  В некоторых темах могут отображаться ошибки во время публикации, если в других темах упоминается отключенная тема DTMF.

• В потоке вашего помощника и настройках канала изменения отсутствуют, поскольку отключение оптимизации не отключает канал телефонии.
• Включение или отключение параметра оптимизации для голосовой связи не вступит в силу, пока вы не опубликуете своего помощника. Если помощник случайно включается или отключается и переключается между модальностями, у вас есть время это исправить.

Важно

Если ваши каналы телефонии включены, отключение параметра Оптимизация для голоса может нарушить работу вашего помощника, поскольку все триггеры DTMF автоматически отключаются.

Использование голосовой связи в качестве основного режима разработки

Модальность "Речь и DTMF" должна быть выбрана для каждого узла при разработке голосовых функций. Вы можете выбрать предпочтение для разработки помощника, например, использование голосовой связи в качестве основного режима разработки. Этот параметр гарантирует, что все поля ввода имеют нужную модальность. Если вы уже включили оптимизацию для голосовой связи, параметр Использовать голосовую связь в качестве основного режима разработки включается по умолчанию.

Доступность сообщений

Использование текстовой или речевой модальности может по-разному влиять на ваш канал.

Модальность текста	Модальность речи	Канал помощника с текстом и голосовой связью
Сообщение доступно	Пустое сообщение	Сообщение доступно
Пустое сообщение	Сообщение доступно	Сообщение недоступно

Настраиваемое автоматическое распознавание речи

Голосовые помощники для определенной области, например медицины или финансов, могут видеть, как пользователи говорят, используя финансовые термины или медицинский жаргон. Голосовому помощнику бывает трудно преобразовать из речи в текст некоторые термины и слова жаргона.

Чтобы обеспечить точное распознавание речевого ввода, вы можете улучшить распознавание речи:

1. Открыв помощник, выберите Параметры>Голос.

2. Выберите Повысить точность с помощью данных помощника, чтобы включить настроенные по умолчанию параметры автоматического распознавания речи в помощнике.

3. Нажмите Сохранить, чтобы подтвердить изменения.

4. Опубликуйте своего помощника, чтобы увидеть новые изменения.

Справка по голосовым параметрам на уровне помощника

Страница настроек Сведения о помощнике позволяет настроить тайм-ауты для различных функций, связанных с голосовой связью. Настройки, примененные на этой странице, становятся настройками по умолчанию для тем, созданных в вашем помощнике.

Чтобы внести изменения в параметры тайм-аута на уровне помощника:

1. При открытом помощнике выберите Параметры>Голос.

   

2. Выберите нужные параметры и измените настройки помощника по умолчанию.

3. Нажмите Сохранить, чтобы подтвердить изменения.

Параметры на уровне помощника

В следующей таблице перечислены все параметры и показано, как они связаны с параметрами на уровне узла.

Раздел уровня голосового помощника	Параметр	Description	Default value	Переопределение на уровне узла
DTMF	Таймаут между клавишами	Максимально допустимое время (в миллисекундах) ожидания следующего ввода DTMF с клавиатуры. Применяет многозначный ввод DTMF только в том случае, если пользователи не достигают максимальной длины ввода.	3000 мс	Узел вопроса со свойствами голосовой связи для Многозначного ввода DTMF
DTMF	Таймаут завершения	Максимальная продолжительность (миллисекунды) ожидания клавиши завершения DTMF. Ограничение применяется, когда пользователь достиг максимальной длины ввода и не нажал клавишу завершения. Применяется только к многозначному вводу DTMF. После того как истечет время ограничения и не будет получен завершающий ввод DTMF, помощник прекращает распознавание и возвращает результат до этого момента. Если установлено значение «продолжить без ожидания», помощник не будет ждать клавиши завершения. Помощник возвращается сразу после того, как пользователь вводит максимальную длину.	2000 мс	Узел вопроса со свойствами голосовой связи для Многозначного ввода DTMF
Обнаружение тишины	Таймаут обнаружения тишины	Максимально допустимая тишина (в миллисекундах) при ожидании данных, введенных пользователем. Ограничение применяется, когда помощник не обнаруживает никаких данных, введенных пользователем. По умолчанию установлено значение «без тайм-аута молчания». Помощник бесконечно ждет ввода пользователя. Параметр обнаружения тишины для голосовой связи фиксирует время после того, как голос заканчивает говорить.	Нет таймаута тишины	Узел вопроса со свойствами голосовой связи для Многозначного ввода DTMF Системная тема (свойства триггера обнаружения тишины) для настройки обнаружения тишины и таймаутов
Сбор речи	Таймаут окончания речевого фрагмента	Ограничение применяется, когда пользователь делает паузу во время или после речи. Если пауза превышает лимит времени ожидания, помощник считает, что пользователь закончил говорить. Максимальное значение тайм-аута окончания высказывания составляет 3 000 миллисекунд. Все, что превышает 3 000 мс, сокращается до 3 000 миллисекунд.	1500 мс	Узел вопроса со свойствами голосовой связи
Сбор речи	Таймаут распознавания речи	Определяет, сколько времени помощник отводит пользователю на ввод данных после того, как он начинает говорить. Значение по умолчанию: 12 000 миллисекунд (около 12 секунд). Отсутствие тайм-аута распознавания означает бесконечное время. Помощник повторяет вопрос. Если нет ответа, голосовое сообщение выходит за пределы тайм-аута распознавания речи.	12,000 мс	Узел вопроса со свойствами голосовой связи
Сообщения о задержке	Задержка отправки сообщения	Определяет, как долго помощник ожидает доставки сообщения о задержке после запуска запроса фоновой операции. Время устанавливается в миллисекундах.	500 мс	Свойства узла действия для длительной операции
Сообщения о задержке	Минимальное время воспроизведения	Сообщение о задержке воспроизводится в течение минимального промежутка времени, даже если фоновая операция завершается во время воспроизведения сообщения. Время устанавливается в миллисекундах.	5000 мс	Свойства режима действия для длительной операции
Речевая чувствительность	Конфиденциальность	Управляет тем, как система обеспечивает баланс между обнаружением речи и фонового шума. Уменьшите чувствительность в шумной обстановке, общественных местах и при использовании устройства громкой связи. Увеличьте чувствительность для тихих помещений, тихо говорящих пользователей или распознавания голосовых команд. Значение по умолчанию — 0,5.	0.5	Для этого элемента управления нет переопределений на уровне узлов.

Включение вмешательства

Включение вмешательства позволяет пользователям помощника прерывать работу помощника. Эта функция может быть полезна, если вам не нужно, чтобы помощник прослушивал все сообщение. Например, вызывающие абоненты могут уже знать пункты меню, поскольку слышали их раньше. Благодаря вмешательству помощник может ввести желаемый вариант, даже если помощник еще не закончил перечислять все варианты.

Сценарии отключения вмешательства

• Отключите вмешательство, если вы недавно обновили сообщение помощника или если сообщение о соответствии требованиям не должно прерываться.
• Отключите вмешательство для первого сообщения помощника, чтобы пользователи помощника были в курсе новой или важной информации.

Характеристики

• Вмешательство поддерживает прерывания на основе DTMF и голосовой связи от помощника.

• Вмешательство можно контролировать с каждым сообщением в одном пакете. Размещайте barge-in-disabled узлы последовательно перед каждым узлом, где разрешено вмешательство. В противном случае сообщение об отключении вмешательства рассматривается как сообщение о разрешении вмешательства.

  

  После завершения одной пакетной очереди автоматическая настройка вмешательства сбрасывается для следующего пакета и контролируется флагом вмешательства в каждом последующем сообщении. Вы можете разместить узлы отключения вмешательства, когда последовательность начнется заново.

Совет

Если имеются последовательные узлы сообщений, за которыми следует узел вопросов, голосовые сообщения для этих узлов определяются как один пакет. Один пакет начинается с узла сообщения и заканчивается на узле вопросов, который ожидает ввода пользователя.

Не отключайте вмешательство для длинных сообщений, особенно если вы ожидаете, что пользователи помощника будут часто взаимодействовать с помощником. Если ваш пользователь вашего помощника уже знает параметры меню, дайте ему возможность самостоятельно осуществлять навигацию.

Настройка вмешательства

1. Выбрав узел Сообщение или Вопрос, установите нужную модальность: Речь и DTMF.

2. Выберите значок Дополнительно (…) узла, а затем выберите Свойства.

   1. Для узлов типа Сообщение панель Свойства действия отправки открывается сбоку от холста разработки.

      Выберите Разрешить вмешательство.

   2. Для узлов типа Вопрос откроется панель Свойства вопроса; выберите Голосовая связь.

      В свойствах параметра Голосовая связь выберите Разрешить вмешательство.

3. Сохраните тему, чтобы зафиксировать изменения.

Настройка обнаружения тишины и таймаутов

Обнаружение тишины позволяет настроить продолжительность ожидания ввода пользователя от помощника и действия, которые он предпринимает, если ввод не получен. Обнаружение тишины наиболее полезно в ответ на вопрос на уровне узла или когда помощник ждет фразы-триггеры, чтобы начать новую тему.

Вы можете настроить тайм-ауты по умолчанию для тем.

Чтобы переопределить значения по умолчанию для узла, выполните следующие действия:

1. Выберите значок Дополнительно (…) узла, а затем выберите Свойства.

   Откроется панель Свойства вопроса.

2. Выберите Голосовая связь и измените следующие настройки:

   Параметр тайм-аута обнаружения тишины	Description
   Использование параметра помощника	Узел использует глобальный параметр для обнаружения тишины.
   Отключить для этого узла	Помощник бесконечно ждет ответа.
   Настроить в миллисекундах	Помощник ждет определенное время, прежде чем повторить вопрос.

Резервное действие

Некоторые варианты поведения можно настроить в качестве резервного действия:

• Сколько раз помощник должен повторить вопрос
• Что должно быть в сообщении с повторным запросом
• Что должен делать помощник после заданного количества повторов

Речевой ввод

Для речевого ввода можно указать следующее:

• Тайм-аут окончания речевого фрагмента: как долго помощник будет ждать после того, как пользователь закончит говорить
• Тайм-аут распознавания речи: сколько времени помощник дает пользователю, когда он начинает отвечать

Чтобы настроить поведение обнаружения тишины, когда помощник ожидает фразы-триггера, измените настройки в системной теме При тишине.

Добавление сообщение о задержке для длительных операций

В случае длительных серверных операций ваш помощник может отправлять пользователям сообщения, уведомляющие их о длительности процессов. Помощники в канале обмена сообщениями также могут отправлять сообщение о задержке.

Воспроизведения звука сообщения о задержке	Сообщение о задержке в чате
Продолжает выполнять цикл до завершения операции.	Отправляется только один раз при достижении указанного времени задержки.

В Copilot Studio ваш помощник может повторить сообщение после запуска потока Power Automate:

1. Добавьте узел Действие, который запускает поток.

2. Выберите значок Дополнительно (…) узла, а затем выберите Свойства. Откроется панель Свойства действия.

3. Выберите Отправка сообщений.

4. В разделе Сообщение введите текст сообщения, которое должен сказать помощник. Вы можете использовать SSML для изменения звука сообщения. Помощник повторяет сообщение до тех пор, пока поток не завершится.

Вы можете настроить продолжительность ожидания помощника перед повторением сообщения в разделе Задержка. Вы можете установить минимальное время ожидания, даже если поток завершится.

Настройка завершения звонка

Чтобы настроить помощника на завершение вызова и разговора, добавьте новый узел (+), затем выберите управление темой>завершение разговора.

Форматирование синтеза речи с помощью SSML

Вы можете использовать язык разметки синтеза речи (SSML), чтобы изменить звучание помощника, когда он читает сообщения вслух. Например, вы можете изменить высоту или частоту произносимых слов, скорость и громкость.

SSML использует теги для заключения текста, который вы хотите изменить, аналогично HTML. Вы можете использовать следующие теги в Power Virtual Agents:

Тег SSML	Description	Ссылка на документацию о голосовой службе
<audio src="_URL to an audio file_"/>	Добавьте URL-адрес аудиофайла в тег. Файл должен быть доступен пользователю помощника.	Добавление записанного звука
<break />	Вставляйте паузы или разрывы между словами. Вставьте параметры прерывания в тег.	Добавление прерывания
<emphasis> Текст, который вы хотите изменить</emphasis>	Добавляйте уровни ударения к словам или фразам. Добавьте параметры выделения в открывающем теге. Добавьте закрывающий тег после текста, который вы хотите изменить.	Настройка параметров выделения
<prosody> Текст, который вы хотите изменить</prosody>	Укажите изменения высоты тона, контура, диапазона, скорости и громкости. Добавьте параметры интонации в открывающем теге. Добавьте закрывающий тег после текста, который вы хотите изменить.	Настройка параметров интонации

Поиск и использование тега

SSML использует теги для заключения текста, который вы хотите изменить, подобно HTML.

Вы можете использовать следующие теги в Copilot Studio:

1. Выбрав узел Сообщение или Вопрос, измените режим на Речь и DTMF.

2. Выберите меню Теги SSL и выберите тег.

   Окно сообщения заполняется тегом. Если у вас уже есть текст в окне сообщения, код тега добавляется в конец вашего сообщения.

3. Окружите текст, который хотите изменить, открывающим и закрывающим тегами. Вы можете объединить несколько тегов и настроить отдельные части сообщения с помощью отдельных тегов.

Совет

Вы можете вручную ввести теги SSML, которые не отображаются во вспомогательном меню. Чтобы узнать больше о других тегах, которые можно использовать, см. раздел Улучшение синтеза с помощью языка разметки синтеза речи.

Переадресация звонка на агента или на внешний номер телефона

Вы можете попросить помощника перевести вызов на внешний номер телефона. В Copilot Studio мы поддерживаем слепую передачу на телефонный номер PSTN и номер прямой маршрутизации.

Чтобы перевести звонок на внешний номер телефона, выполните следующие действия:

1. В теме, которую вы хотите изменить, добавьте новый узел (+). В меню узла выберитеУправление темами, а затем Передача разговоров.

2. В разделе Тип переадресации выберите Переадресация на внешний номер телефона и введите номер телефона для переадресации.

3. (Необязательно) добавьте заголовок SIP UUI в звонок.

   Этот заголовок представляет собой строку пар key=value без пробелов и специальных символов, отображаемую для чтения внешними системами.

   1. Выберите значок Дополнительно (…) узла, а затем выберите Свойства. Откроется панель Свойства передачи разговора.

   2. В разделе Заголовок SIP UUI введите информацию, которую вы хотите отправить при переадресации вызова. Переменные не поддерживаются при переадресации на внешний номер телефона.

   Внимание

   Отправляются только первые 128 символов строки.

   В заголовке допускаются только цифры, буквы, знаки равенства (=) и точки с запятой (;). Все остальные символы, включая пробелы, фигурные и квадратные скобки, а также формулы, не поддерживаются и могут привести к сбою переадресации.

Совет

Добавьте + в свой номер телефона для соответствующего кода страны.

Выходная переадресация с помощью SIP UUI для целевого телефонного номера должна использовать прямую маршрутизацию. Номера телефонов Телефонной сети общего пользования (PSTN) не поддерживают передачу заголовков SIP UUI.

Чтобы перейти к агенту, см. раздел Явные триггеры.

Использование переменных голосовой связи

Copilot Studio поддерживает заполнение переменных. Вы можете использовать готовые переменные или создавать собственные.

Заметка

• Дополнительные сведения о том, как использовать и создавать переменные в Copilot Studio, см. в разделе Работа с переменными.
• Информацию о дополнительных переменных действия и разговора, доступных для помощников с поддержкой голоса, см. в разделе Переменные для помощников с поддержкой голоса.

Голосовой помощник в Copilot Studio поддерживает контекстные переменные. Эти переменные помогут вам интегрировать разговоры помощника с Многоканальным взаимодействием для Customer Service при переадресации вызова.

Дополнительные сведения о контекстных переменных в Многоканальном взаимодействии для Customer Service см. в разделе Контекстные переменные для ботов Copilot Studio.

Эта интеграция поддерживает следующие сценарии со следующими переменными при переадресации:

Переменная	Тип	Описание
System.Activity.From.Name	String	Идентификатор вызывающего абонента помощника
System.Activity.Recipient.Name	String	Номер, используемый для выполнения звонка или подключения к помощнику
System.Conversation.SipUuiHeaderValue	String	Значение заголовка SIP при переадресации через телефонный номер прямой маршрутизации
System.Activity.UserInputType	String	Использовал ли пользователь помощника DTMF или речь в разговоре
System.Activity.InputDTMFKey	String	Необработанный ввод DTMF пользователя помощника
System.Conversation.OnlyAllowDTMF	Логический	Голосовая связь игнорирует речевой ввод, если установлено значение true
System.Activity.SpeechRecognition.Confidence	Число	Значение достоверности (от 0 до 1) из последнего события распознавания речи
System.Activity.SpeechRecognition.MinimalFormattedText	String	Результаты распознавания речи (в виде необработанного текста) до того как Copilot Studio применил соответствующую модель распознавания естественного языка

Заметка

• Публикация помощника с большими фразами-триггерами и размером сущности занимает больше времени.
• Если несколько пользователей одновременно публикуют один и тот же помощник, ваше действие публикации блокируется. Вам необходимо повторно опубликовать помощника после того, как другие закончат изменения существующего помощника.

Чтобы узнать больше об основах публикации, см. раздел Ключевые понятия: публикация и развертывание помощника.