Создание пользовательского текста для аватара речи

Начало работы с пользовательским текстом для аватара речи — это простой процесс. Все это занимает несколько видео клипов вашего актера. Если вы хотите обучить пользовательский голос для одного и того же актера, это можно сделать отдельно.

Примечание.

Доступ к пользовательскому аватару ограничен на основе критериев соответствия и использования. Запросите доступ в форме приема.

Необходимые компоненты

Вам нужен ресурс Azure AI Foundry в одном из регионов, поддерживающих обучение пользовательского аватара. Настраиваемый аватар поддерживает только стандартные (S0) ресурсы AI Foundry или Speech.

Вам нужна видеозапись таланта считывания заявления согласия, подтверждаюющего использование их изображения и голоса. Вы отправляете это видео при настройке таланта аватара. Дополнительные сведения см. в разделе "Добавление согласия таланта аватара".

Вам нужны видеозаписи вашего аватара таланта в качестве обучающих данных. Вы отправляете эти видео при подготовке обучающих данных. Дополнительные сведения см. в разделе "Добавление обучающих данных".

Шаг 1. Начало точной настройки

Совет

Не смешивайте данные для разных аватаров в одной рабочей области тонкой настройки. Каждый аватар должен иметь собственное пространство для тонкой настройки.

Чтобы настроить настраиваемый аватар, выполните следующие действия.

1. Перейдите к проекту Azure AI Foundry на портале Azure AI Foundry. Если вам нужно создать проект, см. статью "Создание проекта Azure AI Foundry".

2. Выберите Тонкая настройка на левой панели.

3. Выберите "Настройка службы ИИ"> и "+ Настроить".

   

4. В мастере установки выберите пользовательский аватар (аватар для настройки речи).

5. Выберите Далее.

6. Следуйте инструкциям, предоставленным визардом, чтобы создать пространство для тонкой настройки.

Шаг 2. Добавление согласия таланта аватара

Талант аватара — это отдельный или целевой актер, видео которого записывается и используется для создания нейронных моделей аватаров. Вы должны получить достаточное согласие в соответствии со всеми соответствующими законами и правилами от таланта аватара, чтобы использовать их видео для создания пользовательского текста для аватара речи.

Вы должны предоставить видеофайл с записанным заявлением от вашего таланта аватара, признавая использование их изображения и голоса. Корпорация Майкрософт проверяет, соответствует ли содержимое записи предварительно определенному скрипту, предоставленному корпорацией Майкрософт. Корпорация Майкрософт сравнивает лицо аватара таланта в записанном файле инструкции видео с случайными видео из наборов данных обучения, чтобы убедиться, что аватар талант в видеозаписях и аватар талант в видеофайлу инструкции совпадает с тем же человеком.

• Если вы хотите создать голосовую синхронизацию для аватара в процессе его обучения, создается настраиваемый голос, который напоминает голос вашего аватара, вместе с пользовательским аватаром. Голос используется исключительно с указанным аватаром. Заявление о согласии должно включать как настраиваемый аватар, так и голосовую синхронизацию для аватара. Пример инструкции согласия для пользовательского аватара с голосовой синхронизацией см. в файле verbal-statement-voice-sync-for-avatar-all-locales.txt в репозитории GitHub azure-Samples/cognitive-services-speech-sdk .
• Если вы не создаёте синхронизацию голоса для аватара, обучается только пользовательский аватар, и заявление согласия должно отражать указанный объём. Пример инструкции согласия только для пользовательского аватара см. в файле verbal-statement-all-locales.txt в репозитории GitHub azure-Samples/cognitive-services-speech-sdk .

Дополнительные сведения о видеозаписи согласия см. в разделах "Как записывать примеры видео " и "Раскрытие информации о таланте для аватаров.

Чтобы добавить профиль таланта аватара и отправить заявление о согласии в проекте, выполните следующие действия:

1. Войдите на портал Azure AI Foundry.

2. Выберите Тонкая настройка в левой области и выберите Тонкая настройка службы ИИ.

3. Выберите настраиваемую задачу настройки аватара (по имени модели), которую вы начали, как описано в предыдущем разделе.

4. Выберите Настроить талант аватара>Загрузить видео с согласием.

5. На странице видео о отправке согласия следуйте инструкциям, чтобы отправить аватар талант согласия видео, записанное заранее.

   • Выберите тип аватара для сборки. Создайте голосовую синхронизацию для аватара, которая будет звучать как его голосовой талант вместе с моделью аватара, или создайте аватар без голосовой синхронизации. Возможность создания голосовой синхронизации для аватара доступна только в регионах Юго-Восточной Азии, Западной Европы и Западной части США 2.
   • Выберите язык словесного согласия, записанного талантом аватара.
   • Введите имя аватара таланта и название вашей компании на том же языке, что и записанная инструкция.
     • Имя аватара таланта должно быть именем человека, который записал заявление согласия.
     • Имя компании должно совпадать с именем компании, которая была записана в записанном заявлении.
   • Вы можете отправить данные из локальных файлов или из общего хранилища с помощью BLOB-объектов Azure.

6. Выберите локальные файлы на компьютере или введите URL-адрес хранилища BLOB-объектов Azure, в котором хранятся данные.

7. Выберите Далее.

8. Просмотрите сведения о отправке и нажмите кнопку "Отправить".

После успешной отправки согласия аватара вы можете продолжить обучение пользовательской модели аватара.

Шаг 3. Добавление обучающих данных

Служба "Речь" использует данные обучения для создания уникального аватара, настроенного для сопоставления внешнего вида человека в записях. После обучения модели аватара можно начать синтез видео аватара или использовать его для динамических чатов в приложениях.

Все отправляемые данные должны соответствовать требованиям к выбранному типу данных. Чтобы служба "Речь" точно обрабатывает данные, важно правильно отформатировать данные перед отправкой. Чтобы убедиться, что данные правильно отформатированы, см . требования к данным.

Отправка данных

Когда вы будете готовы отправить данные, перейдите на вкладку "Подготовка обучающих данных ", чтобы добавить данные.

Чтобы отправить обучающие данные, выполните следующие действия.

1. Войдите на портал Azure AI Foundry.
2. Выберите Тонкая настройка в левой области и выберите Тонкая настройка службы ИИ.
3. Выберите настраиваемую задачу настройки аватара (по имени модели), которую вы начали, как описано в предыдущем разделе.
4. Выберите Подготовить обучающие данные>Загрузить данные.
5. В мастере отправки данных выберите тип данных и нажмите кнопку "Далее". Дополнительные сведения о типах данных (включая Naturally Speaking, Silent Status, жест и статус 0) см. какие видеоролики записывать.
6. Выберите локальные файлы на компьютере или введите URL-адрес хранилища BLOB-объектов Azure, в котором хранятся данные.
7. Выберите Далее.
8. Просмотрите сведения о отправке и нажмите кнопку "Отправить".

Файлы данных автоматически проверяются при выборе кнопки "Отправить". Проверка данных включает ряд проверок видеофайлов, чтобы проверить их формат, размер и общий том. Если возникнут ошибки, исправьте их и повторите отправку.

После отправки данных вы можете проверить обзор данных, указывающий, достаточно ли предоставить достаточно данных для начала обучения.

Шаг 4. Обучение модели аватара

Внимание

Все обучающие данные в проекте включены в обучение. Качество модели зависит от предоставленных данных, и вы отвечаете за качество видео. Убедитесь, что вы записываете обучающие видео в соответствии с руководством по записи примеров видео.

Чтобы создать настраиваемый аватар на портале Azure AI Foundry, выполните следующие действия для одного из следующих методов:

1. Войдите на портал Azure AI Foundry.

2. Выберите Тонкая настройка в левой области и выберите Тонкая настройка службы ИИ.

3. Выберите настраиваемую задачу настройки аватара (по имени модели), которую вы начали, как описано в предыдущем разделе.

4. Выберите "Обучение модели>+ Обучение модели".

5. Введите имя, чтобы определить модель. Тщательно выбирайте имя. Имя модели используется в качестве имени аватара в запросе синтеза с помощью входных данных ПАКЕТА SDK и SSML. Разрешены только буквы, цифры, дефисы и символы подчеркивания. Используйте уникальное имя для каждой модели.

   Внимание

   Имя модели аватара должно быть уникальным в пределах одного ресурса службы "Речь" или "Службы искусственного интеллекта".

6. Выберите "Обучение ", чтобы начать обучение модели.

Длительность обучения зависит от того, сколько данных вы используете. Обычно для обучения пользовательского аватара в среднем требуется 20–40 вычислительных часов. Проверьте примечание о ценах на обучение.

Копирование пользовательской модели аватара в другой проект (необязательно)

Настраиваемое обучение аватара в настоящее время доступно только в некоторых регионах. После обучения вашей модели аватара в поддерживаемом регионе его можно скопировать в ресурс служб ИИ для распознавания речи в другом регионе по мере необходимости. Дополнительные сведения см. в сносках в таблице регионов.

Примечание.

Вы можете скопировать только голосовую синхронизацию для модели аватара в регионы, поддерживающие голосовую синхронизацию для функции аватара, которые являются теми же регионами, которые поддерживают личный голос.

Чтобы скопировать пользовательскую модель аватара в другой проект:

1. На вкладке "Обучение модели " выберите аватарную модель, которую требуется скопировать, а затем выберите " Копировать в проект".
2. Выберите подписку, регион, ресурс служб ИИ для службы распознавания речи и проект, в который нужно скопировать модель. У вас должен быть ресурс служб ИИ для речи и проект в целевом регионе, в противном случае вам необходимо сначала создать их.
3. Нажмите кнопку Отправить, чтобы скопировать модель.

После копирования модели вы увидите уведомление на портале Azure AI Foundry.

Перейдите к проекту, в котором вы скопировали модель для развертывания копии модели.

Шаг 5. Развертывание и использование модели аватара

После успешного создания и обучения модели аватара вы развернете ее в конечной точке.

Чтобы развернуть аватар, выполните приведенные действия.

1. Войдите на портал Azure AI Foundry.

2. Выберите Тонкая настройка в левой области и выберите Тонкая настройка службы ИИ.

3. Выберите настраиваемую задачу настройки аватара (по имени модели), которую вы начали, как описано в предыдущем разделе.

4. Выберите Развернуть модель>Развернуть модель.

5. Выберите модель, которую нужно развернуть.

6. Выберите "Развернуть" , чтобы начать развертывание.

   Внимание

   При развертывании модели вы платите за непрерывное время работы конечной точки независимо от взаимодействия с этой конечной точкой. Проверьте ценовую заметку о том, как взимается плата за развертывание модели. Вы можете удалить развертывание, если модель не используется для уменьшения расходов и экономии ресурсов.

После развертывания пользовательского аватара он доступен для использования на портале Azure AI Foundry или через API:

• Аватар отображается в списке аватаров, предназначенных для преобразования текста в речь на портале Azure AI Foundry.
• Аватар отображается в списке аватаров живых чатов с помощью портала Azure AI Foundry.
• Вы можете вызвать аватар из входных данных ПАКЕТА SDK и SSML, указав имя модели аватара. Дополнительные сведения см. в свойствах аватара.

Удаление развертывания

Чтобы удалить развертывание, выполните следующие действия.

1. Войдите на портал Azure AI Foundry.
2. Выберите Тонкая настройка в левой области и выберите Тонкая настройка службы ИИ.
3. Выберите настраиваемую задачу настройки аватара (по имени модели), которую вы начали, как описано в предыдущем разделе.
4. Выберите развертывание на странице "Развертывание модели ". Модель активно размещена, если состояние выполнено успешно.
5. Нажмите кнопку "Удалить развертывание " и подтвердите удаление, чтобы удалить размещение.

Совет

После удаления развертывания вы больше не платите за его размещение. Удаление развертывания не приводит к удалению модели. Если вы хотите снова использовать модель, создайте новое развертывание.

Начало работы с пользовательским текстом для аватара речи — это простой процесс. Все это занимает несколько видео клипов вашего актера. Если вы хотите обучить пользовательский голос для одного и того же актера, это можно сделать отдельно.

Примечание.

Доступ к пользовательскому аватару ограничен на основе критериев соответствия и использования. Запросите доступ в форме приема.

Необходимые компоненты

Вам нужен ресурс Azure AI Foundry в одном из регионов, поддерживающих обучение пользовательского аватара. Настраиваемый аватар поддерживает только стандартные (S0) ресурсы AI Foundry или Speech.

Вам нужна видеозапись таланта считывания заявления согласия, подтверждаюющего использование их изображения и голоса. Вы отправляете это видео при настройке таланта аватара. Дополнительные сведения см. в разделе "Добавление согласия таланта аватара".

Вам нужны видеозаписи вашего аватара таланта в качестве обучающих данных. Вы отправляете эти видео при подготовке обучающих данных. Дополнительные сведения см. в разделе "Добавление обучающих данных".

Шаг 1. Создание пользовательского проекта аватара

Чтобы создать пользовательский проект аватара, выполните следующие действия.

1. Войдите в Speech Studio и выберите подписку и ресурс "Речь".

2. Выберите настраиваемый аватар (предварительная версия).

   

3. Нажмите кнопку +Создать проект.

4. Выполните инструкции, предлагаемые мастером создания проекта.

   Совет

   Не смешивайте данные для разных аватаров в одном проекте. Всегда создавайте новый проект для нового аватара.

5. Выберите новый проект по имени. Затем вы увидите эти пункты меню на левой панели: настройка таланта аватара, подготовка обучающих данных, обучение модели и развертывание модели.

   

Шаг 2. Добавление согласия таланта аватара

Талант аватара — это отдельный или целевой актер, видео которого записывается и используется для создания нейронных моделей аватаров. Вы должны получить достаточное согласие в соответствии со всеми соответствующими законами и правилами от таланта аватара, чтобы использовать их видео для создания пользовательского текста для аватара речи.

Вы должны предоставить видеофайл с записанным заявлением от вашего таланта аватара, признавая использование их изображения и голоса. Корпорация Майкрософт проверяет, соответствует ли содержимое записи предварительно определенному скрипту, предоставленному корпорацией Майкрософт. Корпорация Майкрософт сравнивает лицо аватара таланта в записанном файле инструкции видео с случайными видео из наборов данных обучения, чтобы убедиться, что аватар талант в видеозаписях и аватар талант в видеофайлу инструкции совпадает с тем же человеком.

• Если вы хотите создать голосовую синхронизацию для аватара в процессе его обучения, создается настраиваемый голос, который напоминает голос вашего аватара, вместе с пользовательским аватаром. Голос используется исключительно с указанным аватаром. Заявление о согласии должно включать как настраиваемый аватар, так и голосовую синхронизацию для аватара.
• Если вы не создаёте синхронизацию голоса для аватара, обучается только пользовательский аватар, и заявление согласия должно отражать указанный объём.

Вы можете найти словесную инструкцию согласия на нескольких языках с помощью репозитория GitHub Azure-Samples/cognitive-services-speech-sdk . Язык устного заявления должен совпадать с языком записи. См. также раскрытие информации о таланте голоса.

Дополнительные сведения о записи видео согласия см. в разделе "Как записать примеры видео".

Чтобы добавить профиль таланта аватара и отправить заявление о согласии в проекте, выполните следующие действия:

1. Войдите в службу Speech Studio.

2. Выберите настраиваемый аватар ваше имя >> талант>отправки согласия видео.

3. На странице видео о отправке согласия следуйте инструкциям, чтобы отправить аватар талант согласия видео, записанное заранее.

   • Выберите тип аватара для сборки. Создайте голосовую синхронизацию для аватара, которая будет звучать как его голосовой талант вместе с моделью аватара, или создайте аватар без голосовой синхронизации. Возможность создания голосовой синхронизации для аватара доступна только в регионах Юго-Восточной Азии, Западной Европы и Западной части США 2.
   • Выберите язык словесного согласия, записанного талантом аватара.
   • Введите имя аватара таланта и название вашей компании на том же языке, что и записанная инструкция.
     • Имя аватара таланта должно быть именем человека, который записал заявление согласия.
     • Имя компании должно совпадать с именем компании, которая была записана в записанном заявлении.
   • Вы можете отправить данные из локальных файлов или из общего хранилища с помощью BLOB-объектов Azure.

   

4. Выберите Отправить.

После успешной отправки согласия аватара вы можете продолжить обучение пользовательской модели аватара.

Шаг 3. Добавление обучающих данных

Служба "Речь" использует данные обучения для создания уникального аватара, настроенного для сопоставления внешнего вида человека в записях. После обучения модели аватара можно начать синтез видео аватара или использовать его для динамических чатов в приложениях.

Все отправляемые данные должны соответствовать требованиям к выбранному типу данных. Чтобы служба "Речь" точно обрабатывает данные, важно правильно отформатировать данные перед отправкой. Чтобы убедиться, что данные правильно отформатированы, см . требования к данным.

Отправка данных

Когда вы будете готовы отправить данные, перейдите на вкладку "Подготовка обучающих данных ", чтобы добавить данные.

Чтобы отправить обучающие данные, выполните следующие действия.

1. Войдите в службу Speech Studio.

2. Выберите "Настраиваемый аватар>" Имя> проекта "Подготовка обучающих данных".>

   

3. В мастере отправки данных выберите тип данных и нажмите кнопку "Далее". Дополнительные сведения о типах данных (включая естественное речь, молчание, жест и состояние 0) см. в том, какие видео клипы записываются.

4. Выберите локальные файлы на компьютере или введите URL-адрес хранилища BLOB-объектов Azure, в котором хранятся данные.

5. Выберите Далее.

6. Просмотрите сведения о отправке и нажмите кнопку "Отправить".

Файлы данных проверяются автоматически при нажатии кнопки Submit (Отправить). Проверка данных включает ряд проверок видеофайлов, чтобы проверить их формат, размер и общий том. Если возникнут ошибки, исправьте их и повторите отправку.

После отправки данных вы можете проверить обзор данных, указывающий, достаточно ли предоставить достаточно данных для начала обучения. На этом снимках экрана показан пример достаточного количества данных, добавленных для обучения аватара без других жестов.

Шаг 4. Обучение модели аватара

Внимание

Все обучающие данные в проекте включены в обучение. Качество модели зависит от предоставленных данных, и вы отвечаете за качество видео. Убедитесь, что вы записываете обучающие видео в соответствии с руководством по записи примеров видео.

Чтобы создать настраиваемый аватар в Speech Studio, выполните следующие действия для одного из следующих методов:

1. Войдите в службу Speech Studio.

2. Выберите "Настраиваемый аватар>" Имя >проекта "Обучение модели обучения модели".>

3. Введите имя, чтобы определить модель. Тщательно выбирайте имя. Имя модели используется в качестве имени аватара в запросе синтеза с помощью входных данных ПАКЕТА SDK и SSML. Разрешены только буквы, цифры, дефисы и символы подчеркивания. Используйте уникальное имя для каждой модели.

   Внимание

   Имя модели аватара должно быть уникальным в пределах одного ресурса службы "Речь" или "Службы искусственного интеллекта".

4. Выберите "Обучение ", чтобы начать обучение модели.

Длительность обучения зависит от того, сколько данных вы используете. Обычно для обучения пользовательского аватара в среднем требуется 20–40 вычислительных часов. Проверьте примечание о ценах на обучение.

Копирование пользовательской модели аватара в другой проект (необязательно)

Настраиваемое обучение аватара в настоящее время доступно только в некоторых регионах. После обучения вашей модели аватара в поддерживаемом регионе его можно скопировать в ресурс служб ИИ для распознавания речи в другом регионе по мере необходимости. Дополнительные сведения см. в сносках в таблице регионов.

Примечание.

Вы можете скопировать только голосовую синхронизацию для модели аватара в регионы, поддерживающие голосовую синхронизацию для функции аватара, которые являются теми же регионами, которые поддерживают личный голос.

Чтобы скопировать пользовательскую модель аватара в другой проект:

1. На вкладке "Обучение модели " выберите аватарную модель, которую требуется скопировать, а затем выберите " Копировать в проект".
2. Выберите подписку, регион, ресурс служб ИИ для службы распознавания речи и проект, в который нужно скопировать модель. У вас должен быть ресурс служб ИИ для речи и проект в целевом регионе, в противном случае вам необходимо сначала создать их.
3. Нажмите кнопку Отправить, чтобы скопировать модель.

После копирования модели вы увидите уведомление в Speech Studio.

Перейдите к проекту, в котором вы скопировали модель для развертывания копии модели.

Шаг 5. Развертывание и использование модели аватара

После успешного создания и обучения модели аватара вы развернете ее в конечной точке.

Чтобы развернуть аватар, выполните приведенные действия.

1. Войдите в службу Speech Studio.
2. Выберите "Настраиваемый аватар>" Для модели развертывания имени >проекта.
3. Выберите " Развернуть модель " и выберите модель, которую нужно развернуть.
4. Выберите "Развернуть" , чтобы начать развертывание.

   Внимание

   При развертывании модели вы платите за непрерывное время работы конечной точки независимо от взаимодействия с этой конечной точкой. Проверьте ценовую заметку о том, как взимается плата за развертывание модели. Вы можете удалить развертывание, если модель не используется для уменьшения расходов и экономии ресурсов.

После развертывания пользовательского аватара он доступен для использования в Speech Studio или через API:

• Аватар отображается в списке аватаров текста для речи аватара в Speech Studio.
• Аватар отображается в списке аватаров чата в реальном времени через Speech Studio.
• Вы можете вызвать аватар из входных данных ПАКЕТА SDK и SSML, указав имя модели аватара. Дополнительные сведения см. в свойствах аватара.

Удаление развертывания

Чтобы удалить развертывание, выполните следующие действия.

1. Войдите в службу Speech Studio.
2. Перейдите к пользовательскому аватару > модели развертывания имени >проекта.
3. Выберите развертывание на странице "Развертывание модели ". Модель активно размещена, если состояние выполнено успешно.
4. Нажмите кнопку "Удалить развертывание " и подтвердите удаление, чтобы удалить размещение.

Совет

После удаления развертывания вы больше не платите за его размещение. Удаление развертывания не приводит к удалению модели. Если вы хотите снова использовать модель, создайте новое развертывание.

Следующие шаги

• Что такое текст для аватара речи
• Запись примеров видео