Поделиться через


Сбор входных данных пользователей с помощью действия "Распознать"

Это руководство поможет вам приступить к распознаванию входных данных DTMF, предоставляемых участниками с помощью пакета SDK для автоматизации вызовов Службы коммуникации Azure.

Необходимые компоненты

  • Учетная запись Azure с активной подпиской см. в статье "Создание учетной записи бесплатно".
  • Службы коммуникации Azure ресурс. См. статью "Создание ресурса Службы коммуникации Azure". Обратите внимание на строка подключения для этого ресурса.
  • Создайте новое приложение веб-службы с помощью пакета SDK службы автоматизации вызовов.
  • Последняя библиотека .NET для операционной системы.
  • Последняя версия пакета NuGet.

Для функций ИИ

Технические характеристики

Для настройки функции Распознавания доступны следующие параметры:

Параметр Тип Значение по умолчанию (если не указано) Description Обязательный или необязательный
Prompt

(Дополнительные сведения см. в разделе Настройка голосовых запросов для пользователей с помощью действия Воспроизведения)
FileSource, TextSource Не установлено Сообщение, которое будет воспроизводиться перед распознаванием входных данных. Необязательно
InterToneTimeout TimeSpan 2 секунды

Мин: 1 секунда
Максимальное значение: 60 секунд
Ограничение в секундах, которые Службы коммуникации Azure ожидает, пока вызывающий объект нажимает другую цифру (время ожидания между цифрами). Необязательно
InitialSegmentationSilenceTimeoutInSeconds Целое 0,5 секунды Как долго распознать действие ожидает входных данных, прежде чем рассматривать время ожидания. Узнайте , как распознать речь. Необязательно
RecognizeInputsType Перечисление dtmf Тип распознаваемых входных данных. Параметры: dtmf, choicesи speechspeechordtmf. Обязательное поле
InitialSilenceTimeout TimeSpan 5 секунд

Мин: 0 секунд
Макс: 300 секунд (DTMF)
Макс: 20 секунд (варианты)
Макс: 20 секунд (речь)
Начальное время ожидания молчания корректирует, сколько неписучего звука разрешено перед фразой, прежде чем попытка распознавания заканчивается в результате "без совпадения". Узнайте , как распознать речь. Необязательно
MaxTonesToCollect Целое Нет по умолчанию

Мин: 1
Число цифр, которые разработчик ожидает в качестве входных данных от участника. Обязательное поле
StopTones IEnumeration<DtmfTone> Не установлено Участники цифры могут нажать клавишу, чтобы выйти из пакетного события DTMF. Необязательно
InterruptPrompt Bool Истина Если участник может прервать воспроизведениеMessage, нажав цифру. Необязательно
InterruptCallMediaOperation Bool Истина Если этот флаг задан, он прерывает текущую операцию носителя вызовов. Например, если звук воспроизводится, он прерывает операцию и инициирует распознавание. Необязательно
OperationContext Строка Не установлено Строка, которую разработчики могут передать середину действия, полезная для того, чтобы разработчики могли хранить контекст о событиях, которые они получают. Необязательно
Phrases Строка Не установлено Список фраз, которые связываются с меткой. Слушание любой из этих фраз приводит к успешному распознаванию. Обязательное поле
Tone Строка Не установлено Тон для распознавания того, решит ли пользователь нажать число вместо использования речи. Необязательно
Label Строка Не установлено Ключевое значение для распознавания. Обязательное поле
Language Строка En-us Язык, используемый для распознавания речи. Необязательно
EndSilenceTimeout TimeSpan 0,5 секунды Последняя пауза говорящего, используемая для обнаружения окончательного результата, создаваемого как речь. Необязательно

Примечание.

В ситуациях, когда DTMF и речь находятся в recognizeInputsTypeсостоянии, действие распознавания действует на первом типе входных данных, полученном. Например, если пользователь нажимает номер клавиатуры сначала, то действие распознавания считает его событием DTMF и продолжает прослушивать тоны DTMF. Если пользователь сначала говорит, то действие распознавания речи считает его событием распознавания речи и прослушивает входные данные голоса.

Создание нового приложения C#

В окне консоли операционной системы используйте dotnet команду для создания нового веб-приложения.

dotnet new web -n MyApplication

Установка пакета NuGet

Получение пакета NuGet из коллекции NuGet | Azure.Communication.CallAutomation. Следуйте инструкциям по установке пакета.

Установка вызова

К этому моменту вы должны быть знакомы с начальными звонками. Дополнительные сведения о вызове см . в кратком руководстве. Создание и исходящий вызов. Вы также можете использовать фрагмент кода, предоставленный здесь, чтобы понять, как ответить на вызов.

var callAutomationClient = new CallAutomationClient("<Azure Communication Services connection string>");

var answerCallOptions = new AnswerCallOptions("<Incoming call context once call is connected>", new Uri("<https://sample-callback-uri>"))  
{  
    CallIntelligenceOptions = new CallIntelligenceOptions() { CognitiveServicesEndpoint = new Uri("<Azure Cognitive Services Endpoint>") } 
};  

var answerCallResult = await callAutomationClient.AnswerCallAsync(answerCallOptions); 

Вызов действия распознавания

Когда приложение отвечает на вызов, вы можете предоставить сведения о распознавании входных данных участника и воспроизведении запроса.

DTMF

var maxTonesToCollect = 3;
String textToPlay = "Welcome to Contoso, please enter 3 DTMF.";
var playSource = new TextSource(textToPlay, "en-US-ElizabethNeural");
var recognizeOptions = new CallMediaRecognizeDtmfOptions(targetParticipant, maxTonesToCollect) {
  InitialSilenceTimeout = TimeSpan.FromSeconds(30),
    Prompt = playSource,
    InterToneTimeout = TimeSpan.FromSeconds(5),
    InterruptPrompt = true,
    StopTones = new DtmfTone[] {
      DtmfTone.Pound
    },
};
var recognizeResult = await callAutomationClient.GetCallConnection(callConnectionId)
  .GetCallMedia()
  .StartRecognizingAsync(recognizeOptions);

Для потоков распознавания речи в тексте действие распознавания вызовов также поддерживает использование пользовательских моделей речи. Такие функции, как пользовательские модели речи, могут быть полезны при создании приложения, которое должно прослушивать сложные слова, которые по умолчанию модели речи в текст могут не понимать. Одним из примеров является создание приложения для телемедической отрасли, а виртуальный агент должен иметь возможность распознавать медицинские термины. Дополнительные сведения см. в разделе "Создание пользовательского проекта речи".

Выбор речи к тексту

var choices = new List < RecognitionChoice > {
  new RecognitionChoice("Confirm", new List < string > {
    "Confirm",
    "First",
    "One"
  }) {
    Tone = DtmfTone.One
  },
  new RecognitionChoice("Cancel", new List < string > {
    "Cancel",
    "Second",
    "Two"
  }) {
    Tone = DtmfTone.Two
  }
};
String textToPlay = "Hello, This is a reminder for your appointment at 2 PM, Say Confirm to confirm your appointment or Cancel to cancel the appointment. Thank you!";

var playSource = new TextSource(textToPlay, "en-US-ElizabethNeural");
var recognizeOptions = new CallMediaRecognizeChoiceOptions(targetParticipant, choices) {
  InterruptPrompt = true,
    InitialSilenceTimeout = TimeSpan.FromSeconds(30),
    Prompt = playSource,
    OperationContext = "AppointmentReminderMenu",
    //Only add the SpeechModelEndpointId if you have a custom speech model you would like to use
    SpeechModelEndpointId = "YourCustomSpeechModelEndpointId"
};
var recognizeResult = await callAutomationClient.GetCallConnection(callConnectionId)
  .GetCallMedia()
  .StartRecognizingAsync(recognizeOptions);

Преобразование речи в текст

String textToPlay = "Hi, how can I help you today?";
var playSource = new TextSource(textToPlay, "en-US-ElizabethNeural");
var recognizeOptions = new CallMediaRecognizeSpeechOptions(targetParticipant) {
  Prompt = playSource,
    EndSilenceTimeout = TimeSpan.FromMilliseconds(1000),
    OperationContext = "OpenQuestionSpeech",
    //Only add the SpeechModelEndpointId if you have a custom speech model you would like to use
    SpeechModelEndpointId = "YourCustomSpeechModelEndpointId"
};
var recognizeResult = await callAutomationClient.GetCallConnection(callConnectionId)
  .GetCallMedia()
  .StartRecognizingAsync(recognizeOptions);

Речь в тексте или DTMF

var maxTonesToCollect = 1; 
String textToPlay = "Hi, how can I help you today, you can press 0 to speak to an agent?"; 
var playSource = new TextSource(textToPlay, "en-US-ElizabethNeural"); 
var recognizeOptions = new CallMediaRecognizeSpeechOrDtmfOptions(targetParticipant, maxTonesToCollect) 
{ 
    Prompt = playSource, 
    EndSilenceTimeout = TimeSpan.FromMilliseconds(1000), 
    InitialSilenceTimeout = TimeSpan.FromSeconds(30), 
    InterruptPrompt = true, 
    OperationContext = "OpenQuestionSpeechOrDtmf",
    //Only add the SpeechModelEndpointId if you have a custom speech model you would like to use
    SpeechModelEndpointId = "YourCustomSpeechModelEndpointId" 
}; 
var recognizeResult = await callAutomationClient.GetCallConnection(callConnectionId) 
    .GetCallMedia() 
    .StartRecognizingAsync(recognizeOptions); 

Примечание.

Если параметры не заданы, по возможности применяются значения по умолчанию.

Получение обновлений событий распознавания

Разработчики могут подписаться на RecognizeCompleted зарегистрированные обратные вызовы веб-перехватчика и RecognizeFailed события. Используйте этот обратный вызов с бизнес-логикой в приложении, чтобы определить следующие шаги при возникновении одного из событий.

Пример десериализации события RecognizeCompleted :

if (acsEvent is RecognizeCompleted recognizeCompleted) 
{ 
    switch (recognizeCompleted.RecognizeResult) 
    { 
        case DtmfResult dtmfResult: 
            //Take action for Recognition through DTMF 
            var tones = dtmfResult.Tones; 
            logger.LogInformation("Recognize completed succesfully, tones={tones}", tones); 
            break; 
        case ChoiceResult choiceResult: 
            // Take action for Recognition through Choices 
            var labelDetected = choiceResult.Label; 
            var phraseDetected = choiceResult.RecognizedPhrase; 
            // If choice is detected by phrase, choiceResult.RecognizedPhrase will have the phrase detected, 
            // If choice is detected using dtmf tone, phrase will be null 
            logger.LogInformation("Recognize completed succesfully, labelDetected={labelDetected}, phraseDetected={phraseDetected}", labelDetected, phraseDetected);
            break; 
        case SpeechResult speechResult: 
            // Take action for Recognition through Choices 
            var text = speechResult.Speech; 
            logger.LogInformation("Recognize completed succesfully, text={text}", text); 
            break; 
        default: 
            logger.LogInformation("Recognize completed succesfully, recognizeResult={recognizeResult}", recognizeCompleted.RecognizeResult); 
            break; 
    } 
} 

Пример десериализации события RecognizeFailed :

if (acsEvent is RecognizeFailed recognizeFailed) 
{ 
    if (MediaEventReasonCode.RecognizeInitialSilenceTimedOut.Equals(recognizeFailed.ReasonCode)) 
    { 
        // Take action for time out 
        logger.LogInformation("Recognition failed: initial silencev time out"); 
    } 
    else if (MediaEventReasonCode.RecognizeSpeechOptionNotMatched.Equals(recognizeFailed.ReasonCode)) 
    { 
        // Take action for option not matched 
        logger.LogInformation("Recognition failed: speech option not matched"); 
    } 
    else if (MediaEventReasonCode.RecognizeIncorrectToneDetected.Equals(recognizeFailed.ReasonCode)) 
    { 
        // Take action for incorrect tone 
        logger.LogInformation("Recognition failed: incorrect tone detected"); 
    } 
    else 
    { 
        logger.LogInformation("Recognition failed, result={result}, context={context}", recognizeFailed.ResultInformation?.Message, recognizeFailed.OperationContext); 
    } 
} 

Пример десериализации события RecognizeCanceled :

if (acsEvent is RecognizeCanceled { OperationContext: "AppointmentReminderMenu" })
        {
            logger.LogInformation($"RecognizeCanceled event received for call connection id: {@event.CallConnectionId}");
            //Take action on recognize canceled operation
           await callConnection.HangUpAsync(forEveryone: true);
        }

Необходимые компоненты

Для функций ИИ

Технические характеристики

Для настройки функции Распознавания доступны следующие параметры:

Параметр Тип Значение по умолчанию (если не указано) Description Обязательный или необязательный
Prompt

(Дополнительные сведения см. в разделе Настройка голосовых запросов для пользователей с помощью действия Воспроизведения)
FileSource, TextSource Не установлено Сообщение, которое будет воспроизводиться перед распознаванием входных данных. Необязательно
InterToneTimeout TimeSpan 2 секунды

Мин: 1 секунда
Максимальное значение: 60 секунд
Ограничение в секундах, которые Службы коммуникации Azure ожидает, пока вызывающий объект нажимает другую цифру (время ожидания между цифрами). Необязательно
InitialSegmentationSilenceTimeoutInSeconds Целое 0,5 секунды Как долго распознать действие ожидает входных данных, прежде чем рассматривать время ожидания. Узнайте , как распознать речь. Необязательно
RecognizeInputsType Перечисление dtmf Тип распознаваемых входных данных. Параметры: dtmf, choicesи speechspeechordtmf. Обязательное поле
InitialSilenceTimeout TimeSpan 5 секунд

Мин: 0 секунд
Макс: 300 секунд (DTMF)
Макс: 20 секунд (варианты)
Макс: 20 секунд (речь)
Начальное время ожидания молчания корректирует, сколько неписучего звука разрешено перед фразой, прежде чем попытка распознавания заканчивается в результате "без совпадения". Узнайте , как распознать речь. Необязательно
MaxTonesToCollect Целое Нет по умолчанию

Мин: 1
Число цифр, которые разработчик ожидает в качестве входных данных от участника. Обязательное поле
StopTones IEnumeration<DtmfTone> Не установлено Участники цифры могут нажать клавишу, чтобы выйти из пакетного события DTMF. Необязательно
InterruptPrompt Bool Истина Если участник может прервать воспроизведениеMessage, нажав цифру. Необязательно
InterruptCallMediaOperation Bool Истина Если этот флаг задан, он прерывает текущую операцию носителя вызовов. Например, если звук воспроизводится, он прерывает операцию и инициирует распознавание. Необязательно
OperationContext Строка Не установлено Строка, которую разработчики могут передать середину действия, полезная для того, чтобы разработчики могли хранить контекст о событиях, которые они получают. Необязательно
Phrases Строка Не установлено Список фраз, которые связываются с меткой. Слушание любой из этих фраз приводит к успешному распознаванию. Обязательное поле
Tone Строка Не установлено Тон для распознавания того, решит ли пользователь нажать число вместо использования речи. Необязательно
Label Строка Не установлено Ключевое значение для распознавания. Обязательное поле
Language Строка En-us Язык, используемый для распознавания речи. Необязательно
EndSilenceTimeout TimeSpan 0,5 секунды Последняя пауза говорящего, используемая для обнаружения окончательного результата, создаваемого как речь. Необязательно

Примечание.

В ситуациях, когда DTMF и речь находятся в recognizeInputsTypeсостоянии, действие распознавания действует на первом типе входных данных, полученном. Например, если пользователь нажимает номер клавиатуры сначала, то действие распознавания считает его событием DTMF и продолжает прослушивать тоны DTMF. Если пользователь сначала говорит, то действие распознавания речи считает его событием распознавания речи и прослушивает входные данные голоса.

Создание нового приложения Java

В окне терминала или командной строки перейдите в каталог, в котором вы хотите создать приложение Java. mvn Выполните команду, чтобы создать проект Java из шаблона maven-archetype-quickstart.

mvn archetype:generate -DgroupId=com.communication.quickstart -DartifactId=communication-quickstart -DarchetypeArtifactId=maven-archetype-quickstart -DarchetypeVersion=1.4 -DinteractiveMode=false

Команда mvn создает каталог с тем же именем, что artifactId и аргумент. Каталог src/main/java содержит исходный код проекта. Каталог src/test/java содержит источник теста.

Обратите внимание, что шаг создал каталог с тем же именем, что generate и в каталоге artifactId. Каталог содержит исходный src/main/java код. Каталог src/test/java содержит тесты. Файл pom.xml — это объектная модель проекта проекта (POM).

Обновите POM-файл приложений, чтобы использовать Java 8 или более поздней версии.

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
</properties>

Добавление ссылок на пакеты

В файле POM добавьте следующую ссылку для проекта:

azure-communication-callautomation

<dependency>
  <groupId>com.azure</groupId>
  <artifactId>azure-communication-callautomation</artifactId>
  <version>1.0.0</version>
</dependency>

Установка вызова

К этому моменту вы должны быть знакомы с начальными звонками. Дополнительные сведения о вызове см . в кратком руководстве. Создание и исходящий вызов. Вы также можете использовать фрагмент кода, предоставленный здесь, чтобы понять, как ответить на вызов.

CallIntelligenceOptions callIntelligenceOptions = new CallIntelligenceOptions().setCognitiveServicesEndpoint("https://sample-cognitive-service-resource.cognitiveservices.azure.com/"); 
answerCallOptions = new AnswerCallOptions("<Incoming call context>", "<https://sample-callback-uri>").setCallIntelligenceOptions(callIntelligenceOptions); 
Response < AnswerCallResult > answerCallResult = callAutomationClient
  .answerCallWithResponse(answerCallOptions)
  .block();

Вызов действия распознавания

Когда приложение отвечает на вызов, вы можете предоставить сведения о распознавании входных данных участника и воспроизведении запроса.

DTMF

var maxTonesToCollect = 3;
String textToPlay = "Welcome to Contoso, please enter 3 DTMF.";
var playSource = new TextSource() 
    .setText(textToPlay) 
    .setVoiceName("en-US-ElizabethNeural");

var recognizeOptions = new CallMediaRecognizeDtmfOptions(targetParticipant, maxTonesToCollect) 
    .setInitialSilenceTimeout(Duration.ofSeconds(30)) 
    .setPlayPrompt(playSource) 
    .setInterToneTimeout(Duration.ofSeconds(5)) 
    .setInterruptPrompt(true) 
    .setStopTones(Arrays.asList(DtmfTone.POUND));

var recognizeResponse = callAutomationClient.getCallConnectionAsync(callConnectionId) 
    .getCallMediaAsync() 
    .startRecognizingWithResponse(recognizeOptions) 
    .block(); 

log.info("Start recognizing result: " + recognizeResponse.getStatusCode()); 

Для потоков распознавания речи в тексте действие распознавания вызовов также поддерживает использование пользовательских моделей речи. Такие функции, как пользовательские модели речи, могут быть полезны при создании приложения, которое должно прослушивать сложные слова, которые по умолчанию модели речи в текст могут не понимать. Одним из примеров является создание приложения для телемедической отрасли, а виртуальный агент должен иметь возможность распознавать медицинские термины. Дополнительные сведения см. в разделе "Создание пользовательского проекта речи".

Выбор речи к тексту

var choices = Arrays.asList(
  new RecognitionChoice()
  .setLabel("Confirm")
  .setPhrases(Arrays.asList("Confirm", "First", "One"))
  .setTone(DtmfTone.ONE),
  new RecognitionChoice()
  .setLabel("Cancel")
  .setPhrases(Arrays.asList("Cancel", "Second", "Two"))
  .setTone(DtmfTone.TWO)
);

String textToPlay = "Hello, This is a reminder for your appointment at 2 PM, Say Confirm to confirm your appointment or Cancel to cancel the appointment. Thank you!";
var playSource = new TextSource()
  .setText(textToPlay)
  .setVoiceName("en-US-ElizabethNeural");
var recognizeOptions = new CallMediaRecognizeChoiceOptions(targetParticipant, choices)
  .setInterruptPrompt(true)
  .setInitialSilenceTimeout(Duration.ofSeconds(30))
  .setPlayPrompt(playSource)
  .setOperationContext("AppointmentReminderMenu")
  //Only add the SpeechRecognitionModelEndpointId if you have a custom speech model you would like to use
  .setSpeechRecognitionModelEndpointId("YourCustomSpeechModelEndpointID"); 
var recognizeResponse = callAutomationClient.getCallConnectionAsync(callConnectionId)
  .getCallMediaAsync()
  .startRecognizingWithResponse(recognizeOptions)
  .block();

Преобразование речи в текст

String textToPlay = "Hi, how can I help you today?"; 
var playSource = new TextSource() 
    .setText(textToPlay) 
    .setVoiceName("en-US-ElizabethNeural"); 
var recognizeOptions = new CallMediaRecognizeSpeechOptions(targetParticipant, Duration.ofMillis(1000)) 
    .setPlayPrompt(playSource) 
    .setOperationContext("OpenQuestionSpeech")
    //Only add the SpeechRecognitionModelEndpointId if you have a custom speech model you would like to use
    .setSpeechRecognitionModelEndpointId("YourCustomSpeechModelEndpointID");  
var recognizeResponse = callAutomationClient.getCallConnectionAsync(callConnectionId) 
    .getCallMediaAsync() 
    .startRecognizingWithResponse(recognizeOptions) 
    .block(); 

Речь в тексте или DTMF

var maxTonesToCollect = 1; 
String textToPlay = "Hi, how can I help you today, you can press 0 to speak to an agent?"; 
var playSource = new TextSource() 
    .setText(textToPlay) 
    .setVoiceName("en-US-ElizabethNeural"); 
var recognizeOptions = new CallMediaRecognizeSpeechOrDtmfOptions(targetParticipant, maxTonesToCollect, Duration.ofMillis(1000)) 
    .setPlayPrompt(playSource) 
    .setInitialSilenceTimeout(Duration.ofSeconds(30)) 
    .setInterruptPrompt(true) 
    .setOperationContext("OpenQuestionSpeechOrDtmf")
    //Only add the SpeechRecognitionModelEndpointId if you have a custom speech model you would like to use
    .setSpeechRecognitionModelEndpointId("YourCustomSpeechModelEndpointID");  
var recognizeResponse = callAutomationClient.getCallConnectionAsync(callConnectionId) 
    .getCallMediaAsync() 
    .startRecognizingWithResponse(recognizeOptions) 
    .block(); 

Примечание.

Если параметры не заданы, по возможности применяются значения по умолчанию.

Получение обновлений событий распознавания

Разработчики могут подписаться на RecognizeCompleted зарегистрированные обратные вызовы веб-перехватчика и RecognizeFailed события. Используйте этот обратный вызов с бизнес-логикой в приложении, чтобы определить следующие шаги при возникновении одного из событий.

Пример десериализации события RecognizeCompleted :

if (acsEvent instanceof RecognizeCompleted) { 
    RecognizeCompleted event = (RecognizeCompleted) acsEvent; 
    RecognizeResult recognizeResult = event.getRecognizeResult().get(); 
    if (recognizeResult instanceof DtmfResult) { 
        // Take action on collect tones 
        DtmfResult dtmfResult = (DtmfResult) recognizeResult; 
        List<DtmfTone> tones = dtmfResult.getTones(); 
        log.info("Recognition completed, tones=" + tones + ", context=" + event.getOperationContext()); 
    } else if (recognizeResult instanceof ChoiceResult) { 
        ChoiceResult collectChoiceResult = (ChoiceResult) recognizeResult; 
        String labelDetected = collectChoiceResult.getLabel(); 
        String phraseDetected = collectChoiceResult.getRecognizedPhrase(); 
        log.info("Recognition completed, labelDetected=" + labelDetected + ", phraseDetected=" + phraseDetected + ", context=" + event.getOperationContext()); 
    } else if (recognizeResult instanceof SpeechResult) { 
        SpeechResult speechResult = (SpeechResult) recognizeResult; 
        String text = speechResult.getSpeech(); 
        log.info("Recognition completed, text=" + text + ", context=" + event.getOperationContext()); 
    } else { 
        log.info("Recognition completed, result=" + recognizeResult + ", context=" + event.getOperationContext()); 
    } 
} 

Пример десериализации события RecognizeFailed :

if (acsEvent instanceof RecognizeFailed) { 
    RecognizeFailed event = (RecognizeFailed) acsEvent; 
    if (ReasonCode.Recognize.INITIAL_SILENCE_TIMEOUT.equals(event.getReasonCode())) { 
        // Take action for time out 
        log.info("Recognition failed: initial silence time out"); 
    } else if (ReasonCode.Recognize.SPEECH_OPTION_NOT_MATCHED.equals(event.getReasonCode())) { 
        // Take action for option not matched 
        log.info("Recognition failed: speech option not matched"); 
    } else if (ReasonCode.Recognize.DMTF_OPTION_MATCHED.equals(event.getReasonCode())) { 
        // Take action for incorrect tone 
        log.info("Recognition failed: incorrect tone detected"); 
    } else { 
        log.info("Recognition failed, result=" + event.getResultInformation().getMessage() + ", context=" + event.getOperationContext()); 
    } 
} 

Пример десериализации события RecognizeCanceled :

if (acsEvent instanceof RecognizeCanceled) { 
    RecognizeCanceled event = (RecognizeCanceled) acsEvent; 
    log.info("Recognition canceled, context=" + event.getOperationContext()); 
}

Необходимые компоненты

Для функций ИИ

Технические характеристики

Для настройки функции Распознавания доступны следующие параметры:

Параметр Тип Значение по умолчанию (если не указано) Description Обязательный или необязательный
Prompt

(Дополнительные сведения см. в разделе Настройка голосовых запросов для пользователей с помощью действия Воспроизведения)
FileSource, TextSource Не установлено Сообщение, которое будет воспроизводиться перед распознаванием входных данных. Необязательно
InterToneTimeout TimeSpan 2 секунды

Мин: 1 секунда
Максимальное значение: 60 секунд
Ограничение в секундах, которые Службы коммуникации Azure ожидает, пока вызывающий объект нажимает другую цифру (время ожидания между цифрами). Необязательно
InitialSegmentationSilenceTimeoutInSeconds Целое 0,5 секунды Как долго распознать действие ожидает входных данных, прежде чем рассматривать время ожидания. Узнайте , как распознать речь. Необязательно
RecognizeInputsType Перечисление dtmf Тип распознаваемых входных данных. Параметры: dtmf, choicesи speechspeechordtmf. Обязательное поле
InitialSilenceTimeout TimeSpan 5 секунд

Мин: 0 секунд
Макс: 300 секунд (DTMF)
Макс: 20 секунд (варианты)
Макс: 20 секунд (речь)
Начальное время ожидания молчания корректирует, сколько неписучего звука разрешено перед фразой, прежде чем попытка распознавания заканчивается в результате "без совпадения". Узнайте , как распознать речь. Необязательно
MaxTonesToCollect Целое Нет по умолчанию

Мин: 1
Число цифр, которые разработчик ожидает в качестве входных данных от участника. Обязательное поле
StopTones IEnumeration<DtmfTone> Не установлено Участники цифры могут нажать клавишу, чтобы выйти из пакетного события DTMF. Необязательно
InterruptPrompt Bool Истина Если участник может прервать воспроизведениеMessage, нажав цифру. Необязательно
InterruptCallMediaOperation Bool Истина Если этот флаг задан, он прерывает текущую операцию носителя вызовов. Например, если звук воспроизводится, он прерывает операцию и инициирует распознавание. Необязательно
OperationContext Строка Не установлено Строка, которую разработчики могут передать середину действия, полезная для того, чтобы разработчики могли хранить контекст о событиях, которые они получают. Необязательно
Phrases Строка Не установлено Список фраз, которые связываются с меткой. Слушание любой из этих фраз приводит к успешному распознаванию. Обязательное поле
Tone Строка Не установлено Тон для распознавания того, решит ли пользователь нажать число вместо использования речи. Необязательно
Label Строка Не установлено Ключевое значение для распознавания. Обязательное поле
Language Строка En-us Язык, используемый для распознавания речи. Необязательно
EndSilenceTimeout TimeSpan 0,5 секунды Последняя пауза говорящего, используемая для обнаружения окончательного результата, создаваемого как речь. Необязательно

Примечание.

В ситуациях, когда DTMF и речь находятся в recognizeInputsTypeсостоянии, действие распознавания действует на первом типе входных данных, полученном. Например, если пользователь нажимает номер клавиатуры сначала, то действие распознавания считает его событием DTMF и продолжает прослушивать тоны DTMF. Если пользователь сначала говорит, то действие распознавания речи считает его событием распознавания речи и прослушивает входные данные голоса.

Создание приложения JavaScript

Создайте приложение JavaScript в каталоге проекта. Инициализировать новый проект Node.js с помощью следующей команды. При этом создается файл package.json для проекта, который управляет зависимостями проекта.

npm init -y

Установка пакета автоматизации вызовов Службы коммуникации Azure

npm install @azure/communication-call-automation

Создайте новый файл JavaScript в каталоге проекта, например присвойте ему app.jsимя. Напишите код JavaScript в этом файле.

Запустите приложение с помощью Node.js с помощью следующей команды.

node app.js

Установка вызова

К этому моменту вы должны быть знакомы с начальными звонками. Дополнительные сведения о вызове см . в кратком руководстве. Создание и исходящий вызов.

Вызов действия распознавания

Когда приложение отвечает на вызов, вы можете предоставить сведения о распознавании входных данных участника и воспроизведении запроса.

DTMF

const maxTonesToCollect = 3; 
const textToPlay = "Welcome to Contoso, please enter 3 DTMF."; 
const playSource: TextSource = { text: textToPlay, voiceName: "en-US-ElizabethNeural", kind: "textSource" }; 
const recognizeOptions: CallMediaRecognizeDtmfOptions = { 
    maxTonesToCollect: maxTonesToCollect, 
    initialSilenceTimeoutInSeconds: 30, 
    playPrompt: playSource, 
    interToneTimeoutInSeconds: 5, 
    interruptPrompt: true, 
    stopDtmfTones: [ DtmfTone.Pound ], 
    kind: "callMediaRecognizeDtmfOptions" 
}; 

await callAutomationClient.getCallConnection(callConnectionId) 
    .getCallMedia() 
    .startRecognizing(targetParticipant, recognizeOptions); 

Для потоков распознавания речи в тексте действие распознавания вызовов также поддерживает использование пользовательских моделей речи. Такие функции, как пользовательские модели речи, могут быть полезны при создании приложения, которое должно прослушивать сложные слова, которые по умолчанию модели речи в текст могут не понимать. Одним из примеров является создание приложения для телемедической отрасли, а виртуальный агент должен иметь возможность распознавать медицинские термины. Дополнительные сведения см. в разделе "Создание пользовательского проекта речи".

Выбор речи к тексту

const choices = [ 
    {  
        label: "Confirm", 
        phrases: [ "Confirm", "First", "One" ], 
        tone: DtmfTone.One 
    }, 
    { 
        label: "Cancel", 
        phrases: [ "Cancel", "Second", "Two" ], 
        tone: DtmfTone.Two 
    } 
]; 

const textToPlay = "Hello, This is a reminder for your appointment at 2 PM, Say Confirm to confirm your appointment or Cancel to cancel the appointment. Thank you!"; 
const playSource: TextSource = { text: textToPlay, voiceName: "en-US-ElizabethNeural", kind: "textSource" }; 
const recognizeOptions: CallMediaRecognizeChoiceOptions = { 
    choices: choices, 
    interruptPrompt: true, 
    initialSilenceTimeoutInSeconds: 30, 
    playPrompt: playSource, 
    operationContext: "AppointmentReminderMenu", 
    kind: "callMediaRecognizeChoiceOptions",
    //Only add the speechRecognitionModelEndpointId if you have a custom speech model you would like to use
    speechRecognitionModelEndpointId: "YourCustomSpeechEndpointId"
}; 

await callAutomationClient.getCallConnection(callConnectionId) 
    .getCallMedia() 
    .startRecognizing(targetParticipant, recognizeOptions); 

Преобразование речи в текст

const textToPlay = "Hi, how can I help you today?"; 
const playSource: TextSource = { text: textToPlay, voiceName: "en-US-ElizabethNeural", kind: "textSource" }; 
const recognizeOptions: CallMediaRecognizeSpeechOptions = { 
    endSilenceTimeoutInSeconds: 1, 
    playPrompt: playSource, 
    operationContext: "OpenQuestionSpeech", 
    kind: "callMediaRecognizeSpeechOptions",
    //Only add the speechRecognitionModelEndpointId if you have a custom speech model you would like to use
    speechRecognitionModelEndpointId: "YourCustomSpeechEndpointId"
}; 

await callAutomationClient.getCallConnection(callConnectionId) 
    .getCallMedia() 
    .startRecognizing(targetParticipant, recognizeOptions); 

Речь в тексте или DTMF

const maxTonesToCollect = 1; 
const textToPlay = "Hi, how can I help you today, you can press 0 to speak to an agent?"; 
const playSource: TextSource = { text: textToPlay, voiceName: "en-US-ElizabethNeural", kind: "textSource" }; 
const recognizeOptions: CallMediaRecognizeSpeechOrDtmfOptions = { 
    maxTonesToCollect: maxTonesToCollect, 
    endSilenceTimeoutInSeconds: 1, 
    playPrompt: playSource, 
    initialSilenceTimeoutInSeconds: 30, 
    interruptPrompt: true, 
    operationContext: "OpenQuestionSpeechOrDtmf", 
    kind: "callMediaRecognizeSpeechOrDtmfOptions",
    //Only add the speechRecognitionModelEndpointId if you have a custom speech model you would like to use
    speechRecognitionModelEndpointId: "YourCustomSpeechEndpointId"
}; 

await callAutomationClient.getCallConnection(callConnectionId) 
    .getCallMedia() 
    .startRecognizing(targetParticipant, recognizeOptions); 

Примечание.

Если параметры не заданы, по возможности применяются значения по умолчанию.

Получение обновлений событий распознавания

Разработчики могут подписаться на RecognizeCompleted зарегистрированные обратные вызовы веб-перехватчика и RecognizeFailed события. Используйте этот обратный вызов с бизнес-логикой в приложении, чтобы определить следующие шаги при возникновении одного из событий.

Пример десериализации события RecognizeCompleted :

if (event.type === "Microsoft.Communication.RecognizeCompleted") { 
    if (eventData.recognitionType === "dtmf") { 
        const tones = eventData.dtmfResult.tones; 
        console.log("Recognition completed, tones=%s, context=%s", tones, eventData.operationContext); 
    } else if (eventData.recognitionType === "choices") { 
        const labelDetected = eventData.choiceResult.label; 
        const phraseDetected = eventData.choiceResult.recognizedPhrase; 
        console.log("Recognition completed, labelDetected=%s, phraseDetected=%s, context=%s", labelDetected, phraseDetected, eventData.operationContext); 
    } else if (eventData.recognitionType === "speech") { 
        const text = eventData.speechResult.speech; 
        console.log("Recognition completed, text=%s, context=%s", text, eventData.operationContext); 
    } else { 
        console.log("Recognition completed: data=%s", JSON.stringify(eventData, null, 2)); 
    } 
} 

Пример десериализации события RecognizeFailed :

if (event.type === "Microsoft.Communication.RecognizeFailed") {
    console.log("Recognize failed: data=%s", JSON.stringify(eventData, null, 2));
}

Пример десериализации события RecognizeCanceled :

if (event.type === "Microsoft.Communication.RecognizeCanceled") {
    console.log("Recognize canceled, context=%s", eventData.operationContext);
}

Необходимые компоненты

  • Учетная запись Azure с активной подпиской см. в статье "Создание учетной записи бесплатно".
  • Службы коммуникации Azure ресурс. См. статью "Создание ресурса Службы коммуникации Azure". Обратите внимание на строка подключения для этого ресурса.
  • Создайте новое приложение веб-службы с помощью пакета SDK службы автоматизации вызовов.
  • Установите Python из Python.org.

Для функций ИИ

Технические характеристики

Для настройки функции Распознавания доступны следующие параметры:

Параметр Тип Значение по умолчанию (если не указано) Description Обязательный или необязательный
Prompt

(Дополнительные сведения см. в разделе Настройка голосовых запросов для пользователей с помощью действия Воспроизведения)
FileSource, TextSource Не установлено Сообщение, которое будет воспроизводиться перед распознаванием входных данных. Необязательно
InterToneTimeout TimeSpan 2 секунды

Мин: 1 секунда
Максимальное значение: 60 секунд
Ограничение в секундах, которые Службы коммуникации Azure ожидает, пока вызывающий объект нажимает другую цифру (время ожидания между цифрами). Необязательно
InitialSegmentationSilenceTimeoutInSeconds Целое 0,5 секунды Как долго распознать действие ожидает входных данных, прежде чем рассматривать время ожидания. Узнайте , как распознать речь. Необязательно
RecognizeInputsType Перечисление dtmf Тип распознаваемых входных данных. Параметры: dtmf, choicesи speechspeechordtmf. Обязательное поле
InitialSilenceTimeout TimeSpan 5 секунд

Мин: 0 секунд
Макс: 300 секунд (DTMF)
Макс: 20 секунд (варианты)
Макс: 20 секунд (речь)
Начальное время ожидания молчания корректирует, сколько неписучего звука разрешено перед фразой, прежде чем попытка распознавания заканчивается в результате "без совпадения". Узнайте , как распознать речь. Необязательно
MaxTonesToCollect Целое Нет по умолчанию

Мин: 1
Число цифр, которые разработчик ожидает в качестве входных данных от участника. Обязательное поле
StopTones IEnumeration<DtmfTone> Не установлено Участники цифры могут нажать клавишу, чтобы выйти из пакетного события DTMF. Необязательно
InterruptPrompt Bool Истина Если участник может прервать воспроизведениеMessage, нажав цифру. Необязательно
InterruptCallMediaOperation Bool Истина Если этот флаг задан, он прерывает текущую операцию носителя вызовов. Например, если звук воспроизводится, он прерывает операцию и инициирует распознавание. Необязательно
OperationContext Строка Не установлено Строка, которую разработчики могут передать середину действия, полезная для того, чтобы разработчики могли хранить контекст о событиях, которые они получают. Необязательно
Phrases Строка Не установлено Список фраз, которые связываются с меткой. Слушание любой из этих фраз приводит к успешному распознаванию. Обязательное поле
Tone Строка Не установлено Тон для распознавания того, решит ли пользователь нажать число вместо использования речи. Необязательно
Label Строка Не установлено Ключевое значение для распознавания. Обязательное поле
Language Строка En-us Язык, используемый для распознавания речи. Необязательно
EndSilenceTimeout TimeSpan 0,5 секунды Последняя пауза говорящего, используемая для обнаружения окончательного результата, создаваемого как речь. Необязательно

Примечание.

В ситуациях, когда DTMF и речь находятся в recognizeInputsTypeсостоянии, действие распознавания действует на первом типе входных данных, полученном. Например, если пользователь нажимает номер клавиатуры сначала, то действие распознавания считает его событием DTMF и продолжает прослушивать тоны DTMF. Если пользователь сначала говорит, то действие распознавания речи считает его событием распознавания речи и прослушивает входные данные голоса.

Создание приложения Python

Настройка виртуальной среды Python для проекта

python -m venv play-audio-app

Активация виртуального окружения

В Windows используйте следующую команду:

.\ play-audio-quickstart \Scripts\activate

В Unix используйте следующую команду:

source play-audio-quickstart /bin/activate

Установка пакета автоматизации вызовов Службы коммуникации Azure

pip install azure-communication-callautomation

Создайте файл приложения в каталоге проекта, например присвойте ему имя app.py. Напишите код Python в этом файле.

Запустите приложение с помощью Python с помощью следующей команды.

python app.py

Установка вызова

К этому моменту вы должны быть знакомы с начальными звонками. Дополнительные сведения о вызове см . в кратком руководстве. Создание и исходящий вызов.

Вызов действия распознавания

Когда приложение отвечает на вызов, вы можете предоставить сведения о распознавании входных данных участника и воспроизведении запроса.

DTMF

max_tones_to_collect = 3 
text_to_play = "Welcome to Contoso, please enter 3 DTMF." 
play_source = TextSource(text=text_to_play, voice_name="en-US-ElizabethNeural") 
call_automation_client.get_call_connection(call_connection_id).start_recognizing_media( 
    dtmf_max_tones_to_collect=max_tones_to_collect, 
    input_type=RecognizeInputType.DTMF, 
    target_participant=target_participant, 
    initial_silence_timeout=30, 
    play_prompt=play_source, 
    dtmf_inter_tone_timeout=5, 
    interrupt_prompt=True, 
    dtmf_stop_tones=[ DtmfTone.Pound ]) 

Для потоков распознавания речи в тексте действие распознавания вызовов также поддерживает использование пользовательских моделей речи. Такие функции, как пользовательские модели речи, могут быть полезны при создании приложения, которое должно прослушивать сложные слова, которые по умолчанию модели речи в текст могут не понимать. Одним из примеров является создание приложения для телемедической отрасли, а виртуальный агент должен иметь возможность распознавать медицинские термины. Дополнительные сведения см. в разделе "Создание пользовательского проекта речи".

Выбор речи к тексту

choices = [ 
    RecognitionChoice( 
        label="Confirm", 
        phrases=[ "Confirm", "First", "One" ], 
        tone=DtmfTone.ONE 
    ), 
    RecognitionChoice( 
        label="Cancel", 
        phrases=[ "Cancel", "Second", "Two" ], 
        tone=DtmfTone.TWO 
    ) 
] 
text_to_play = "Hello, This is a reminder for your appointment at 2 PM, Say Confirm to confirm your appointment or Cancel to cancel the appointment. Thank you!" 
play_source = TextSource(text=text_to_play, voice_name="en-US-ElizabethNeural") 
call_automation_client.get_call_connection(call_connection_id).start_recognizing_media( 
    input_type=RecognizeInputType.CHOICES, 
    target_participant=target_participant, 
    choices=choices, 
    interrupt_prompt=True, 
    initial_silence_timeout=30, 
    play_prompt=play_source, 
    operation_context="AppointmentReminderMenu",
    # Only add the speech_recognition_model_endpoint_id if you have a custom speech model you would like to use
    speech_recognition_model_endpoint_id="YourCustomSpeechModelEndpointId")  

Преобразование речи в текст

text_to_play = "Hi, how can I help you today?" 
play_source = TextSource(text=text_to_play, voice_name="en-US-ElizabethNeural") 
call_automation_client.get_call_connection(call_connection_id).start_recognizing_media( 
    input_type=RecognizeInputType.SPEECH, 
    target_participant=target_participant, 
    end_silence_timeout=1, 
    play_prompt=play_source, 
    operation_context="OpenQuestionSpeech",
    # Only add the speech_recognition_model_endpoint_id if you have a custom speech model you would like to use
    speech_recognition_model_endpoint_id="YourCustomSpeechModelEndpointId") 

Речь в тексте или DTMF

max_tones_to_collect = 1 
text_to_play = "Hi, how can I help you today, you can also press 0 to speak to an agent." 
play_source = TextSource(text=text_to_play, voice_name="en-US-ElizabethNeural") 
call_automation_client.get_call_connection(call_connection_id).start_recognizing_media( 
    dtmf_max_tones_to_collect=max_tones_to_collect, 
    input_type=RecognizeInputType.SPEECH_OR_DTMF, 
    target_participant=target_participant, 
    end_silence_timeout=1, 
    play_prompt=play_source, 
    initial_silence_timeout=30, 
    interrupt_prompt=True, 
    operation_context="OpenQuestionSpeechOrDtmf",
    # Only add the speech_recognition_model_endpoint_id if you have a custom speech model you would like to use
    speech_recognition_model_endpoint_id="YourCustomSpeechModelEndpointId")  
app.logger.info("Start recognizing") 

Примечание.

Если параметры не заданы, по возможности применяются значения по умолчанию.

Получение обновлений событий распознавания

Разработчики могут подписаться на RecognizeCompleted зарегистрированные обратные вызовы веб-перехватчика и RecognizeFailed события. Используйте этот обратный вызов с бизнес-логикой в приложении, чтобы определить следующие шаги при возникновении одного из событий.

Пример десериализации события RecognizeCompleted :

if event.type == "Microsoft.Communication.RecognizeCompleted": 
    app.logger.info("Recognize completed: data=%s", event.data) 
    if event.data['recognitionType'] == "dtmf": 
        tones = event.data['dtmfResult']['tones'] 
        app.logger.info("Recognition completed, tones=%s, context=%s", tones, event.data.get('operationContext')) 
    elif event.data['recognitionType'] == "choices": 
        labelDetected = event.data['choiceResult']['label']; 
        phraseDetected = event.data['choiceResult']['recognizedPhrase']; 
        app.logger.info("Recognition completed, labelDetected=%s, phraseDetected=%s, context=%s", labelDetected, phraseDetected, event.data.get('operationContext')); 
    elif event.data['recognitionType'] == "speech": 
        text = event.data['speechResult']['speech']; 
        app.logger.info("Recognition completed, text=%s, context=%s", text, event.data.get('operationContext')); 
    else: 
        app.logger.info("Recognition completed: data=%s", event.data); 

Пример десериализации события RecognizeFailed :

if event.type == "Microsoft.Communication.RecognizeFailed": 
    app.logger.info("Recognize failed: data=%s", event.data); 

Пример десериализации события RecognizeCanceled :

if event.type == "Microsoft.Communication.RecognizeCanceled":
    # Handle the RecognizeCanceled event according to your application logic

Коды событий

Состояние Код Дополнительный код Сообщение
RecognizeCompleted 200 8531 Выполнено действие, полученные максимальные цифры.
RecognizeCompleted 200 8514 Действие выполнено по мере обнаружения тона остановки.
RecognizeCompleted 400 8508 Сбой действия, операция была отменена.
RecognizeCompleted 400 8532 Не удалось выполнить действие, достигнуто время ожидания межзначного молчания.
RecognizeCanceled 400 8508 Сбой действия, операция была отменена.
RecognizeFailed 400 8510 Сбой действия, достигнуто начальное время ожидания молчания.
RecognizeFailed 500 8511 Сбой действия, обнаружен сбой при попытке воспроизвести запрос.
RecognizeFailed 500 8512 Неизвестная внутренняя ошибка сервера.
RecognizeFailed 400 8510 Сбой действия, достигнуто начальное время ожидания молчания
RecognizeFailed 400 8532 Не удалось выполнить действие, достигнуто время ожидания межзначного молчания.
RecognizeFailed 400 8565 Сбой действия, неправильный запрос к службам ИИ Azure. Проверить входные параметры.
RecognizeFailed 400 8565 Сбой действия, неправильный запрос к службам ИИ Azure. Не удалось обработать предоставленные полезные данные, проверьте входные данные источника воспроизведения.
RecognizeFailed 401 8565 Сбой действия, ошибка проверки подлинности служб ИИ Azure.
RecognizeFailed 403 8565 Сбой действия, запрещенный запрос к службам ИИ Azure, бесплатная подписка, используемая запросом, закончилась квота.
RecognizeFailed 429 8565 Сбой действия, запросы превысили количество разрешенных одновременных запросов для подписки на службы искусственного интеллекта Azure.
RecognizeFailed 408 8565 Сбой действия, время ожидания запроса к службам ИИ Azure истекло.
RecognizeFailed 500 8511 Сбой действия, обнаружен сбой при попытке воспроизвести запрос.
RecognizeFailed 500 8512 Неизвестная внутренняя ошибка сервера.

Известные ограничения

  • In-band DTMF не поддерживается. Вместо этого используйте RFC 2833 DTMF.
  • Текстовые запросы на речь поддерживают не более 400 символов, если ваш запрос больше, чем это мы рекомендуем использовать SSML для действий воспроизведения на основе текста в речь.
  • В сценариях, когда превышено ограничение квоты службы "Речь", можно запросить увеличение этого ограничения, выполнив действия, описанные в квотах и ограничениях служб распознавания речи.

Очистка ресурсов

Если вы хотите отменить и удалить подписку на Службы коммуникации, можно удалить ресурс или группу ресурсов. При удалении группы ресурсов также удаляются все связанные с ней ресурсы. См. сведения об очистке ресурсов.

Next Steps