Mengonfigurasi kemampuan suara

Artikel ini menjelaskan fitur yang tersedia untuk Copilot Studio respons suara interaktif dengan Dynamics 365 Customer Service.

Untuk menyiapkan agen Anda untuk layanan suara, lihat Mengintegrasikan agen berkemampuan suara dengan Dynamics 365 Customer Service.

Untuk gambaran umum layanan suara, lihat Menggunakan respons suara interaktif di agen Anda.

Modalitas pidato & DTMF

Agen berkemampuan suara berbeda dengan agen berbasis obrolan. Agen yang mendukung suara menyertakan topik sistem suara khusus untuk menangani skenario suara. Agen berbasis obrolan menggunakan modalitas teks sebagai default. Agen berkemampuan suara menggunakan modalitas Ucapan & DTMF. Kedua modalitas tersebut tidak kompatibel satu sama lain.

Optimize for voice memungkinkan Anda menulis agen berkemampuan suara di berbagai modalitas dan memastikan fitur terkait ucapan ditulis dengan benar.

Pengoptimalan suara

Jika Anda tidak memulai agen dengan templat Suara, Anda harus mengaktifkan opsi Optimalkan untuk suara di Setelan agen.

1. Dengan agen terbuka, buka Suara Pengaturan>.

2. Pilih Optimalkan untuk suara. Opsi Gunakan suara sebagai mode penulisan utama juga diatur secara default.

Agen Anda mendapatkan pembaruan berikut saat Anda mengaktifkan opsi Optimalkan untuk suara dan Gunakan suara sebagai opsi mode penulisan utama:

• Kemampuan untuk menulis fitur suara saat beralih dari teks ke Ucapan & DTMF.
• Topik suara Sistem Deteksi keheningan, Ucapan tidak dikenali, dan Tekan dialpad tidak dikenal secara otomatis ditambahkan untuk menangani skenario terkait ucapan.
• Tingkatkan akurasi dengan data agen (aktif secara default), yang meningkatkan akurasi pengenalan suara.
• Alur agen yang ada tidak berubah (seperti topik Menu Utama untuk memulai percakapan dengan pemicu DTMF yang dipetakan).

Penting

• Pengaturan Optimalkan untuk suara hanya mengubah kemampuan penulisan suara, bukan setelan saluran. Nyalakan saluran Telepon untuk agen yang sepenuhnya mendukung suara.
• Selain itu, mengatur Optimalkan untuk suara pada agen yang awalnya tidak dikonfigurasi untuk fitur suara berarti agen tidak memiliki topik Menu Utama (pratinjau). Anda harus membuat ulang topik itu, jika diperlukan.
• Jika Anda tidak dapat mengaktifkan Optimize untuk suara, periksa lingkungan yang Power Platform menghosting agen Anda dan pastikan Dapatkan fitur baru lebih awal dinonaktifkan untuk lingkungan tersebut. Untuk informasi selengkapnya, lihat Tidak dapat mengaktifkan Optimize untuk suara.

Nonaktifkan pengoptimalan untuk suara

Anda dapat menonaktifkan Optimalkan untuk suara dalam penulisan agen jika Anda tidak menggunakan saluran Telepon. Setelah menonaktifkan Optimize untuk suara, Anda akan mendapatkan perubahan berikut:

• Tidak ada agen yang menulis untuk fitur suara, seperti DTMF dan tongkang masuk.
• Modalitas teks default diatur.
• Tidak ada peningkatan pada pengenalan ucapan, karena tidak ada pengenalan suara.
• Tidak ada topik sistem suara atau topik DTMF global.

  Catatan

  Beberapa topik mungkin melaporkan kesalahan selama publikasi jika masih mereferensikan topik DTMF (sekarang dinonaktifkan).

• Tidak ada perubahan pada alur agen dan setelan saluran, karena menonaktifkan pengoptimalan tidak menghapus saluran Telepon.
• Mengaktifkan atau menonaktifkan Optimize untuk suara tidak akan diterapkan hingga Anda memublikasikan agen. Jika Anda menyalakan atau mematikannya secara tidak sengaja, dan agen beralih antar modalitas, Anda punya waktu untuk memperbaikinya.

Penting

Jika saluran Telepon Anda diaktifkan, menonaktifkan Optimize untuk suara dapat merusak agen Anda, karena semua pemicu DTMF dinonaktifkan secara otomatis.

Menggunakan suara sebagai mode penulisan utama Anda

Modalitas Ucapan & DTMF harus dipilih untuk setiap node dalam penulisan fitur suara. Anda dapat memilih preferensi penulisan agen sebagai menggunakan suara sebagai mode penulisan utama. Pengaturan ini memastikan semua bidang input memiliki modalitas yang tepat. Jika Anda sudah mengaktifkan Optimalkan untuk suara, opsi Gunakan suara sebagai mode penulisan utama diaktifkan secara default.

Ketersediaan pesan

Menggunakan modalitas teks atau ucapan dapat memengaruhi channel Anda secara berbeda.

Modalitas teks	Modalitas pidato	Saluran teks & ucapan agen
Pesan tersedia	Pesan kosong	Pesan tersedia
Pesan kosong	Pesan tersedia	Pesan tidak tersedia

Pengenalan suara otomatis yang disesuaikan

Agen yang mendukung suara untuk domain tertentu, seperti medis atau keuangan, mungkin melihat pengguna menggunakan istilah keuangan atau jargon medis. Beberapa istilah dan jargon sulit bagi agen berkemampuan suara untuk mengonversi dari ucapan ke teks.

Untuk memastikan input ucapan dikenali secara akurat, Anda dapat meningkatkan pengenalan ucapan:

1. Dengan agen terbuka, pilih Suara Setelan>.

2. Pilih Tingkatkan akurasi dengan data agen untuk mengaktifkan pengaturan pengenalan ucapan otomatis otomatis default agen yang disesuaikan.

3. Pilih Simpan untuk menerapkan perubahan Anda.

4. Publikasikan agen Anda untuk melihat perubahan baru.

Referensi opsi suara tingkat agen

Halaman pengaturan detail agen memungkinkan Anda mengonfigurasi batas waktu untuk berbagai fitur terkait suara. Pengaturan yang diterapkan di halaman ini menjadi default untuk topik yang dibuat di agen Anda.

Untuk membuat perubahan pada opsi batas waktu tingkat agen:

1. Dengan agen terbuka, pilih Suara Setelan>.

   

2. Pilih pengaturan yang Anda inginkan dan sesuaikan pengaturan default agen.

3. Pilih Simpan untuk menerapkan perubahan Anda.

Setelan tingkat agen

Tabel berikut mencantumkan setiap opsi dan bagaimana kaitannya dengan pengaturan tingkat simpul.

Bagian tingkat agen yang diaktifkan suara	Pengaturan	Description	Nilai default	Penggantian tingkat simpul
DTMF	Waktu habis jeda setiap karakter	Waktu maksimum (milidetik) yang diizinkan sambil menunggu input kunci DTMF berikutnya. Menerapkan input DTMF multi-digit hanya ketika pengguna tidak memenuhi panjang input maksimum.	3000 ms	Simpul pertanyaan dengan properti suara untuk input DTMF multi-digit
DTMF	Waktu habis penghentian	Durasi maksimum (milidetik) untuk menunggu kunci terminasi DTMF. Batas berlaku ketika pengguna mencapai panjang input maksimum dan tidak menekan tombol terminasi. Hanya berlaku untuk input DTMF multi-digit. Setelah batas waktu habis dan kunci DTMF penghentian tidak tiba, agen mengakhiri pengenalan dan mengembalikan hasilnya hingga saat itu. Jika diatur ke "lanjutkan tanpa menunggu", agen tidak akan menunggu kunci penghentian. Agen kembali segera setelah pengguna memasukkan panjang maksimum.	2000 detik	Simpul pertanyaan dengan properti suara untuk input DTMF multi-digit
Deteksi keheningan	Waktu habis deteksi keheningan	Keheningan maksimum (milidetik) diizinkan saat menunggu input pengguna. Batas berlaku saat agen tidak mendeteksi input pengguna apa pun. Defaultnya adalah "tidak ada batas waktu keheningan". Agen menunggu masukan pengguna tanpa batas. Deteksi keheningan untuk suara mengkalikan periode setelah suara selesai berbicara.	Tidak ada batas waktu diam	Simpul pertanyaan dengan properti suara untuk input DTMF multi-digit Topik sistem (properti pemicu deteksi keheningan) untuk Mengonfigurasi deteksi keheningan dan batas waktu
Penangkapan ucapan	Waktu habis akhir ucapan	Batas berlaku saat pengguna menjeda selama atau setelah ucapan. Jika jeda lebih lama dari batas batas waktu, agen menganggap pengguna selesai berbicara. Nilai maksimum untuk batas waktu akhir ucapan adalah 3000 ms. Apa pun di atas 3000 ms berkurang menjadi 3000 ms.	1500 milietik	Simpul pertanyaan dengan properti suara
Penangkapan ucapan	Waktu habis pengenalan ucapan	Menentukan berapa banyak waktu yang diizinkan agen untuk input pengguna setelah mereka mulai berbicara. Nilai defaultnya adalah 12000 milidetik (sekitar 12 detik). Tidak ada batas waktu pengenalan berarti waktu tak terbatas. Agen meminta pertanyaan kembali. Jika tidak ada respons, suara akan melampaui batas waktu pengenalan ucapan.	12.000 ms	Simpul pertanyaan dengan properti suara
Pesan latensi	Penundaan kirim pesan	Menentukan berapa lama agen menunggu sebelum mengirimkan pesan latensi setelah permintaan operasi latar belakang dimulai. Waktu diatur dalam milidetik.	500 milietik	Properti simpul tindakan untuk operasi yang berjalan lama
Pesan latensi	Waktu pemutaran minimum	Pesan latensi diputar untuk jangka waktu minimum, bahkan jika operasi latar belakang selesai saat pesan diputar. Waktu diatur dalam milidetik.	5000 milietik	Properti mode tindakan untuk operasi yang berjalan lama
Sensitivitas bicara	Sensitivitas	Mengontrol bagaimana sistem menyeimbangkan deteksi ucapan dan kebisingan latar belakang. Turunkan sensitivitas untuk lingkungan yang bising, ruang publik, dan pengoperasian handsfree. Tingkatkan sensitivitas untuk lingkungan yang tenang, pengguna yang berbicara lembut, atau deteksi perintah suara. Pengaturan default adalah 0.5.	0.5	Tidak ada penggantian tingkat simpul untuk kontrol ini.

Aktifkan tongkang masuk

Mengaktifkan tongkang masuk memungkinkan pengguna agen Anda untuk mengganggu agen Anda. Fitur ini dapat berguna ketika Anda tidak memerlukan pengguna agen untuk mendengar seluruh pesan. Misalnya, penelepon mungkin sudah mengetahui opsi menu, karena mereka mendengarnya di masa lalu. Dengan tongkang masuk, pengguna agen dapat memasukkan opsi yang mereka inginkan, bahkan jika agen belum selesai mencantumkan semua opsi.

Skenario penonaktifan tongkang

• Nonaktifkan incok jika Anda baru saja memperbarui pesan agen atau jika pesan kepatuhan tidak boleh diganggu.
• Nonaktifkan terobosan untuk pesan agen pertama untuk memastikan pengguna agen mengetahui informasi baru atau penting.

Spesifikasi

• Barge-in mendukung interupsi berbasis DTMF dan berbasis suara dari pengguna agen.

• Barge-in dapat dikontrol dengan setiap pesan, dalam satu batch. Tempatkan barge-in-disabled simpul secara berurutan sebelum setiap simpul tempat tongkang masuk diizinkan. Jika tidak, barge-in-disabled diperlakukan sebagai pesan allow-barge-in.

  

  Setelah satu antrean batch selesai, maka pengaturan otomatis tongkang masuk diatur ulang untuk batch berikutnya, dan dikendalikan oleh bendera tongkang di setiap pesan berikutnya. Anda dapat menempatkan simpul yang dinonaktifkan tongkang-dalam saat urutan dimulai lagi.

Tip

Jika ada simpul pesan berturut-turut, diikuti oleh simpul pertanyaan, pesan suara untuk simpul ini didefinisikan sebagai satu batch. Satu batch dimulai dengan simpul pesan dan berhenti di simpul pertanyaan, yang menunggu masukan pengguna.

Hindari menonaktifkan tonggokan masuk untuk pesan yang panjang, terutama jika Anda mengharapkan pengguna agen sering berinteraksi dengan agen. Jika pengguna agen Anda sudah mengetahui opsi menu, biarkan mereka melayani mandiri ke mana mereka ingin pergi.

Siapkan tongkang

1. Dengan node Pesan atau Pertanyaan yang dipilih, atur modalitas yang diinginkan ke Ucapan & DTMF.

2. Pilih ikon Lainnya (...) simpul, lalu pilih Properti.

   1. Untuk simpul Pesan , panel Properti aktivitas Kirim terbuka di sisi kanvas penulisan.

      Pilih Izinkan tongkang masuk.

   2. Untuk simpul Pertanyaan , panel Properti pertanyaan terbuka, lalu pilih Suara.

      Dari properti Suara , pilih Izinkan terobosan masuk.

3. Simpan topik.

Mengonfigurasi deteksi keheningan dan batas waktu

Deteksi keheningan memungkinkan Anda mengonfigurasi berapa lama agen menunggu input pengguna dan tindakan yang diambil jika tidak ada input yang diterima. Deteksi keheningan paling berguna dalam menanggapi pertanyaan di tingkat simpul atau ketika agen menunggu frasa pemicu untuk memulai topik baru.

Anda dapat mengonfigurasi batas waktu default untuk topik.

Untuk mengganti default untuk node:

1. Pilih ikon Lainnya (...) simpul, lalu pilih Properti.

   Panel Properti Pertanyaan terbuka.

2. Pilih Suara dan lakukan penyesuaian pada pengaturan berikut:

   Opsi batas waktu deteksi keheningan	Description
   Menggunakan pengaturan agen	Node menggunakan pengaturan global untuk deteksi keheningan.
   Nonaktifkan untuk node ini	Agen menunggu tanggapan tanpa batas waktu.
   Sesuaikan dalam milidetik	Agen menunggu waktu tertentu sebelum mengulangi pertanyaan.

Tindakan fallback

Anda dapat mengonfigurasi beberapa perilaku sebagai tindakan penggantian:

• Berapa kali agen harus mengulangi pertanyaan
• Apa yang harus dikatakan pesan reprompt
• Apa yang harus dilakukan agen setelah jumlah pengulangan tertentu

Masukan ucapan

Untuk input ucapan, Anda dapat menentukan:

• Batas waktu akhir ucapan: Berapa lama agen menunggu setelah pengguna selesai berbicara
• Batas waktu pengenalan suara: Berapa banyak waktu yang diberikan agen kepada pengguna setelah mereka mulai merespons

Untuk mengonfigurasi perilaku deteksi keheningan saat agen Anda menunggu frasa pemicu, sesuaikan pengaturan di topik Sistem aktif senyap .

Menambahkan pesan latensi untuk operasi yang berjalan lama

Untuk operasi backend yang panjang, agen Anda dapat mengirim pesan ke pengguna untuk memberi tahu mereka tentang proses yang lebih panjang. Agen di saluran perpesanan juga dapat mengirim pesan latensi.

Pemutaran audio pesan latensi	Pesan latensi dalam obrolan
Terus berulang hingga operasi selesai.	Dikirim hanya sekali ketika latensi yang ditentukan tercapai.

Dalam Copilot Studio, agen Anda dapat mengulangi pesan setelah memicu Power Automate alur:

1. Tambahkan simpul Tindakan yang memicu alur.

2. Pilih ikon Lainnya (...) simpul, lalu pilih Properti. Panel Properti Tindakan terbuka.

3. Pilih Kirim pesan.

4. Di bagian Pesan , masukkan apa yang Anda ingin agen katakan. Anda dapat menggunakan SSML untuk mengubah suara pesan. Agen mengulangi pesan hingga alur selesai.

Anda dapat menyesuaikan berapa lama agen harus menunggu sebelum mengulangi pesan di bawah bagian Penundaan . Anda dapat mengatur jumlah waktu minimum untuk menunggu, meskipun alur selesai.

Mengonfigurasi penghentian panggilan

Untuk mengonfigurasi agen Anda untuk mengakhiri panggilan dan menutup telepon, tambahkan simpul baru (+) lalu pilih Manajemen>topik Akhiri percakapan.

Memformat sintesis ucapan dengan SSML

Anda dapat menggunakan bahasa markup sintesis ucapan (SSML) untuk mengubah suara agen saat membaca pesan dengan lantang. Misalnya, Anda dapat mengubah nada atau frekuensi kata-kata yang diucapkan, kecepatan, dan volume.

SSML menggunakan tag untuk melampirkan teks yang ingin Anda ubah, mirip dengan HTML. Anda dapat menggunakan tag berikut di: Copilot Studio

Tag SSML	Description	Tautan ke dokumentasi layanan ucapan
<audio src="_URL to an audio file_"/>	Tambahkan URL ke file audio dalam tag. File harus dapat diakses oleh pengguna agen.	Tambahkan audio yang direkam
<break />	Sisipkan jeda atau jeda di antara kata-kata. Sisipkan opsi jeda dalam tag.	Menambahkan jeda
<emphasis> Teks yang ingin Anda modifikasi</emphasis>	Tambahkan tingkat stres pada kata atau frasa. Tambahkan opsi penekanan di tag pembuka. Tambahkan tag penutup setelah teks yang ingin Anda ubah.	Menyesuaikan opsi penekanan
<prosody> Teks yang ingin Anda modifikasi</prosody>	Tentukan perubahan pada nada, kontur, rentang, laju, dan volume. Tambahkan opsi prosodi di tag pembuka. Tambahkan tag penutup setelah teks yang ingin Anda ubah.	Sesuaikan opsi prosodi
<lang xml:lang="xx-XX"> Teks yang ingin Anda modifikasi</lang>	Sesuaikan bahasa berbicara dalam pesan yang sama saat menggunakan suara saraf multibahasa.	Menyesuaikan bahasa berbicara

Catatan

Saat menggunakan <audio src="_URL to an audio file_"/> tag, jika URL disimpan dalam variabel, URL harus dikodekan sebelum dimasukkan ke dalam tag SSML audio src dalam pesan. Sebaiknya gunakan fungsi EncodeHTML PowerFx untuk mengkodekan URL saat menetapkannya ke variabel dalam tindakan penetapan.

Menemukan dan menggunakan tag

SSML menggunakan tag untuk melampirkan teks yang ingin Anda ubah, seperti HTML.

Anda dapat menggunakan tag berikut di: Copilot Studio

1. Dengan simpul Pesan atau Pertanyaan dipilih, ubah mode menjadi Ucapan & DTMF.

2. Pilih menu tag SSML dan pilih tag.

   Kotak pesan diisi dengan tag. Jika Anda sudah memiliki teks di kotak pesan, kode tag akan ditambahkan ke akhir pesan Anda.

3. Kelilingi teks yang ingin Anda modifikasi dengan tag pembuka dan penutup. Anda dapat menggabungkan beberapa tag dan menyesuaikan bagian individual dari pesan dengan tag individual.

Tip

Anda dapat memasukkan tag SSML secara manual yang tidak muncul di menu bantuan. Untuk mempelajari selengkapnya tentang tag lain yang dapat Anda gunakan, lihat Meningkatkan sintesis dengan Bahasa Markup Sintesis Ucapan.

Mentransfer panggilan ke perwakilan atau nomor telepon eksternal

Anda dapat meminta agen mentransfer panggilan ke nomor telepon eksternal. Copilot Studio mendukung transfer buta ke nomor telepon PSTN dan nomor perutean langsung.

Untuk mentransfer ke nomor telepon eksternal:

1. Dalam topik yang ingin Anda ubah, tambahkan simpul baru (+). Di menu simpul, pilih Manajemen topik, lalu Transfer percakapan .

2. Di bawah Jenis transfer, pilih Transfer nomor telepon eksternal dan masukkan nomor transfer.

3. (Opsional) tambahkan header SIP UUI ke panggilan telepon.

   Header ini adalah serangkaian key=value pasangan, tanpa spasi atau karakter khusus, yang ditampilkan untuk dibaca oleh sistem eksternal.

   1. Pilih ikon Lainnya (...) simpul, lalu pilih Properti. Panel Transfer properti percakapan terbuka.

   2. Di bawah header SIP UUI, masukkan informasi yang ingin Anda kirim dengan transfer panggilan. Variabel tidak didukung saat mentransfer ke nomor telepon eksternal.

   Perhatian

   Hanya 128 karakter pertama dalam string yang dikirim.

   Header hanya menerima angka, huruf, tanda= sama dengan (), dan titik koma (;). Semua karakter lainnya, termasuk spasi, kurung kurawal, dan tanda kurung, atau rumus tidak didukung dan dapat menyebabkan transfer gagal.

Tip

Sertakan a + di nomor telepon Anda untuk kode negara yang sesuai.

Transfer keluar dengan SIP UUI untuk nomor telepon target harus menggunakan perutean langsung. Nomor telepon jaringan telepon publik yang dialihkan (PSTN) tidak mendukung transfer header SIP UUI.

Untuk mentransfer ke perwakilan, lihat Pemicu eksplisit.

Menggunakan variabel suara

Copilot Studio mendukung populasi variabel. Anda dapat menggunakan variabel yang telah ditentukan sebelumnya, atau membuat variabel khusus.

Catatan

• Untuk informasi selengkapnya tentang cara menggunakan dan membuat variabel Copilot Studio, lihat Bekerja dengan variabel.
• Untuk informasi tentang variabel aktivitas dan percakapan lain yang tersedia untuk agen berkemampuan suara, lihat Variabel untuk agen berkemampuan suara.

Agen yang mendukung suara mendukung Copilot Studio variabel konteks. Variabel ini membantu Anda mengintegrasikan percakapan agen Anda dengan Dynamics 365 Customer Service saat mentransfer panggilan.

Untuk informasi selengkapnya tentang variabel konteks di Dynamics 365 Customer Service, lihat Variabel konteks untuk Copilot Studio bot.

Integrasi ini mendukung skenario ini dengan variabel berikut saat Anda mentransfer:

Variabel	Tipe	Description
System.Activity.From.Name	String	ID penelepon pengguna agen
System.Activity.Recipient.Name	String	Nomor yang digunakan untuk menelepon atau terhubung ke agen
System.Conversation.SipUuiHeaderValue	String	Nilai header SIP saat mentransfer melalui nomor telepon perutean langsung
System.Activity.UserInputType	String	Apakah pengguna agen menggunakan DTMF atau ucapan dalam percakapan
System.Activity.InputDTMFKey	String	Input DTMF mentah pengguna agen
System.Conversation.OnlyAllowDTMF	Boolean	Suara mengabaikan input ucapan saat diatur ke true
System.Activity.SpeechRecognition.Confidence	Angka	Nilai kepercayaan diri (antara 0 dan 1) dari peristiwa pengenalan ucapan terakhir
System.Activity.SpeechRecognition.MinimalFormattedText	String	Hasil pengenalan ucapan (sebagai teks mentah) sebelum Copilot Studio diterapkan model pemahaman bahasa alami khusus

Catatan

• Agen dengan frasa pemicu besar dan ukuran entitas membutuhkan waktu lebih lama untuk dipublikasikan.
• Jika beberapa pengguna menerbitkan agen yang sama secara bersamaan, tindakan publikasi Anda akan diblokir. Anda perlu menerbitkan ulang agen setelah orang lain menyelesaikan pengeditan agen yang ada.

Untuk mempelajari selengkapnya tentang dasar-dasar penerbitan, lihat Konsep utama - Menerbitkan dan menyebarkan agen Anda.