Membuat asisten suara Anda tanpa kode di Azure Percept Studio

Penting

Penghentian Azure Percept DK:

Pembaruan 22 Februari 2023: Pembaruan firmware untuk komponen aksesori Percept DK Vision dan Audio (juga dikenal sebagai Vision dan Audio SOM) sekarang tersedia di sini, dan akan memungkinkan komponen aksesori untuk terus berfungsi di luar tanggal penghentian.

Pratinjau publik Azure Percept akan berkembang untuk mendukung platform perangkat edge baru dan pengalaman pengembang. Sebagai bagian dari evolusi ini, Azure Percept DK dan Aksesori Audio serta layanan Azure pendukung terkait untuk Percept DK akan dihentikan pada 30 Maret 2023.

Efektif 30 Maret 2023, Azure Percept DK dan Aksesori Audio tidak akan lagi didukung oleh layanan Azure apa pun termasuk Azure Percept Studio, pembaruan OS, pembaruan kontainer, melihat aliran web, dan integrasi Custom Vision. Microsoft tidak akan lagi memberikan dukungan keberhasilan pelanggan dan layanan pendukung terkait. Untuk informasi lebih lanjut, silakan kunjungi Posting Blog Pemberitahuan Penghentian.

Dalam tutorial ini, Anda akan membuat asisten suara dari templat untuk digunakan dengan Azure Percept DK dan Azure Percept Audio. Demo asisten suara berjalan dalam Azure Percept Studio dan berisi pilihan objek virtual yang dikontrol suara. Untuk mengontrol objek, ucapkan kata kunci Anda, yang merupakan kata atau frasa pendek yang membangunkan perangkat Anda, diikuti dengan perintah. Setiap templat merespons sekumpulan perintah tertentu.

Panduan ini akan memandu Anda melalui proses penyiapan perangkat, membuat asisten suara dan sumber daya Layanan Ucapan yang diperlukan, menguji asisten suara, mengonfigurasi kata kunci, dan membuat kata kunci kustom.

Prasyarat

• Azure Percept DK (devkit)
• Azure Percept Audio
• Speaker atau headphone yang dapat disambungkan ke jack audio 3,5 mm (opsional)
• Langganan Azure
• Pengalaman penyiapan Azure Percept DK: Anda menyambungkan devkit ke jaringan Wi-Fi, membuat IoT Hub, dan menyambungkan devkit ke IoT Hub
• Penyiapan Audio Azure Percept

Membuat asisten suara menggunakan templat yang tersedia

1. Buka Azure Percept Studio.

2. Buka tab Demo & tutorial.

   

3. Klik Cobalah templat asisten suara pada Tutorial dan demo ucapan. Ini akan membuka jendela di sisi kanan layar Anda.

4. Lakukan hal berikut di jendela:

   1. Di menu tarik-turun IoT Hub, pilih IoT hub yang tersambung dengan devkit Anda.

   2. Di menu tarik-turun Perangkat, pilih devkit Anda.

   3. Pilih salah satu templat asisten suara yang tersedia.

   4. Centang kotak Saya menyetujui syarat & ketentuan untuk proyek ini.

   5. Klik Buat.

   

5. Setelah mengklik Buat, portal membuka jendela lain untuk membuat sumber daya tema ucapan Anda. Lakukan hal berikut di jendela:

   1. Pilih langganan Azure Anda di kotak Langganan.

   2. Pilih grup sumber daya pilihan Anda dari menu tarik-turun Grup sumber daya. Jika Anda ingin membuat grup sumber daya baru untuk digunakan dengan asisten suara Anda, klik Buat di bawah menu tarik-turun dan ikuti petunjuknya.

   3. Untuk Awalan aplikasi, masukkan nama. Ini akan menjadi awalan untuk proyek Anda dan nama perintah kustom Anda.

   4. Di Wilayah, pilih wilayah untuk menyebarkan sumber daya.

   5. Di tingkat harga prediksi LUIS, pilih Standar (tingkat gratis tidak mendukung permintaan ucapan).

   6. Klik tombol Buat. Sumber daya untuk aplikasi asisten suara akan disebarkan ke langganan Anda.

      Peringatan

      JANGAN menutup jendela sampai portal selesai menyebarkan sumber daya. Menutup jendela sebelum waktunya dapat mengakibatkan perilaku asisten suara yang tidak terduga. Setelah sumber daya Anda digunakan, demo akan ditampilkan.

   

Menguji asisten suara Anda

Untuk berinteraksi dengan asisten suara Anda, ucapkan kata kunci diikuti dengan perintah. Saat Ear SoM mengenali kata kunci Anda, perangkat akan mengeluarkan bunyi lonceng (yang dapat Anda dengar jika speaker atau headphone tersambung), dan LED akan berkedip biru. LED akan beralih ke warna biru dengan cepat saat perintah Anda diproses. Respons asisten suara terhadap perintah Anda akan dicetak dalam teks di jendela demo dan dipancarkan melalui speaker/headphone Anda. Kata kunci bawaan (tercantum di sebelah Kata Kunci Khusus) diatur ke "Komputer", dan setiap kerangka memiliki serangkaian perintah yang kompatibel yang memungkinkan Anda berinteraksi dengan objek virtual di jendela demo. Misalnya, jika Anda menggunakan demo perhotelan atau layanan kesehatan, ucapkan "Komputer, nyalakan TV" untuk menyalakan TV virtual.

Perintah demo perhotelan dan layanan kesehatan

Demo layanan kesehatan dan perhotelan memiliki TV virtual, lampu, tirai, dan termostat yang dapat Anda gunakan untuk berinteraksi. Perintah berikut (dan variasi tambahan) didukung:

• "Nyalakan/matikan lampu."
• "Nyalakan/matikan TV."
• "Nyalakan/matikan AC."
• "Buka/tutup tirai."
• "Atur suhu ke X derajat." (X adalah suhu yang diinginkan, misalnya 75.)

Perintah demo otomotif

Demo otomotif memiliki penghangat kursi virtual, defroster, dan termostat yang dapat Anda gunakan untuk berinteraksi. Perintah berikut (dan variasi tambahan) didukung:

• "Nyalakan/matikan defroster."
• "Nyalakan/matikan penghangat kursi."
• "Atur suhu ke X derajat." (X adalah suhu yang diinginkan, misalnya 75.)
• "Naikkan/turunkan suhu sebesar Y derajat."

Perintah demo inventaris

Demo inventaris memiliki pilihan kotak biru, kuning, dan hijau virtual untuk berinteraksi bersama dengan aplikasi inventaris virtual. Perintah berikut (dan variasi tambahan) didukung:

• "Tambahkan/hapus kotak X." (X adalah jumlah kotak, misalnya 4.)
• "Pesan/kirim kotak X."
• "Berapa banyak kotak yang ada dalam stok?"
• "Hitung kotak Y." (Y adalah warna kotak, misalnya kuning.)
• "Kirim semua yang ada dalam stok."

Mengonfigurasi kata kunci Anda

Anda dapat menyesuaikan kata kunci untuk aplikasi asisten suara Anda.

1. Klik ubah di samping Kata Kunci Kustom di jendela demo.

2. Pilih salah satu kata kunci yang tersedia. Anda akan dapat memilih dari pilihan kata kunci sampel dan kata kunci khusus yang telah Anda buat.

3. Klik Simpan.

Membuat kata kunci kustom

Anda dapat membuat kata kunci sendiri untuk aplikasi suara Anda. Pelatihan untuk kata kunci kustom Anda dapat selesai hanya dalam beberapa menit.

1. Klik + Buat Kata Kunci Kustom di dekat bagian atas jendela demo.

2. Masukkan kata kunci yang Anda inginkan, yang dapat berupa satu kata atau frasa pendek.

3. Pilih Sumber daya ucapan Anda (ini tercantum di sebelah Perintah Kustom di jendela demo dan berisi awalan aplikasi Anda).

4. Klik Simpan.

Membuat perintah kustom

Portal juga menyediakan fungsionalitas untuk membuat perintah kustom dengan sumber daya ucapan yang ada. Perintah kustom mengacu pada aplikasi asisten suara itu sendiri, bukan perintah khusus dalam aplikasi yang ada. Dengan membuat perintah kustom, Anda membuat proyek ucapan baru, yang harus Anda kembangkan lebih lanjut di Speech Studio.

Untuk membuat perintah kustom baru dari dalam jendela demo, klik + Buat Perintah Kustom di bagian atas halaman dan lakukan hal berikut:

1. Masukkan nama untuk perintah kustom Anda.

2. Masukkan deskripsi proyek Anda (opsional).

3. Pilih bahasa pilihan Anda.

4. Pilih sumber kustom Anda.

5. Pilih sumber daya LUIS Anda.

6. Pilih sumber daya penulisan LUIS atau buat yang baru.

7. Klik Buat.

Setelah Anda membuat perintah kustom, Anda harus membuka Speech Studio untuk pengembangan lebih lanjut. Jika Anda membuka Speech Studio dan tidak melihat perintah kustom Anda terdaftar, ikuti langkah-langkah berikut:

1. Di panel menu sebelah kiri di Azure Percept Studio, klik Ucapan pada Proyek AI.

2. Pilih tab Perintah.

   

3. Pilih perintah kustom yang ingin Anda kembangkan. Ini membuka proyek di Speech Studio.

   

Untuk informasi lebih lanjut tentang mengembangkan perintah kustom, lihat dokumentasi Layanan Ucapan.

Pemecahan Masalah

Asisten suara sudah dibuat tetapi tidak menanggapi perintah

Periksa lampu LED pada Interposer Board:

• Tiga lampu biru pekat menunjukkan bahwa asisten suara sudah siap dan menunggu kata kunci.
• Jika LED tengah (L02) berwarna putih, devkit menyelesaikan inisialisasi dan harus dikonfigurasi dengan kata kunci.
• Jika LED tengah (L02) berkedip putih, SoM Audio belum menyelesaikan inisialisasi. Penyelesaian Inisialisasi dapat memerlukan waktu beberapa menit.

Untuk informasi lebih lanjut tentang indikator LED, silakan lihat artikel LED.

Asisten suara tidak menanggapi kata kunci kustom yang dibuat di Speech Studio

Ini dapat terjadi jika modul ucapan sudah kedaluwarsa. Ikuti langkah-langkah ini untuk memperbarui modul ucapan ke versi terbaru:

1. Klik Perangkat di panel menu sebelah kiri halaman beranda Azure Percept Studio.

2. Cari dan pilih perangkat Anda.

   

3. Di jendela perangkat, pilih tab Ucapan.

4. Periksa versi modul ucapan. Jika pembaruan tersedia, Anda akan melihat tombol Perbarui di samping nomor versi.

5. Klik Perbarui untuk menyebarkan pembaruan modul ucapan. Proses pembaruan umumnya membutuhkan waktu 2-3 menit untuk diselesaikan.

Membersihkan sumber daya

Setelah Anda selesai bekerja dengan aplikasi asisten suara Anda, ikuti langkah-langkah ini untuk membersihkan sumber suara yang Anda sebarkan selama tutorial ini:

1. Dari portal Microsoft Azure, pilih Grup sumber daya dari panel menu sebelah kiri atau ketik di bilah pencarian.

   

2. Pilih grup sumber daya Anda.

3. Pilih keenam sumber daya yang berisi awalan aplikasi Anda dan klik ikon Hapus di panel menu atas.
   

4. Untuk mengonfirmasi penghapusan, ketik ya di kotak konfirmasi, verifikasi bahwa Anda telah memilih sumber daya yang benar, dan klik Hapus.

   

Peringatan

Ini akan menghapus kata kunci khusus yang dibuat dengan sumber daya ucapan yang Anda hapus, dan demo asisten suara tidak akan berfungsi lagi.

Langkah berikutnya

Sekarang setelah Anda membuat solusi ucapan tanpa kode, coba buat solusi visi tanpa kode untuk Azure Percept DK Anda.