Menguji kualitas pengenalan model ucapan kustom
Anda dapat memeriksa kualitas pengenalan model ucapan kustom di Speech Studio. Anda dapat memutar kembali audio yang diunggah dan menentukan apakah hasil penghargaan yang diberikan sudah benar. Setelah pengujian berhasil dibuat, Anda dapat melihat bagaimana model mentranskripsikan himpunan data audio, atau membandingkan hasil dari dua model secara berdampingan.
Pengujian model berdampingan berguna untuk memvalidasi model pengenalan ucapan mana yang terbaik untuk aplikasi. Untuk ukuran akurasi objektif, yang memerlukan input himpunan data transkripsi, lihat Menguji model secara kuantitatif.
Penting
Saat pengujian, sistem akan melakukan transkripsi. Hal ini penting untuk diingat, karena harga bervariasi per penawaran layanan dan tingkat langganan. Selalu lihat harga layanan Azure AI resmi untuk detail terbaru.
Membuat pengujian
Ikuti petunjuk berikut untuk membuat pengujian:
Masuk ke Speech Studio.
Navigasikan ke ucapan Kustom Speech Studio>dan pilih nama proyek Anda dari daftar.
Pilih Model pengujian>Buat pengujian baru.
Pilih Periksa kualitas (Data audio saja)>Berikutnya.
Pilih kumpulan data audio yang ingin Anda gunakan untuk pengujian, lalu pilih Berikutnya. Jika tidak ada himpunan data yang tersedia, batalkan penyiapan, lalu buka menu Himpunan data ucapan untuk mengunggah himpunan data.
Pilih satu atau dua model untuk mengevaluasi dan membandingkan akurasi.
Masukkan nama dan deskripsi pengujian, lalu pilih Berikutnya.
Tinjau pengaturan Anda, lalu pilih Simpan dan tutup.
Untuk membuat pengujian, gunakan perintah spx csr evaluation create
. Buat parameter permintaan sesuai dengan instruksi berikut:
- Atur parameter
project
ke ID proyek yang ada. Parameter ini direkomendasikan sehingga Anda juga dapat melihat pengujian di Speech Studio. Anda dapat menjalankan perintahspx csr project list
untuk mendapatkan proyek yang tersedia. - Atur parameter
model1
yang diperlukan ke ID model yang ingin Anda uji. - Atur parameter
model2
yang diperlukan ke ID model lain yang ingin Anda uji. Jika Anda tidak ingin membandingkan dua model, gunakan model yang sama untukmodel1
danmodel2
. - Atur parameter
dataset
yang diperlukan ke ID himpunan data yang ingin Anda gunakan untuk pengujian. - Atur
language
parameter, jika tidak, Speech CLI menetapkan "en-US" secara default. Parameter ini harus menjadi lokal konten himpunan data. Lokal tidak dapat diubah nanti. Parameterlanguage
Speech CLI sesuai dengan propertilocale
dalam permintaan dan respons JSON. - Atur parameter
name
yang diperlukan. Parameter ini adalah nama yang ditampilkan di Speech Studio. Parametername
Speech CLI sesuai dengan propertidisplayName
dalam permintaan dan respons JSON.
Berikut adalah contoh perintah Speech CLI yang membuat pengujian:
spx csr evaluation create --api-version v3.1 --project 9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226 --dataset be378d9d-a9d7-4d4a-820a-e0432e8678c7 --model1 ff43e922-e3e6-4bf0-8473-55c08fd68048 --model2 1aae1070-7972-47e9-a977-87e3b05c457d --name "My Inspection" --description "My Inspection Description"
Anda akan menerima isi respons dalam format berikut:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
},
"properties": {
"wordErrorRate2": -1.0,
"wordErrorRate1": -1.0,
"sentenceErrorRate2": -1.0,
"sentenceCount2": -1,
"wordCount2": -1,
"correctWordCount2": -1,
"wordSubstitutionCount2": -1,
"wordDeletionCount2": -1,
"wordInsertionCount2": -1,
"sentenceErrorRate1": -1.0,
"sentenceCount1": -1,
"wordCount1": -1,
"correctWordCount1": -1,
"wordSubstitutionCount1": -1,
"wordDeletionCount1": -1,
"wordInsertionCount1": -1
},
"lastActionDateTime": "2022-05-20T16:42:43Z",
"status": "NotStarted",
"createdDateTime": "2022-05-20T16:42:43Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Properti self
tingkat atas dalam isi respons adalah URI evaluasi. Gunakan URI ini untuk mendapatkan detail tentang proyek dan hasil pengujian. Anda juga menggunakan URI ini untuk memperbarui atau menghapus evaluasi.
Untuk bantuan Speech CLI dengan evaluasi, jalankan perintah berikut:
spx help csr evaluation
Untuk membuat pengujian, gunakan operasi Evaluations_Create REST API Ucapan ke teks. Buat isi permintaan sesuai dengan instruksi berikut:
- Atur properti
project
ke URI proyek yang ada. Properti ini direkomendasikan sehingga Anda juga dapat melihat pengujian di Speech Studio. Anda dapat membuat permintaan Projects_List untuk mendapatkan proyek yang tersedia. - Atur properti
model1
yang diperlukan ke URI model yang ingin Anda uji. - Atur properti
model2
yang diperlukan ke URI model lain yang ingin Anda uji. Jika Anda tidak ingin membandingkan dua model, gunakan model yang sama untukmodel1
danmodel2
. - Atur properti
dataset
yang diperlukan ke URI himpunan data yang ingin Anda gunakan untuk pengujian. - Atur properti
locale
yang diperlukan. Properti ini harus menjadi lokal konten himpunan data. Lokal tidak dapat diubah nanti. - Atur properti
displayName
yang diperlukan. Properti ini adalah nama yang ditampilkan di Speech Studio.
Buat permintaan HTTP POST menggunakan URI seperti yang ditunjukkan dalam contoh berikut. Ganti YourSubscriptionKey
dengan kunci sumber daya Ucapan Anda, ganti YourServiceRegion
dengan wilayah sumber daya Ucapan Anda, dan atur properti isi permintaan seperti yang dijelaskan sebelumnya.
curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
},
"displayName": "My Inspection",
"description": "My Inspection Description",
"locale": "en-US"
}' "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations"
Anda akan menerima isi respons dalam format berikut:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
},
"properties": {
"wordErrorRate2": -1.0,
"wordErrorRate1": -1.0,
"sentenceErrorRate2": -1.0,
"sentenceCount2": -1,
"wordCount2": -1,
"correctWordCount2": -1,
"wordSubstitutionCount2": -1,
"wordDeletionCount2": -1,
"wordInsertionCount2": -1,
"sentenceErrorRate1": -1.0,
"sentenceCount1": -1,
"wordCount1": -1,
"correctWordCount1": -1,
"wordSubstitutionCount1": -1,
"wordDeletionCount1": -1,
"wordInsertionCount1": -1
},
"lastActionDateTime": "2022-05-20T16:42:43Z",
"status": "NotStarted",
"createdDateTime": "2022-05-20T16:42:43Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Properti self
tingkat atas dalam isi respons adalah URI evaluasi. Gunakan URI ini untuk mendapatkan detail tentang proyek evaluasi dan hasil pengujian. Anda juga menggunakan URI ini untuk memperbarui atau menghapus evaluasi.
Mendapatkan hasil pengujian
Anda harus mendapatkan hasil pengujian dan memeriksa himpunan data audio dibandingkan dengan hasil transkripsi untuk setiap model.
Ikuti langkah-langkah berikut untuk mendapatkan hasil pengujian:
- Masuk ke Speech Studio.
- Pilih Ucapan> kustom Model pengujian nama >proyek Anda.
- Pilih link berdasarkan nama pengujian.
- Setelah pengujian selesai, seperti yang ditunjukkan oleh status yang diatur ke Berhasil, Anda akan melihat hasil yang menyertakan nomor WER untuk setiap model yang diuji.
Halaman ini mencantumkan semua ungkapan dalam himpunan data Anda dan hasil pengenalan, serta transkripsi dari himpunan data yang dikirim. Anda dapat beralih ke berbagai jenis kesalahan, termasuk penyisipan, penghapusan, dan penggantian. Dengan mendengarkan audio dan membandingkan hasil pengenalan di setiap kolom, Anda dapat memutuskan model mana yang memenuhi kebutuhan Anda dan menentukan di mana lebih banyak pelatihan dan peningkatan diperlukan.
Untuk mendapatkan hasil pengujian, gunakan perintah spx csr evaluation status
. Buat parameter permintaan sesuai dengan instruksi berikut:
- Atur parameter
evaluation
yang diperlukan ke ID evaluasi yang ingin Anda dapatkan hasil pengujiannya.
Berikut adalah contoh perintah Speech CLI yang mendapatkan hasil pengujian:
spx csr evaluation status --api-version v3.1 --evaluation 8bfe6b05-f093-4ab4-be7d-180374b751ca
Model, himpunan data audio, transkripsi, dan detail selengkapnya dikembalikan dalam isi respons.
Anda akan menerima isi respons dalam format berikut:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
},
"properties": {
"wordErrorRate2": 4.62,
"wordErrorRate1": 4.6,
"sentenceErrorRate2": 66.7,
"sentenceCount2": 3,
"wordCount2": 173,
"correctWordCount2": 166,
"wordSubstitutionCount2": 7,
"wordDeletionCount2": 0,
"wordInsertionCount2": 1,
"sentenceErrorRate1": 66.7,
"sentenceCount1": 3,
"wordCount1": 174,
"correctWordCount1": 166,
"wordSubstitutionCount1": 7,
"wordDeletionCount1": 1,
"wordInsertionCount1": 0
},
"lastActionDateTime": "2022-05-20T16:42:56Z",
"status": "Succeeded",
"createdDateTime": "2022-05-20T16:42:43Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Untuk bantuan Speech CLI dengan evaluasi, jalankan perintah berikut:
spx help csr evaluation
Untuk mendapatkan hasil pengujian, mulailah dengan menggunakan operasi Evaluations_Get REST API Ucapan ke teks.
Buat permintaan HTTP GET menggunakan URI seperti yang ditunjukkan dalam contoh berikut. Ganti YourEvaluationId
dengan ID evaluasi Anda, ganti YourSubscriptionKey
dengan kunci sumber Ucapan Anda, dan ganti YourServiceRegion
dengan wilayah sumber Ucapan Anda.
curl -v -X GET "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/YourEvaluationId" -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey"
Model, himpunan data audio, transkripsi, dan detail selengkapnya dikembalikan dalam isi respons.
Anda akan menerima isi respons dalam format berikut:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
},
"properties": {
"wordErrorRate2": 4.62,
"wordErrorRate1": 4.6,
"sentenceErrorRate2": 66.7,
"sentenceCount2": 3,
"wordCount2": 173,
"correctWordCount2": 166,
"wordSubstitutionCount2": 7,
"wordDeletionCount2": 0,
"wordInsertionCount2": 1,
"sentenceErrorRate1": 66.7,
"sentenceCount1": 3,
"wordCount1": 174,
"correctWordCount1": 166,
"wordSubstitutionCount1": 7,
"wordDeletionCount1": 1,
"wordInsertionCount1": 0
},
"lastActionDateTime": "2022-05-20T16:42:56Z",
"status": "Succeeded",
"createdDateTime": "2022-05-20T16:42:43Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Membandingkan transkripsi dengan audio
Anda dapat memeriksa output transkripsi oleh setiap model yang diuji, terhadap himpunan data input audio. Jika Anda menyertakan dua model dalam pengujian, Anda dapat membandingkan kualitas transkripsinya secara berdampingan.
Untuk meninjau kualitas transkripsi:
- Masuk ke Speech Studio.
- Pilih Ucapan> kustom Model pengujian nama >proyek Anda.
- Pilih link berdasarkan nama pengujian.
- Putar file audio saat membaca transkripsi yang sesuai oleh model.
Jika himpunan data pengujian menyertakan beberapa file audio, Anda akan melihat beberapa baris dalam tabel. Jika Anda menyertakan dua model dalam pengujian, transkripsi ditampilkan dalam kolom berdampingan. Perbedaan transkripsi antar model ditampilkan dalam font teks biru.
Himpunan data pengujian audio, transkripsi, dan model yang diuji dikembalikan dalam hasil pengujian. Jika hanya satu model yang diuji, nilainya model1
cocok model2
, dan nilainya transcription1
cocok transcription2
.
Untuk meninjau kualitas transkripsi:
- Unduh himpunan data pengujian audio, kecuali Anda sudah memiliki salinannya.
- Unduh transkripsi output.
- Putar file audio saat membaca transkripsi yang sesuai oleh model.
Jika Anda membandingkan kualitas antara dua model, perhatikan perbedaan antara transkripsi setiap model.
Himpunan data pengujian audio, transkripsi, dan model yang diuji dikembalikan dalam hasil pengujian. Jika hanya satu model yang diuji, nilainya model1
cocok model2
, dan nilainya transcription1
cocok transcription2
.
Untuk meninjau kualitas transkripsi:
- Unduh himpunan data pengujian audio, kecuali Anda sudah memiliki salinannya.
- Unduh transkripsi output.
- Putar file audio saat membaca transkripsi yang sesuai oleh model.
Jika Anda membandingkan kualitas antara dua model, perhatikan perbedaan antara transkripsi setiap model.