Özel konuşma modelinin tanıma kalitesini test etme
Speech Studio'da özel konuşma modelinin tanıma kalitesini inceleyebilirsiniz. Karşıya yüklenen sesi oynatabilir ve sağlanan tanıma sonucunun doğru olup olmadığını belirleyebilirsiniz. Bir test başarıyla oluşturulduktan sonra, bir modelin ses veri kümesinin dökümünü nasıl atıldığını görebilir veya iki modelin sonuçlarını yan yana karşılaştırabilirsiniz.
Yan yana model testi, bir uygulama için hangi konuşma tanıma modelinin en iyi olduğunu doğrulamak için yararlıdır. Transkripsiyon veri kümesi girişi gerektiren objektif doğruluk ölçümü için bkz . Modeli nicel olarak test etme.
Önemli
Test sırasında sistem bir transkripsiyon gerçekleştirir. Fiyatlandırma hizmet teklifine ve abonelik düzeyine göre farklılık gösterdiği için bu durumu göz önünde bulundurmak önemlidir. En son ayrıntılar için her zaman resmi Azure AI hizmetleri fiyatlandırmasına bakın.
Test oluşturun
Test oluşturmak için şu yönergeleri izleyin:
Speech Studio>Özel konuşma'ya gidin ve listeden proje adınızı seçin.
Test modelleri>Yeni test oluştur'u seçin.
Kaliteyi denetle (Yalnızca ses verileri)İleri'yi> seçin.
Test için kullanmak istediğiniz ses veri kümesini seçin ve ardından İleri'yi seçin. Kullanılabilir veri kümesi yoksa kurulumu iptal edin ve veri kümelerini karşıya yüklemek için Konuşma veri kümeleri menüsüne gidin.
Doğruluğu değerlendirmek ve karşılaştırmak için bir veya iki model seçin.
Test adını ve açıklamasını girin ve İleri'yi seçin.
Ayarlarınızı gözden geçirin ve kaydet ve kapat'ı seçin.
Test oluşturmak için komutunu kullanın spx csr evaluation create
. İstek parametrelerini aşağıdaki yönergelere göre oluşturun:
- parametresini
project
var olan bir projenin kimliğine ayarlayın. Testi Speech Studio'da da görüntüleyebilmeniz için bu parametre önerilir. Kullanılabilir projeleri almak için komutunu çalıştırabilirsinizspx csr project list
. - Gerekli
model1
parametreyi test etmek istediğiniz modelin kimliğine ayarlayın. - Gerekli
model2
parametreyi test etmek istediğiniz başka bir modelin kimliğine ayarlayın. İki modeli karşılaştırmak istemiyorsanız hem hem demodel1
model2
için aynı modeli kullanın. - Gerekli
dataset
parametreyi test için kullanmak istediğiniz veri kümesinin kimliğine ayarlayın. - Parametresini
language
ayarlayın, aksi takdirde Konuşma CLI'sı varsayılan olarak "en-US" değerini ayarlar. Bu parametre, veri kümesi içeriğinin yerel ayarı olmalıdır. Yerel ayar daha sonra değiştirilemez. Konuşma CLIlanguage
parametresi, JSON isteğindeki ve yanıttaki özelliğine karşılık gelirlocale
. - Gerekli
name
parametreyi ayarlayın. Bu parametre, Speech Studio'da görüntülenen addır. Konuşma CLIname
parametresi, JSON isteğindeki ve yanıttaki özelliğine karşılık gelirdisplayName
.
Aşağıda test oluşturan örnek bir Konuşma CLI komutu verilmişti:
spx csr evaluation create --api-version v3.2 --project 0198f569-cc11-4099-a0e8-9d55bc3d0c52 --dataset 23b6554d-21f9-4df1-89cb-f84510ac8d23 --model1 13fb305e-09ad-4bce-b3a1-938c9124dda3 --model2 13fb305e-09ad-4bce-b3a1-938c9124dda3 --name "My Inspection" --description "My Inspection Description"
Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/datasets/23b6554d-21f9-4df1-89cb-f84510ac8d23"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/projects/0198f569-cc11-4099-a0e8-9d55bc3d0c52"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac/files"
},
"properties": {
"wordErrorRate1": -1.0,
"sentenceErrorRate1": -1.0,
"sentenceCount1": -1,
"wordCount1": -1,
"correctWordCount1": -1,
"wordSubstitutionCount1": -1,
"wordDeletionCount1": -1,
"wordInsertionCount1": -1,
"wordErrorRate2": -1.0,
"sentenceErrorRate2": -1.0,
"sentenceCount2": -1,
"wordCount2": -1,
"correctWordCount2": -1,
"wordSubstitutionCount2": -1,
"wordDeletionCount2": -1,
"wordInsertionCount2": -1
},
"lastActionDateTime": "2024-07-14T21:21:39Z",
"status": "NotStarted",
"createdDateTime": "2024-07-14T21:21:39Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Yanıt gövdesindeki en üst düzey self
özellik, değerlendirmenin URI'dir. Proje ve test sonuçlarıyla ilgili ayrıntıları almak için bu URI'yi kullanın. Değerlendirmeyi güncelleştirmek veya silmek için de bu URI'yi kullanırsınız.
Değerlendirmelerle ilgili Konuşma CLI'sı yardımı için aşağıdaki komutu çalıştırın:
spx help csr evaluation
Test oluşturmak için Konuşmayı metne dönüştürme REST API'sinin Evaluations_Create işlemini kullanın. İstek gövdesini aşağıdaki yönergelere göre oluşturun:
project
özelliğini mevcut bir projenin URI'sine ayarlayın. Testi Speech Studio'da da görüntüleyebilmeniz için bu özellik önerilir. Kullanılabilir projeleri almak için Projects_List isteğinde bulunabilirsiniz.- Gerekli
model1
özelliği test etmek istediğiniz modelin URI'sine ayarlayın. - Gerekli
model2
özelliği test etmek istediğiniz başka bir modelin URI'sine ayarlayın. İki modeli karşılaştırmak istemiyorsanız hem hem demodel1
model2
için aynı modeli kullanın. - Gerekli
dataset
özelliği test için kullanmak istediğiniz veri kümesinin URI'sine ayarlayın. - Gerekli
locale
özelliği ayarlayın. Bu özellik, veri kümesi içeriğinin yerel ayarı olmalıdır. Yerel ayar daha sonra değiştirilemez. - Gerekli
displayName
özelliği ayarlayın. Bu özellik, Speech Studio'da görüntülenen addır.
Aşağıdaki örnekte gösterildiği gibi URI'yi kullanarak bir HTTP POST isteği oluşturun. değerini Konuşma kaynak anahtarınız ile değiştirin YourSubscriptionKey
, değerini Konuşma kaynağı bölgenizle değiştirin YourServiceRegion
ve istek gövdesi özelliklerini daha önce açıklandığı gibi ayarlayın.
curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/datasets/23b6554d-21f9-4df1-89cb-f84510ac8d23"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/projects/0198f569-cc11-4099-a0e8-9d55bc3d0c52"
},
"displayName": "My Inspection",
"description": "My Inspection Description",
"locale": "en-US"
}' "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations"
Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/datasets/23b6554d-21f9-4df1-89cb-f84510ac8d23"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/projects/0198f569-cc11-4099-a0e8-9d55bc3d0c52"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac/files"
},
"properties": {
"wordErrorRate1": -1.0,
"sentenceErrorRate1": -1.0,
"sentenceCount1": -1,
"wordCount1": -1,
"correctWordCount1": -1,
"wordSubstitutionCount1": -1,
"wordDeletionCount1": -1,
"wordInsertionCount1": -1,
"wordErrorRate2": -1.0,
"sentenceErrorRate2": -1.0,
"sentenceCount2": -1,
"wordCount2": -1,
"correctWordCount2": -1,
"wordSubstitutionCount2": -1,
"wordDeletionCount2": -1,
"wordInsertionCount2": -1
},
"lastActionDateTime": "2024-07-14T21:21:39Z",
"status": "NotStarted",
"createdDateTime": "2024-07-14T21:21:39Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Yanıt gövdesindeki en üst düzey self
özellik, değerlendirmenin URI'dir. Değerlendirmenin projesi ve test sonuçlarıyla ilgili ayrıntıları almak için bu URI'yi kullanın. Değerlendirmeyi güncelleştirmek veya silmek için de bu URI'yi kullanırsınız.
Test sonuçlarını alma
Test sonuçlarını almanız ve her model için transkripsiyon sonuçlarıyla karşılaştırıldığında ses veri kümelerini incelemeniz gerekir.
Test sonuçlarını almak için şu adımları izleyin:
- Speech Studio'da oturum açın.
- Özel konuşma Projenizin adı> Test modelleri'ne tıklayın.>
- Bağlantıyı test adına göre seçin.
- Test tamamlandıktan sonra, durumu Başarılı olarak ayarlandığında gösterildiği gibi, test edilen her model için WER numarasını içeren sonuçlar görmeniz gerekir.
Bu sayfada veri kümenizdeki tüm konuşmalar ve tanıma sonuçları, gönderilen veri kümesinden alınan transkripsiyon listelenir. Ekleme, silme ve değiştirme gibi çeşitli hata türlerini değiştirebilirsiniz. Sesi dinleyerek ve her sütundaki tanıma sonuçlarını karşılaştırarak, hangi modelin gereksinimlerinizi karşıladığına karar verebilir ve daha fazla eğitim ve geliştirmenin nerede gerekli olduğunu belirleyebilirsiniz.
Test sonuçlarını almak için komutunu kullanın spx csr evaluation status
. İstek parametrelerini aşağıdaki yönergelere göre oluşturun:
- Gerekli
evaluation
parametreyi, test sonuçlarını almak istediğiniz değerlendirmenin kimliğine ayarlayın.
Test sonuçlarını alan örnek bir Konuşma CLI komutu aşağıda verilmişti:
spx csr evaluation status --api-version v3.2 --evaluation 9c06d5b1-213f-4a16-9069-bc86efacdaac
Modeller, ses veri kümesi, transkripsiyonlar ve diğer ayrıntılar yanıt gövdesinde döndürülür.
Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/datasets/23b6554d-21f9-4df1-89cb-f84510ac8d23"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/projects/0198f569-cc11-4099-a0e8-9d55bc3d0c52"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac/files"
},
"properties": {
"wordErrorRate1": 0.028900000000000002,
"sentenceErrorRate1": 0.667,
"tokenErrorRate1": 0.12119999999999999,
"sentenceCount1": 3,
"wordCount1": 173,
"correctWordCount1": 170,
"wordSubstitutionCount1": 2,
"wordDeletionCount1": 1,
"wordInsertionCount1": 2,
"tokenCount1": 165,
"correctTokenCount1": 145,
"tokenSubstitutionCount1": 10,
"tokenDeletionCount1": 1,
"tokenInsertionCount1": 9,
"tokenErrors1": {
"punctuation": {
"numberOfEdits": 4,
"percentageOfAllEdits": 20.0
},
"capitalization": {
"numberOfEdits": 2,
"percentageOfAllEdits": 10.0
},
"inverseTextNormalization": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
},
"lexical": {
"numberOfEdits": 12,
"percentageOfAllEdits": 12.0
},
"others": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
}
},
"wordErrorRate2": 0.028900000000000002,
"sentenceErrorRate2": 0.667,
"tokenErrorRate2": 0.12119999999999999,
"sentenceCount2": 3,
"wordCount2": 173,
"correctWordCount2": 170,
"wordSubstitutionCount2": 2,
"wordDeletionCount2": 1,
"wordInsertionCount2": 2,
"tokenCount2": 165,
"correctTokenCount2": 145,
"tokenSubstitutionCount2": 10,
"tokenDeletionCount2": 1,
"tokenInsertionCount2": 9,
"tokenErrors2": {
"punctuation": {
"numberOfEdits": 4,
"percentageOfAllEdits": 20.0
},
"capitalization": {
"numberOfEdits": 2,
"percentageOfAllEdits": 10.0
},
"inverseTextNormalization": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
},
"lexical": {
"numberOfEdits": 12,
"percentageOfAllEdits": 12.0
},
"others": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
}
}
},
"lastActionDateTime": "2024-07-14T21:22:45Z",
"status": "Succeeded",
"createdDateTime": "2024-07-14T21:21:39Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Değerlendirmelerle ilgili Konuşma CLI'sı yardımı için aşağıdaki komutu çalıştırın:
spx help csr evaluation
Test sonuçlarını almak için konuşmayı metne dönüştürme REST API'sinin Evaluations_Get işlemini kullanarak başlayın.
Aşağıdaki örnekte gösterildiği gibi URI'yi kullanarak bir HTTP GET isteği oluşturun. değerini YourEvaluationId
değerlendirme kimliğiniz ile değiştirin, değerini YourSubscriptionKey
Konuşma kaynak anahtarınızla değiştirin ve yerine YourServiceRegion
Konuşma kaynak bölgenizi yazın.
curl -v -X GET "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/YourEvaluationId" -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey"
Modeller, ses veri kümesi, transkripsiyonlar ve diğer ayrıntılar yanıt gövdesinde döndürülür.
Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:
{
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac",
"model1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"model2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/models/base/13fb305e-09ad-4bce-b3a1-938c9124dda3"
},
"dataset": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/datasets/23b6554d-21f9-4df1-89cb-f84510ac8d23"
},
"transcription2": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"transcription1": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/transcriptions/b50642a8-febf-43e1-b9d3-e0c90b82a62a"
},
"project": {
"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/projects/0198f569-cc11-4099-a0e8-9d55bc3d0c52"
},
"links": {
"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.2/evaluations/9c06d5b1-213f-4a16-9069-bc86efacdaac/files"
},
"properties": {
"wordErrorRate1": 0.028900000000000002,
"sentenceErrorRate1": 0.667,
"tokenErrorRate1": 0.12119999999999999,
"sentenceCount1": 3,
"wordCount1": 173,
"correctWordCount1": 170,
"wordSubstitutionCount1": 2,
"wordDeletionCount1": 1,
"wordInsertionCount1": 2,
"tokenCount1": 165,
"correctTokenCount1": 145,
"tokenSubstitutionCount1": 10,
"tokenDeletionCount1": 1,
"tokenInsertionCount1": 9,
"tokenErrors1": {
"punctuation": {
"numberOfEdits": 4,
"percentageOfAllEdits": 20.0
},
"capitalization": {
"numberOfEdits": 2,
"percentageOfAllEdits": 10.0
},
"inverseTextNormalization": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
},
"lexical": {
"numberOfEdits": 12,
"percentageOfAllEdits": 12.0
},
"others": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
}
},
"wordErrorRate2": 0.028900000000000002,
"sentenceErrorRate2": 0.667,
"tokenErrorRate2": 0.12119999999999999,
"sentenceCount2": 3,
"wordCount2": 173,
"correctWordCount2": 170,
"wordSubstitutionCount2": 2,
"wordDeletionCount2": 1,
"wordInsertionCount2": 2,
"tokenCount2": 165,
"correctTokenCount2": 145,
"tokenSubstitutionCount2": 10,
"tokenDeletionCount2": 1,
"tokenInsertionCount2": 9,
"tokenErrors2": {
"punctuation": {
"numberOfEdits": 4,
"percentageOfAllEdits": 20.0
},
"capitalization": {
"numberOfEdits": 2,
"percentageOfAllEdits": 10.0
},
"inverseTextNormalization": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
},
"lexical": {
"numberOfEdits": 12,
"percentageOfAllEdits": 12.0
},
"others": {
"numberOfEdits": 1,
"percentageOfAllEdits": 5.0
}
}
},
"lastActionDateTime": "2024-07-14T21:22:45Z",
"status": "Succeeded",
"createdDateTime": "2024-07-14T21:21:39Z",
"locale": "en-US",
"displayName": "My Inspection",
"description": "My Inspection Description"
}
Transkripsiyonu ses ile karşılaştırma
Test edilen her modelin transkripsiyon çıkışını ses giriş veri kümesine göre inceleyebilirsiniz. Teste iki model eklediyseniz transkripsiyon kalitesini yan yana karşılaştırabilirsiniz.
Transkripsiyonların kalitesini gözden geçirmek için:
- Speech Studio'da oturum açın.
- Özel konuşma Projenizin adı> Test modelleri'ne tıklayın.>
- Bağlantıyı test adına göre seçin.
- Modele göre ilgili transkripsiyonu okurken ses dosyasını yürüt.
Test veri kümesi birden çok ses dosyası içeriyorsa tabloda birden çok satır görürsünüz. Teste iki model eklediyseniz transkripsiyonlar yan yana sütunlarda gösterilir. Modeller arasındaki transkripsiyon farklılıkları mavi metin yazı tipinde gösterilir.
Test edilen ses testi veri kümesi, transkripsiyonlar ve modeller test sonuçlarında döndürülür. Yalnızca bir model test edildiyse, model1
değer ile eşleşir model2
transcription1
ve değer ile eşleşirtranscription2
.
Transkripsiyonların kalitesini gözden geçirmek için:
- Zaten bir kopyanız yoksa ses testi veri kümesini indirin.
- Çıktı transkripsiyonlarını indirin.
- Modele göre ilgili transkripsiyonu okurken ses dosyasını yürüt.
İki model arasındaki kaliteyi karşılaştırıyorsanız, her modelin transkripsiyonları arasındaki farklara özellikle dikkat edin.
Test edilen ses testi veri kümesi, transkripsiyonlar ve modeller test sonuçlarında döndürülür. Yalnızca bir model test edildiyse, model1
değer ile eşleşir model2
transcription1
ve değer ile eşleşirtranscription2
.
Transkripsiyonların kalitesini gözden geçirmek için:
- Zaten bir kopyanız yoksa ses testi veri kümesini indirin.
- Çıktı transkripsiyonlarını indirin.
- Modele göre ilgili transkripsiyonu okurken ses dosyasını yürüt.
İki model arasındaki kaliteyi karşılaştırıyorsanız, her modelin transkripsiyonları arasındaki farklara özellikle dikkat edin.