Özel konuşma modelinin tanıma kalitesini test etme

Makale
01/22/2024

Speech Studio'da özel konuşma modelinin tanıma kalitesini inceleyebilirsiniz. Karşıya yüklenen sesi oynatabilir ve sağlanan tanıma sonucunun doğru olup olmadığını belirleyebilirsiniz. Bir test başarıyla oluşturulduktan sonra, bir modelin ses veri kümesinin dökümünü nasıl atıldığını görebilir veya iki modelin sonuçlarını yan yana karşılaştırabilirsiniz.

Yan yana model testi, bir uygulama için hangi konuşma tanıma modelinin en iyi olduğunu doğrulamak için yararlıdır. Transkripsiyon veri kümesi girişi gerektiren objektif doğruluk ölçümü için bkz . Modeli nicel olarak test etme.

Önemli

Test sırasında sistem bir transkripsiyon gerçekleştirir. Fiyatlandırma hizmet teklifine ve abonelik düzeyine göre farklılık gösterdiği için bu durumu göz önünde bulundurmak önemlidir. En son ayrıntılar için her zaman resmi Azure AI hizmetleri fiyatlandırmasına bakın.

Test oluşturun

Test oluşturmak için şu yönergeleri izleyin:

Speech Studio'da oturum açın.
Speech Studio>Özel konuşma'yagidin ve listeden proje adınızı seçin.
Test modelleri>Yeni test oluştur'u seçin.
Kaliteyi denetle (Yalnızca ses verileri)İleri'yi> seçin.
Test için kullanmak istediğiniz ses veri kümesini seçin ve ardından İleri'yi seçin. Kullanılabilir veri kümesi yoksa kurulumu iptal edin ve veri kümelerini karşıya yüklemek için Konuşma veri kümeleri menüsüne gidin.
Doğruluğu değerlendirmek ve karşılaştırmak için bir veya iki model seçin.
Test adını ve açıklamasını girin ve İleri'yi seçin.
Ayarlarınızı gözden geçirin ve kaydet ve kapat'ı seçin.

Test oluşturmak için komutunu kullanın spx csr evaluation create . İstek parametrelerini aşağıdaki yönergelere göre oluşturun:

parametresini project var olan bir projenin kimliğine ayarlayın. Testi Speech Studio'da da görüntüleyebilmeniz için bu parametre önerilir. Kullanılabilir projeleri almak için komutunu çalıştırabilirsiniz spx csr project list .
Gerekli model1 parametreyi test etmek istediğiniz modelin kimliğine ayarlayın.
Gerekli model2 parametreyi test etmek istediğiniz başka bir modelin kimliğine ayarlayın. İki modeli karşılaştırmak istemiyorsanız hem hem de model1model2için aynı modeli kullanın.
Gerekli dataset parametreyi test için kullanmak istediğiniz veri kümesinin kimliğine ayarlayın.
Parametresini language ayarlayın, aksi takdirde Konuşma CLI'sı varsayılan olarak "en-US" değerini ayarlar. Bu parametre, veri kümesi içeriğinin yerel ayarı olmalıdır. Yerel ayar daha sonra değiştirilemez. Konuşma CLI language parametresi, JSON isteğindeki ve yanıttaki özelliğine karşılık gelir locale .
Gerekli name parametreyi ayarlayın. Bu parametre, Speech Studio'da görüntülenen addır. Konuşma CLI name parametresi, JSON isteğindeki ve yanıttaki özelliğine karşılık gelir displayName .

Aşağıda test oluşturan örnek bir Konuşma CLI komutu verilmişti:

spx csr evaluation create --api-version v3.1 --project 9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226 --dataset be378d9d-a9d7-4d4a-820a-e0432e8678c7 --model1 ff43e922-e3e6-4bf0-8473-55c08fd68048 --model2 1aae1070-7972-47e9-a977-87e3b05c457d --name "My Inspection" --description "My Inspection Description"

Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

Yanıt gövdesindeki en üst düzey self özellik, değerlendirmenin URI'dir. Proje ve test sonuçlarıyla ilgili ayrıntıları almak için bu URI'yi kullanın. Değerlendirmeyi güncelleştirmek veya silmek için de bu URI'yi kullanırsınız.

Değerlendirmelerle ilgili Konuşma CLI'sı yardımı için aşağıdaki komutu çalıştırın:

spx help csr evaluation

Test oluşturmak için Konuşmayı metne dönüştürme REST API'sinin Evaluations_Create işlemini kullanın. İstek gövdesini aşağıdaki yönergelere göre oluşturun:

project özelliğini mevcut bir projenin URI'sine ayarlayın. Testi Speech Studio'da da görüntüleyebilmeniz için bu özellik önerilir. Kullanılabilir projeleri almak için Projects_List isteğinde bulunabilirsiniz.
Gerekli model1 özelliği test etmek istediğiniz modelin URI'sine ayarlayın.
Gerekli model2 özelliği test etmek istediğiniz başka bir modelin URI'sine ayarlayın. İki modeli karşılaştırmak istemiyorsanız hem hem de model1model2için aynı modeli kullanın.
Gerekli dataset özelliği test için kullanmak istediğiniz veri kümesinin URI'sine ayarlayın.
Gerekli locale özelliği ayarlayın. Bu özellik, veri kümesi içeriğinin yerel ayarı olmalıdır. Yerel ayar daha sonra değiştirilemez.
Gerekli displayName özelliği ayarlayın. Bu özellik, Speech Studio'da görüntülenen addır.

Aşağıdaki örnekte gösterildiği gibi URI'yi kullanarak bir HTTP POST isteği oluşturun. değerini Konuşma kaynak anahtarınız ile değiştirin YourSubscriptionKey , değerini Konuşma kaynağı bölgenizle değiştirin YourServiceRegion ve istek gövdesi özelliklerini daha önce açıklandığı gibi ayarlayın.

curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "displayName": "My Inspection",
  "description": "My Inspection Description",
  "locale": "en-US"
}'  "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations"

Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

Yanıt gövdesindeki en üst düzey self özellik, değerlendirmenin URI'dir. Değerlendirmenin projesi ve test sonuçlarıyla ilgili ayrıntıları almak için bu URI'yi kullanın. Değerlendirmeyi güncelleştirmek veya silmek için de bu URI'yi kullanırsınız .

Test sonuçlarını alma

Test sonuçlarını almanız ve her model için transkripsiyon sonuçlarıyla karşılaştırıldığında ses veri kümelerini incelemeniz gerekir.

Test sonuçlarını almak için şu adımları izleyin:

Speech Studio'da oturum açın.
Özel konuşma Projenizin adı> Test modelleri'ne tıklayın.>
Bağlantıyı test adına göre seçin.
Test tamamlandıktan sonra, durumu Başarılı olarak ayarlandığında gösterildiği gibi, test edilen her model için WER numarasını içeren sonuçlar görmeniz gerekir.

Bu sayfada veri kümenizdeki tüm konuşmalar ve tanıma sonuçları, gönderilen veri kümesinden alınan transkripsiyon listelenir. Ekleme, silme ve değiştirme gibi çeşitli hata türlerini değiştirebilirsiniz. Sesi dinleyerek ve her sütundaki tanıma sonuçlarını karşılaştırarak, hangi modelin gereksinimlerinizi karşıladığına karar verebilir ve daha fazla eğitim ve geliştirmenin nerede gerekli olduğunu belirleyebilirsiniz.

Test sonuçlarını almak için komutunu kullanın spx csr evaluation status . İstek parametrelerini aşağıdaki yönergelere göre oluşturun:

Gerekli evaluation parametreyi, test sonuçlarını almak istediğiniz değerlendirmenin kimliğine ayarlayın.

Test sonuçlarını alan örnek bir Konuşma CLI komutu aşağıda verilmişti:

spx csr evaluation status --api-version v3.1 --evaluation 8bfe6b05-f093-4ab4-be7d-180374b751ca

Modeller, ses veri kümesi, transkripsiyonlar ve diğer ayrıntılar yanıt gövdesinde döndürülür.

Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

Değerlendirmelerle ilgili Konuşma CLI'sı yardımı için aşağıdaki komutu çalıştırın:

spx help csr evaluation

Test sonuçlarını almak için konuşmayı metne dönüştürme REST API'sinin Evaluations_Get işlemini kullanarak başlayın.

Aşağıdaki örnekte gösterildiği gibi URI'yi kullanarak bir HTTP GET isteği oluşturun. değerini YourEvaluationId değerlendirme kimliğiniz ile değiştirin, değerini YourSubscriptionKey Konuşma kaynak anahtarınızla değiştirin ve yerine YourServiceRegion Konuşma kaynak bölgenizi yazın.

curl -v -X GET "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/YourEvaluationId" -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey"

Modeller, ses veri kümesi, transkripsiyonlar ve diğer ayrıntılar yanıt gövdesinde döndürülür.

Aşağıdaki biçimde bir yanıt gövdesi almanız gerekir:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

Transkripsiyonu ses ile karşılaştırma

Test edilen her modelin transkripsiyon çıkışını ses giriş veri kümesine göre inceleyebilirsiniz. Teste iki model eklediyseniz transkripsiyon kalitesini yan yana karşılaştırabilirsiniz.

Transkripsiyonların kalitesini gözden geçirmek için:

Speech Studio'da oturum açın.
Özel konuşma Projenizin adı> Test modelleri'ne tıklayın.>
Bağlantıyı test adına göre seçin.
Modele göre ilgili transkripsiyonu okurken ses dosyasını yürüt.

Test veri kümesi birden çok ses dosyası içeriyorsa tabloda birden çok satır görürsünüz. Teste iki model eklediyseniz transkripsiyonlar yan yana sütunlarda gösterilir. Modeller arasındaki transkripsiyon farklılıkları mavi metin yazı tipinde gösterilir.

transkripsiyonları iki modele göre karşılaştırma ekran görüntüsü

Test edilen ses testi veri kümesi, transkripsiyonlar ve modeller test sonuçlarında döndürülür. Yalnızca bir model test edildiyse, model1 değer ile eşleşir model2transcription1 ve değer ile eşleşirtranscription2.

Transkripsiyonların kalitesini gözden geçirmek için:

Zaten bir kopyanız yoksa ses testi veri kümesini indirin.
Çıktı transkripsiyonlarını indirin.
Modele göre ilgili transkripsiyonu okurken ses dosyasını yürüt.

İki model arasındaki kaliteyi karşılaştırıyorsanız, her modelin transkripsiyonları arasındaki farklara özellikle dikkat edin.

Transkripsiyonların kalitesini gözden geçirmek için:

Zaten bir kopyanız yoksa ses testi veri kümesini indirin.
Çıktı transkripsiyonlarını indirin.
Modele göre ilgili transkripsiyonu okurken ses dosyasını yürüt.

İki model arasındaki kaliteyi karşılaştırıyorsanız, her modelin transkripsiyonları arasındaki farklara özellikle dikkat edin.

Özel konuşma modelinin tanıma kalitesini test etme

Test oluşturun

Test sonuçlarını alma

Transkripsiyonu ses ile karşılaştırma

Sonraki adımlar

Ek kaynaklar