Microsoft Foundry portalında söyleniş değerlendirmesi

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Söyleniş değerlendirmesi, dil öğrencilerine öznel ve nesnel geri bildirim sağlamak için konuşmayı metne dönüştürme özelliğini kullanır. Telaffuz alıştırması yapmak ve zamanında geri bildirim almak, dil becerilerini geliştirmek için gereklidir. Deneyimli öğretmenler tarafından yapılan değerlendirmeler çok zaman alabilir ve öğrenciler için pahalı olabilir. Söyleniş değerlendirmesi, sürecin tüm arka planlardan öğrenenler için daha ilgi çekici ve erişilebilir olmasını sağlamaya yardımcı olabilir.

Bu makalede , Microsoft Foundry portalı aracılığıyla herhangi bir kod yazmadan söyleniş değerlendirme aracının nasıl kullanılacağı açıklanmaktadır. Söyleyiş değerlendirmesini konuşma uygulamalarınıza entegre etme hakkında bilgi için bkz. Telaffuz değerlendirmesinin nasıl kullanılacağı.

Not

Söyleniş değerlendirmesinin kullanılabilirliği hakkında bilgi için bkz . Desteklenen diller ve kullanılabilir bölgeler.

Okuma, konuşma ve oyun senaryoları

Söyleniş değerlendirmesi için üç senaryo vardır: Okuma, Konuşma ve Oyun.

• Okuma: Bu senaryo betikli değerlendirme için tasarlanmıştır. Bu, öğrencilerin belirli bir metni okumasını gerektirir. Referans metin önceden temin edilir.
• Konuşma: Bu senaryo senaryosuz değerlendirme için tasarlanmıştır. Bu, öğrencilerin belirli bir konuda konuşmasını gerektirir. Referans metni önceden sağlanmadı.
• Oyun ortamı: Bu senaryo önceden belirlenmiş değerlendirme için tasarlanmıştır. Öğrencilerin söyleniş ve her bir hece için puan almak üzere bir tekerleme okumasını gerektirir. Referans metni önceden sağlanır.

Okuma değerlendirmesi gerçekleştirme

Başvuru metninin söylenişini değerlendirmek için şu adımları izleyin:

1. Microsoft Foundry portalındaSöyleniş değerlendirmesi'ne gidin.

   

2. Okuma sekmesinde, söylenişi değerlendirmek istediğiniz desteklenen bir dil seçin.

   

3. Sağlanan metin örneklerini kullanabilir veya kendi betiğinizi girebilirsiniz.

   Metni okurken, kaydedilen sesin çok düşük olmadığından emin olmak için mikrofona yakın olmanız gerekir.

   

   Aksi halde, telaffuz değerlendirmesi için kayıtlı sesi yükleyebilirsiniz. Başarıyla karşıya yüklendikten sonra ses, aşağıdaki ekran görüntüsünde gösterildiği gibi sistem tarafından otomatik olarak değerlendirilir.

   

Konuşma değerlendirmesi yapma

Açıklanmamış bir değerlendirme yapmak istiyorsanız Konuşma sekmesini seçin. Bu özellik, önceden başvuru metni sağlamadan açıklanmamış değerlendirme gerçekleştirmenizi sağlar. Şu şekilde ilerleyin:

1. Microsoft Foundry portalındaSöyleniş değerlendirmesi'ne gidin.

2. Konuşma sekmesinde, söylenişi değerlendirmek istediğiniz desteklenen bir dil seçin.

   

3. Ardından, sağlanan örnek konu başlıklarından birini seçebilir veya kendi konunuzu girebilirsiniz. Bu seçenek, önceden tanımlanmış bir metin olmadan belirli bir konuda konuşma yeteneğinizi değerlendirmenizi sağlar.

   

   Söyleniş değerlendirmesi için konuşmanızı kaydederken, kayıt sürenizin önerilen 15 saniye (50 sözcükten fazla sözcükle eşdeğer) ile 10 dakika arasında olduğundan emin olmak önemlidir. Bu zaman aralığı, konuşmanızın içeriğini doğru bir şekilde değerlendirmek için idealdir. Konu puanı almak için, konuşulan sesinizin en az üç cümle içermesi gerekir.

   Ayrıca, telaffuz değerlendirmesi için kayıtlı sesi karşıya yükleyebilirsiniz. Başarıyla karşıya yüklendikten sonra ses sistem tarafından otomatik olarak değerlendirilir.

Oyun değerlendirmesi yapma

Oyun aracılığıyla dil öğrenme alıştırması yapmak istiyorsanız şu adımları izleyin:

1. Microsoft Foundry portalındaSöyleniş değerlendirmesi'ne gidin.

2. Oyun sekmesinde, söylenişi değerlendirmek ve alıştırma yapmak istediğiniz yeni bir twister oluşturmak istediğiniz desteklenen bir dil seçin.

   

3. Son olarak, puanları almak için dil bükücüyü kaydetmeye ve alıştırma yapmaya başlayabilirsiniz.

   

Söyleniş değerlendirme sonuçları

Konuşmanızı kaydettikten veya kaydedilen sesi yükledikten sonra, Değerlendirme sonucu gösterilir. Sonuç, sesli konuşmanızı ve konuşma değerlendirmenizle ilgili geri bildirimleri içerir. Konuşma kaydınızı dinleyebilir ve gerekirse indirebilirsiniz.

JSON'da söyleniş değerlendirme sonucunu da kontrol edebilirsiniz. Sözcük düzeyi, hece düzeyi ve fone düzeyi doğruluk puanları JSON dosyasına eklenir.

Görüntüle

Sözcük, hata türüne göre vurgulanır. Söyleniş değerlendirmesindeki hata türleri farklı renkler kullanılarak temsil edilir. Bu görsel ayrım, belirli hataları tanımlamayı ve çözümlemeyi kolaylaştırır. Konuşulan sesteki hata türlerine ve sıklıklara net bir genel bakış sunarak iyileştirme gerektiren alanlara odaklanmanıza yardımcı olur. Belirli hata türlerine odaklanmak veya belirli türleri ekrandan dışlamak için her hata türünü açıp kapatabilirsiniz. Bu özellik, sesli sesinizdeki hataları gözden geçirme ve analiz etme konusunda esneklik sağlar. Her sözcüğün üzerine geldiğinizde, sözcüğün tamamı veya belirli fonemler için doğruluk puanlarını görebilirsiniz.

Değerlendirme sonucunun en altında puanlama sonuçları görüntülenir. Betikli telaffuz değerlendirmesi için yalnızca telaffuz puanı (doğruluk puanı, akıcılık puanı, tamlık puanı ve prosody puanı dahil) sağlanır. Açıklanmamış telaffuz değerlendirmesi için hem telaffuz puanı (doğruluk puanı, akıcılık puanı ve prosody puanı dahil) hem de içerik puanı (sözlük puanı, dil bilgisi puanı ve konu puanı dahil) görüntülenir.

JSON

Tam transkripsiyon özniteliğinde text gösterilir. Kelimenin tamamı, heceler ve belirli fonemler için doğruluk puanlarını görebilirsiniz. Konuşma SDK'sını kullanarak aynı sonuçları alabilirsiniz. Daha fazla bilgi için Söyleniş değerlendirmesini nasıl kullanacağınızı öğrenmek için bkz.

{
    "text": "Today was a beautiful day. We had a great time taking a long long walk in the morning. The countryside was in full bloom, yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain.",
    "duration": 156100000,
    "offset": 800000,
    "json": {
        "Id": "f583d7588c89425d8fce76686c11ed12",
        "RecognitionStatus": 0,
        "Offset": 800000,
        "Duration": 156100000,
        "DisplayText": "Today was a beautiful day. We had a great time taking a long long walk in the morning. The countryside was in full bloom, yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain.",
        "SNR": 40.47014,
        "NBest": [
            {
                "Confidence": 0.97532314,
                "Lexical": "today was a beautiful day we had a great time taking a long long walk in the morning the countryside was in full bloom yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain",
                "ITN": "today was a beautiful day we had a great time taking a long long walk in the morning the countryside was in full bloom yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain",
                "MaskedITN": "today was a beautiful day we had a great time taking a long long walk in the morning the countryside was in full bloom yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain",
                "Display": "Today was a beautiful day. We had a great time taking a long long walk in the morning. The countryside was in full bloom, yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain.",
                "PronunciationAssessment": {
                    "AccuracyScore": 92,
                    "FluencyScore": 81,
                    "CompletenessScore": 93,
                    "PronScore": 85.6
                },
                "Words": [
                    // Words preceding "countryside" are omitted for brevity...
                    {
                        "Word": "countryside",
                        "Offset": 66200000,
                        "Duration": 7900000,
                        "PronunciationAssessment": {
                            "AccuracyScore": 30,
                            "ErrorType": "Mispronunciation"
                        },
                        "Syllables": [
                            {
                                "Syllable": "kahn",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 3
                                },
                                "Offset": 66200000,
                                "Duration": 2700000
                            },
                            {
                                "Syllable": "triy",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 19
                                },
                                "Offset": 69000000,
                                "Duration": 1100000
                            },
                            {
                                "Syllable": "sayd",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 51
                                },
                                "Offset": 70200000,
                                "Duration": 3900000
                            }
                        ],
                        "Phonemes": [
                            {
                                "Phoneme": "k",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 0
                                },
                                "Offset": 66200000,
                                "Duration": 900000
                            },
                            {
                                "Phoneme": "ah",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 0
                                },
                                "Offset": 67200000,
                                "Duration": 1000000
                            },
                            {
                                "Phoneme": "n",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 11
                                },
                                "Offset": 68300000,
                                "Duration": 600000
                            },
                            {
                                "Phoneme": "t",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 16
                                },
                                "Offset": 69000000,
                                "Duration": 300000
                            },
                            {
                                "Phoneme": "r",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 27
                                },
                                "Offset": 69400000,
                                "Duration": 300000
                            },
                            {
                                "Phoneme": "iy",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 15
                                },
                                "Offset": 69800000,
                                "Duration": 300000
                            },
                            {
                                "Phoneme": "s",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 26
                                },
                                "Offset": 70200000,
                                "Duration": 1700000
                            },
                            {
                                "Phoneme": "ay",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 56
                                },
                                "Offset": 72000000,
                                "Duration": 1300000
                            },
                            {
                                "Phoneme": "d",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 100
                                },
                                "Offset": 73400000,
                                "Duration": 700000
                            }
                        ]
                    },
                    // Words following "countryside" are omitted for brevity...
                ]
            }
        ]
    }
}

Söyleniş değerlendirmesinin ayrıntı düzeyi

Söyleniş değerlendirmesi, tek tek fonemlerden metin girişinin tamamına kadar farklı ayrıntı düzeyinde çeşitli değerlendirme sonuçları sağlar.

• Tam metin düzeyinde, söyleniş değerlendirmesi ek Fluency, Completeness ve Prosody puanları sunar: Akıcılık, konuşmanın yerel konuşmacının sözcükler arasında sessiz sonlar kullanmasıyla ne kadar yakın olduğunu gösterir; Tamlık, konuşmada başvuru metni girişine doğru telaffuz edilen sözcük sayısını gösterir; Prosody, konuşmacının konuşmalarında doğallık, ifade ve genel prosody öğelerini ne kadar iyi aktardığı gösterir. Daha sonra verilen konuşmanın genel söyleniş kalitesini belirtmek için Doğruluk, Akıcılık, Tamlık ve Prosody'den toplanan genel bir puan verilir. Söyleniş değerlendirmesi ayrıca tam metin düzeyinde içerik puanı (Sözlük, Dil Bilgisi ve Konu) sunar.
• Sözcük düzeyinde, söyleniş değerlendirmesi yanlışları otomatik olarak algılayabilir ve aynı anda doğruluk puanı sağlayabilir ve bu da verilen konuşmada eksiklik, yineleme, eklemeler ve yanlış telaffuz hakkında daha ayrıntılı bilgi sağlar.
• Hece düzeyinde doğruluk puanları şu anda JSON dosyası veya Konuşma SDK'sı aracılığıyla kullanılabilir.
• Phoneme düzeyinde, söyleniş değerlendirmesi her phoneme'nin doğruluk puanlarını sağlayarak öğrencilerin konuşmalarının telaffuz ayrıntılarını daha iyi anlamasına yardımcı olur.

Microsoft Foundry'deki söyleniş değerlendirme özelliği, doğruluk, akıcılık ve tamlık temel puanlarına ek olarak, konuşma performansı ve anlayışının çeşitli yönleri hakkında ayrıntılı geri bildirim sağlamak için daha kapsamlı puanlar içerir. İyileştirilmiş puanlar şunlardır: Prosody puanı, Sözlük puanı, Dil bilgisi puanı ve Konu puanı. Bu puanlar konuşma kullanımı, sözcük dağarcığı kullanımı, dil bilgisi doğruluğu ve konu anlama hakkında değerli içgörüler sunar.

Değerlendirme sonucunun en altında iki genel puan görüntülenir: Söyleniş puanı ve İçerik puanı. Okuma sekmesinde, Söyleniş puanının görüntülendiğini bulursunuz. Konuşma sekmesinde hem Söyleniş puanı hem de İçerik puanı görüntülenir.

Söyleniş puanı: Bu puan, söyleniş kalitesinin toplu değerlendirmesini temsil eder ve dört alt değerlendirme içerir. Bu puanlar hem betikli hem de açıklanmamış değerlendirmeler için hem okuma hem de konuşma sekmelerinde kullanılabilir.

• Doğruluk puanı: Söylenişin doğruluğunu değerlendirir.
• Akıcılık puanı: Konuşmadaki yumuşaklık ve doğallık düzeyini ölçer.
• Tamlık puanı: Doğru telaffuz edilen sözcüklerin sayısını yansıtır.
• Prosody puanı: Uygun tonlama, ritim ve stres kullanımını değerlendirir. Prosody değerlendirmesiyle ilgili Beklenmeyen kesme, Eksik kesme ve Monoton gibi birkaç hata türü daha tanıtılmıştır. Bu hata türleri, önceki altyapıya kıyasla telaffuz hataları hakkında daha ayrıntılı bilgi sağlar.

İçerik puanı: Bu puan, konuşma içeriğinin toplu bir değerlendirmesini sağlar ve üç alt değerlendirme içerir. Bu puan yalnızca açıklanmamış bir değerlendirme için konuşma sekmesinde kullanılabilir.

• Kelime dağarcığı puanı: Konuşmacının sözcükleri etkili bir şekilde kullanmasını ve fikirleri doğru ifade etmek için verilen bağlam içindeki uygunluğunu ve sözcük karmaşıklığı düzeyini değerlendirir.
• Dil bilgisi puanı: Dil bilgisi kullanımının doğruluğunu ve çeşitli cümle desenlerini değerlendirir. Sözcük doğruluğunu, dil bilgisi doğruluğunu ve cümle yapılarının çeşitliliğini dikkate alarak dil yeterliliğini daha kapsamlı bir şekilde değerlendirmeyi sağlar.
• Konu puanı: Konuşmada ele alınan konuyu anlama ve katılım düzeyini değerlendirir. Konuşmacının, söz konusu konu ile ilgili düşünceleri ve fikirleri etkili bir şekilde ifade edebilme becerisini değerlendirir.

Bu genel puanlar, hem söyleniş hem de içeriğin kapsamlı bir değerlendirmesini sunarak, öğrencilerin konuşma performansı ve anlamalarının çeşitli yönleri hakkında değerli geri bildirimler sağlar. Bu gelişmiş özelliklerle, dil öğrenenler hem söyleniş hem de içerik ifadesinde iyileştirmeye yönelik avantajları ve alanları hakkında daha derin içgörüler elde edebilir.

Not

İçerik ve prozodi değerlendirmeleri yalnızca en-US yerel ayarında mevcuttur.

Akış modunda değerlendirme puanları

Söyleniş değerlendirmesi kesintisiz akış modunu destekler. Microsoft Foundry tanıtımı, değerlendirme için akış modunda 60 dakikaya kadar kayıt yapılmasını sağlar. Kaydı durdur düğmesine basmadığınız sürece değerlendirme işlemi tamamlanmaz ve değerlendirmeyi rahatça duraklatabilir ve sürdürebilirsiniz.

Söyleniş değerlendirmesi, söylenişin çeşitli yönlerini değerlendirir. Değerlendirme sonucunun en altında, Söyleniş puanını toplam toplam puan olarak görebilirsiniz; bu puan 4 alt yönü içerir: Doğruluk puanı, Akıcılık puanı, Tamlık puanı ve Prosody puanı. Akış modunda Doğruluk puanı, Akıcılık puanı ve Prosody puanı kayıt işlemi boyunca zaman içinde değişeceğinden, Microsoft Foundry'de değerlendirmenin sonundan önce yaklaşık genel puanı artımlı olarak görüntülemeye yönelik bir yaklaşım gösteririz. Bu yaklaşım yalnızca Doğruluk puanı, Akıcılık puanı ve Prosody puanı ile ağırlıklıdır. Tamlık puanı yalnızca durdurma düğmesine bastıktan sonra değerlendirme sonunda hesaplanır. Dolayısıyla, nihai söyleniş genel puanı, Doğruluk puanı, Akıcılık puanı, Tamlık puanı ve Vurgu puanı ağırlıklı olarak toplanır.

Akış modunda söylenişi değerlendirme işleminin tamamı için aşağıdaki tanıtım örneklerine bakın.

Kaydı başlat

Kaydetmeye başladığınızda, alttaki puanlar 0'dan değişmeye başlar.

Kayıt sırasında

Uzun bir paragraf kaydederken, kaydı istediğiniz zaman duraklatabilirsiniz. Durdur düğmesine basmadığınız sürece kaydınızı değerlendirmeye devam edebilirsiniz.

Kaydı bitir

Durdur düğmesine bastıktan sonra, en altta Söyleniş puanı, Doğruluk puanı, Akıcılık puanı, Tamlık puanı ve Prosody puanı görebilirsiniz.

Fiyatlandırma

Taban çizgisi olarak, söyleniş değerlendirmesinin kullanımı, Standart veya taahhüt katmanı fiyatlandırması için konuşmayı metne dönüştürmeyle aynıdır. Konuşmayı metne dönüştürme için bir taahhüt katmanı satın alırsanız söyleniş değerlendirmesi için harcama, taahhüdü karşılamaya gider.

Söyleyiş değerlendirme özelliği, temel konuşmadan metne dönüştürme fiyatına dahil olmayan prosodi puanı gibi başka puanlar da sunar. Bu puanlar, temel konuşmadan metne fiyatının üzerine ek bir ücret olarak sunulmaktadır. Fiyatlandırma hakkında bilgi için bkz . Konuşmayı metne dönüştürme fiyatlandırması.

Aşağıda, betikli veya açıklanmamış değerlendirmelerde kullanılabilir olup olmadığı ve temel konuşmada metin fiyatına veya eklenti fiyatına dahil olup olmadığı gibi kullanılabilir söyleniş değerlendirme puanlarının yer aldığı bir tablo verilmiştir.

Puan	Metinli veya doğaçlama	Temel konuşmada metin fiyatına dahil mi?
Doğruluk	Betikli ve doğaçlama	Evet
Akıcılık	Betikli ve açıklanmamış	Evet
Bütünlüğü	Betiklenmiş	Evet
Hata	Senaryo yazılmış ve senaryo dışı	Evet
Prozodi	Senaryolu ve senaryosuz	Hayır

Sorumlu Yapay Zekâ

Yapay zeka sistemi yalnızca teknolojiyi değil, onu kullanan kişileri, bundan etkilenecek kişileri ve dağıtıldığı ortamı da içerir. Sistemlerinizde sorumlu yapay zeka kullanımı ve dağıtımı hakkında bilgi edinmek için saydamlık notlarını okuyun.

• Saydamlık notu ve kullanım örnekleri
• Özellikler ve sınırlamalar

Sonraki adımlar

• Konuşma SDK'sı ile söyleniş değerlendirmesini kullanma
• Kullanım örnekleri hakkındaki blogu okuyun