重要
提供非英文翻譯僅為方便。 請參閱 EN-US 本文件的最終版本 以獲得最終版本。
AI 系統不僅包含技術本身,還包括使用者、受影響者,以及其部署環境。 打造一套符合預期目的的系統,需要了解技術運作方式、其能力與限制,以及如何達到最佳效能。
Microsoft提供透明度筆記,幫助您了解我們的人工智慧技術運作方式。 這包括系統擁有者能做出影響系統效能與行為的選擇,以及思考整個系統的重要性,包括技術、人員與環境。 你可以在開發或部署自己的系統時使用 Transparency Notes,或與將使用或受系統影響的人分享。
透明度筆記是 Microsoft 將 AI 原則付諸實踐的更廣泛努力的一部分。 想了解更多,請參閱 Microsoft 的 AI 原則。
發音評估導論
發音評估 API 會接收音訊輸入來評估語音發音,並給予講者關於語音音頻的準確度、流暢度與完整性的回饋。 發音評估功能還包含更全面的語音韻律、詞彙使用、文法正確性及主題理解的回饋,為您提供語言能力的詳細評估。 同時支援有腳本和無腳本的評量,讓您更輕鬆評估您的發音以及語言能力。 發音評估支援廣泛的 語言。
透過發音評估,語言學習者可以練習、即時獲得回饋,並提升發音,使他們能自信地說話和呈現。 教育工作者可以利用發音評估來即時評估多位講者的發音情況。
發音評估的基本原理
Pronunciation Assessment API 採用機器學習為基礎的方法,提供語音評估結果,與母語專家進行的語音評估高度契合。 它提供關於發音、流暢度、韻律、詞彙使用、文法正確性及主題理解的寶貴回饋,幫助你提升他們的語言能力,並自信地用新語言溝通。 發音評估模型是用母語者100,000+小時的語音資料訓練出來的。 當與參考文本相比出現漏詞、重複或新增詞語時,它仍可提供準確的結果。 它也提供豐富的配置參數,以支持彈性使用 API,例如設定 粒度 以改變評估中的資訊粒度。 (更多資訊請參閱 範例程式碼。)
發音評估評估發音與內容的多個面向:準確性、流暢度、完整性、韻律、詞彙使用、文法正確性及主題理解。 它還提供多層次的評估,並回傳特定音素、音節、單字、句子甚至整篇文章的準確度分數。 欲了解更多資訊,請參閱 如何使用 Speech SDK 進行發音評估功能。
下表說明了主要結果。 欲了解更多資訊,請參閱完整的 反應參數。 透過自然 語言處理(NLP) 技術及 EnableMiscue 設定,Pronunciation Assessment 能偵測多詞、遺漏或重複等錯誤,與參考文本相比。 這些資訊有助於獲得更準確的評分,作為診斷資訊。 此功能對於較長段落的文字非常有用。
| 參數 | 描述 |
|---|---|
AccuracyScore |
演講的發音準確度。 準確性表示音素與母語者的發音有多接近。 音節、單詞及全文準確度分數均從音素層級準確度分數彙整,並依評估目標進行精煉。 |
FluencyScore |
所給演講的流暢度。 流暢度表示該語言與母語者在詞間靜默段落的使用有多接近。 |
CompletenessScore |
語音的完整度,由發音詞彙與輸入參考文本的比例計算。 |
ProsodyScore |
演講韻律。 韻律表示指定語音的自然度,包括重音、語調、語速和節奏。 |
PronScore |
整體分數顯示該演講的發音品質。 這些數據是根據 AccuracyScore、FluencyScore 和 CompletenessScore 加權重的綜合而成。 |
ErrorType |
此值表示與 ReferenceText 相比,詞語是否為省略、插入、發音錯誤、在不適當位置插入停頓、在標點處缺少停頓,或在語句中呈現單調上升、下降或平直的語調。 可能的值為None(此字無誤)、Omission、 InsertionMispronunciationUnexpectedBreakMissingBreakMonotone。 |
發音評估還會回傳另一組參數,包括偏移量與時長(合稱為「時間戳記」)。語音的時間戳以結構化 JSON 格式回傳。 發音評估可以計算每個音素的發音錯誤。 發音評估也能將錯誤標記為輸入音訊中的特定時間戳。 開發應用程式的客戶可以利用這個訊號,提供一條學習路徑,幫助學生以多方面專注於錯誤。 例如,應用程式可以標示原始語音、回覆音訊與標準發音比較,或推薦相似的詞彙練習。
| 參數 | 描述 |
|---|---|
| 偏移 | 識別語音在音訊串流中開始的時間(單位為100奈秒)。 |
| 持續時間 | 音訊串流中識別語音的持續時間(單位為100奈秒)。 |
範例使用案例
發音評估可用於 遠距學習、考試練習或其他需要發音回饋的情境。 以下範例是已部署或我們為使用 Pronunciation Assessment 的客戶設計的使用案例:
- 教育服務提供者:提供者可利用發音評估(Pronunciation Assessment)建立應用程式,協助學生遠端練習語言學習,並獲得即時回饋。 此使用情境常見於應用程式需要支援即時回饋時。 我們支援 串流上傳 音訊檔案,提供即時回饋。
- 遊戲中的教育:例如,應用程式開發者可以透過結合完整的遊戲課程與最先進的語音技術,打造語言學習應用程式,幫助孩子學習英語。 該課程涵蓋廣泛的英語技能,如口說、閱讀和聆聽,並訓練兒童文法與詞彙,並透過發音評估支持兒童學習英語。 這些多元的學習形式確保孩子能輕鬆地以有趣的學習方式學習英語。
- 用於教育的溝通應用程式:Microsoft Teams 的閱讀進度功能協助教師評估學生的口語作業,並具備自動偵測遺漏、插入及發音錯誤的功能。 同時也讓學生在提交作業前更方便地練習發音。 Microsoft Teams 的 Speaker Progress 作為學習加速器,也能協助學生培養簡報與公開演講技巧。
選擇其他使用情境時的考量
隨著學校和組織適應新的連結方式與教育方式,線上學習迅速成長。 語音科技能在讓遠距學習更具吸引力且對各種背景學生更友善方面扮演重要角色。 透過 Foundry Tools,開發者能快速為應用程式加入語音功能,讓線上學習變得生動起來。
語言學習的一個關鍵要素是提升發音能力。 對於新手語言學習者來說,練習發音並及時獲得回饋,是成為更流利的口語者的關鍵。 對於希望支持學習者或學生語言學習的解決方案提供者來說,能夠隨時隨地使用發音評估來練習,將非常適合這種情況。 它也可以整合為教師的虛擬助理,幫助提升他們的效率。
以下建議適用於應謹慎使用發音評估的使用情境:
- 在任何正式考試情境中,請包含人力參與:發音評估系統由 AI 系統驅動,外部因素如語音品質與背景噪音可能影響準確度。 在正式考試中納入人機協作,可確保評量結果符合預期。
- 考慮在每種情境中使用不同的閾值:目前,發音評估分數僅代表用於訓練模型的母語者之間的相似度距離。 這種相似度距離可以透過規則條件或加權計數來映射到不同情境,以協助發音回饋。 例如,兒童學習的評分方法可能不如成人學習嚴格。 考慮為成人學習設定更高的發音錯誤偵測門檻。
- 考量對讀誤的處理能力:當情境涉及閱讀長段落時,使用者很可能難以在不出錯的情況下跟隨參考文字。 這些錯誤,包括遺漏、插入和重複,都算作失誤。 啟用 EnableMiscue 後,發音詞會與參考文本比較,並根據比較結果標示遺漏、插入、重複。
法律與法規考量:組織在使用任何 Foundry 工具與解決方案時,需評估潛在的具體法律與監管義務,這些可能不適用於所有產業或情境。 此外,Foundry 工具或解決方案並非設計用於適用服務條款及相關行為準則中禁止的用途。