Reading Progress自動採点の妥当性・信憑性

Question

以下にの目的で、英語の音読課題にReading Progressを自動採点ONで使用してみました。

・複数教員による評価基準のズレをなくす

・音読の採点時間を短縮する

どちらもクリアし、生徒からもモチベーションが上がると好評でしたが、ひとつ満足できないのが評価です。

どう考えてもおかしい発音がスルーされる一方で、コミュニケーションに全く支障をきたさないような箇所がマークされます。

中にはネイティブから見ても納得いかない評価があります。

AI評価はどのような仕組みでなされているのでしょうか。

「流暢さ」等抽象的なことではなく、生徒が納得できるよう、評価されるポイントの詳細を知りたいです。

どなたかご存じの方、よろしくお願いします。

Answer 1

ありがとうございます。

フォニクス評価の妥当性については、「言語設定でモデル音声に近いもの」を選択するよう気をつけます。

（今回は英語（英国）と設定していましたが、生徒がシャドウィングで用いていた音声は米国英語でした）

ただ、文脈による発音の違い（liveなどの単語）の判定は、文脈を考慮できないAIには無理だということですね。

人間とAIで上手く作業分担していきたいと思います。