モデルのトレーニングと評価
モデルのトレーニングと評価は、モデルにより正確に教えるために、トレーニング データセットにデータとラベルを追加する反復的なプロセスです。 改善する必要があるデータとラベルの種類を把握するため、Language Studio では、[View model details] (モデルの詳細の表示) ページの左側のペインでスコアリングが提供されます。
個々のエンティティと全体的なモデル スコアは、3 つのメトリックに分類され、それらが機能するしくみと改善が必要な箇所が説明されます。
| メトリック | 説明 |
|---|---|
| Precision | すべての試行された認識に対する成功した表現認識の比率。 高いスコアは、エンティティが認識されている限り、正しくラベル付けされることを意味します。 |
| Recall | ドキュメントの実際のエンティティの数に対する成功した表現認識の比率。 高いスコアは、適切なラベルが割り当てられているかどうかに関係なく、エンティティを適切に検出できたことを意味します |
| F1 スコア | 単一のスコアリング メトリックを提供する精度とリコールの組み合わせ |
スコアは、各エンティティとモデル全体の両方で使用できます。 あるエンティティ スコアが良い場合で、モデル全体ではそうではない場合があります。
メトリックを解釈する方法
理想的には、モデルの精度とリコールの両方でスコアを付けたいと考えています。これは、表現認識が適切に機能しているということです。 両方のメトリックのスコアが低い場合は、モデルでドキュメント内のエンティティを認識することが簡単ではなく、そのエンティティを抽出しても、信頼度の高い正しいラベルが割り当てられないことを意味します。
精度が低くてもリコールが高い場合、モデルによりエンティティが適切に認識されていますが、正しいエンティティ型としてラベル付けされないことを意味します。
精度は高いがリコールが低い場合は、モデルによりエンティティが常に認識されるとは限りませんが、モデルがエンティティを抽出すると、正しいラベルが適用されることを意味します。
混同行列
同じ [モデルの詳細の表示] ページで、[混同行列] の上部に別のタブがあります。 このビューには、すべてのエンティティとそれぞれの実行方法の視覚エフェクト テーブルが用意されており、モデルの完全なビューと、それが不足している場所が示されます。
混同行列を使用すると、モデルのパフォーマンスを向上させるためにデータを追加する場所を視覚的に特定できます。