Melatih dan mengevaluasi model Anda
Melatih dan mengevaluasi model Anda adalah proses berulang untuk menambahkan data dan label ke himpunan data pelatihan Anda untuk mengajarkan model secara lebih akurat. Untuk mengetahui jenis data dan label apa yang perlu ditingkatkan, Language Studio menyediakan penilaian di halaman Tampilkan detail model di panel sebelah kiri.
Entitas individu dan skor model Anda secara keseluruhan dipecah menjadi tiga metrik untuk menjelaskan performanya dan di mana mereka perlu meningkatkannya.
| Ukuran | Deskripsi |
|---|---|
| Presisi | Rasio pengenalan entitas yang berhasil dari semua upaya pengenalan. Skor tinggi berarti bahwa selama entitas dikenali, itu diberi label dengan benar. |
| Penarikan | Rasio pengenalan entitas yang berhasil terhadap jumlah entitas aktual dalam dokumen. Skor tinggi berarti mengidentifikasi entitas atau entitas dengan baik, terlepas dari apakah memberikan label yang tepat kepada mereka. |
| skor F1 | Kombinasi presisi dan pengenalan memberikan satu metrik penilaian |
Skor tersedia baik per entitas maupun untuk model secara keseluruhan. Anda mungkin menemukan bahwa entitas mendapatkan skor tinggi, tetapi keseluruhan model tidak demikian.
Cara menginterpretasikan metrik
Idealnya, kita ingin model kita mendapatkan skor yang baik dalam hal presisi dan recall, yang berarti bahwa pengenalan entitas berfungsi dengan baik. Jika kedua metrik memiliki skor rendah, itu berarti model kesulitan mengenali entitas dalam dokumen, dan ketika berhasil mengekstrak entitas tersebut, ia tidak menetapkan label yang benar dengan keyakinan tinggi.
Jika presisi rendah tetapi pengenalan tinggi, itu berarti bahwa model mengenali entitas dengan baik tetapi tidak melabelinya sebagai jenis entitas yang benar.
Jika presisi tinggi tetapi pengenalan rendah, itu berarti bahwa model tidak selalu mengenali entitas, tetapi ketika model mengekstrak entitas, label yang benar diterapkan.
Matriks konfusi
Pada halaman Tampilkan detail model yang sama, ada tab lain di bagian atas untuk matriks Kebingungan. Tampilan ini menyediakan tabel visual dari semua entitas dan bagaimana performa masing-masing, memberikan pandangan lengkap tentang model dan di mana terdapat kekurangan.
Matriks kebingungan memungkinkan Anda mengidentifikasi secara visual tempat menambahkan data untuk meningkatkan performa model Anda.