Modelinizi eğitin ve değerlendirin
Modelinizi eğitmek ve değerlendirmek, modeli daha doğru bir şekilde öğretmek için eğitim veri kümenize veri ve etiket eklemeye yönelik yinelemeli bir süreçtir. Hangi veri ve etiket türlerinin geliştirilmesi gerektiğini öğrenmek için Language Studio, sol bölmedeki Model ayrıntılarını görüntüle sayfasında puanlama sağlar.
Tek tek varlıklar ve genel model puanınız, nasıl performans gösterdiklerini ve nerede geliştirmeleri gerektiğini açıklamak için üç ölçüme ayrılır.
| Metrik Sistem | Açıklama |
|---|---|
| Duyarlık | Başarılı varlık tanımalarının tüm deneme tanıma işlemlerine oranı. Yüksek puan, varlık tanındıkça doğru etiketlendiği anlamına gelir. |
| Geri çek | Başarılı varlık tanımalarının belgedeki gerçek varlık sayısına oranı. Yüksek puan, varlığı veya varlıkları doğru etiketi ataması fark etmeksizin iyi bulduğu anlamına gelir |
| F1 puanı | Tek bir puanlama ölçümü sağlayan duyarlık ve geri çağırma birleşimi |
Puanlar hem varlık başına hem de bir bütün olarak model için kullanılabilir. Bir varlığın puanlarını iyi bulabilirsiniz, ancak modelin tamamı bunu yapmaz.
Ölçümleri yorumlama
İdeal olarak modelimizin hem duyarlık hem de yakalama açısından iyi puanlanmasını istiyoruz, bu da varlık tanımanın iyi çalıştığı anlamına geliyor. Her iki ölçüm de düşük puana sahipse, modelin hem belgedeki varlıkları tanımakta zorlandığını hem de bu varlığı ayıkladığında yüksek güvenle doğru etiketi atamadığı anlamına gelir.
Duyarlık düşükse ancak geri çağırma yüksekse, modelin varlığı iyi tanıdığı ancak doğru varlık türü olarak etiketlemediği anlamına gelir.
Duyarlık yüksekse ancak geri çekme düşükse, model varlığı her zaman tanımaz, ancak model varlığı ayıkladığında doğru etiket uygulanır.
Karışıklık matrisi
Aynı Model ayrıntılarını görüntüle sayfasında, Karışıklık matrisi için üst kısımda başka bir sekme vardır. Bu görünüm, tüm varlıkların ve her birinin nasıl gerçekleştirildiğini gösteren görsel bir tablo sunarak modelin tam görünümünü ve nerenin kısa olduğunu gösterir.
Karışıklık matrisi, modelinizin performansını geliştirmek için verilerin nereye ekleneceğini görsel olarak belirlemenize olanak tanır.