Đánh giá các mô hình phân loại
Độ chính xác đào tạo của mô hình phân loại ít quan trọng hơn rất nhiều so với mức độ chính xác của mô hình đó khi đưa ra dữ liệu mới, chưa thấy được. Sau khi tất cả, chúng tôi đào tạo các mô hình để chúng có thể được sử dụng trên dữ liệu mới mà chúng ta tìm thấy trong thế giới thực. Vì vậy, sau khi chúng tôi đã đào tạo một mô hình phân loại, chúng tôi sẽ đánh giá hoạt động của mô hình đó trên một tập hợp dữ liệu mới, chưa thấy được.
Trong các đơn vị trước, chúng tôi đã tạo ra một mô hình mà có thể dự đoán bệnh nhân bị bệnh tiểu đường hay không dựa trên mức độ đường trong máu của họ. Bây giờ, khi được áp dụng cho một số dữ liệu không nằm trong tập hợp đào tạo, chúng tôi nhận được những dự đoán sau đây.
| x | y | ŷ |
|---|---|---|
| 83 | 0 | 0 |
| 119 | 1 | 1 |
| 104 | 1 | 0 |
| 105 | 0 | 1 |
| 86 | 0 | 0 |
| 109 | 1 | 1 |
Hồi tưởng rằng x đề cập đến mức độ glucose trong máu, y đề cập đến cho dù họ đang thực sự bệnh tiểu đường, và đề cập đến dự đoán của người mẫu là cho dù họ đang bệnh tiểu đường hay không.
Chỉ cần tính toán có bao nhiêu dự đoán là đôi khi sai lầm hoặc quá đơn giản cho chúng tôi để hiểu được các loại lỗi nó sẽ thực hiện trong thế giới thực. Để có được thông tin chi tiết hơn, chúng ta có thể đưa ra kết quả trong một cấu trúc được gọi là ma trận nhầm lẫn, như thế này:
Ma trận nhầm lẫn hiển thị tổng số trường hợp trong đó:
- Mô hình được dự đoán 0 và nhãn thực tế là 0 (âm thực sự, trên cùng bên trái)
- Mô hình được dự đoán 1 và nhãn thực tế là 1 (dương thực sự, dưới cùng bên phải)
- Mô hình được dự đoán 0 và nhãn thực tế là 1 (âm giả, dưới cùng bên trái)
- Mô hình được dự đoán 1 và nhãn thực tế là 0 (dương tính giả, trên cùng bên phải)
Các ô trong ma trận nhầm lẫn thường được tô bóng để các giá trị cao hơn có bóng sâu hơn. Điều này giúp bạn dễ dàng nhìn thấy một xu hướng đường chéo mạnh mẽ từ trên cùng bên trái đến dưới cùng bên phải, tô sáng các ô có giá trị dự đoán và giá trị thực tế giống nhau.
Từ các giá trị cốt lõi này, bạn có thể tính toán một loạt các chỉ số khác có thể giúp bạn đánh giá hiệu suất của mô hình. Chẳng hạn:
- xác: (TP+TN)/(TP+TN+FP+FN) - trong tất cả các dự đoán, có bao nhiêu dự đoán là chính xác?
- thu: TP/(TP+FN) - trong tất cả các trường hợp tích, mô hình đã xác định được bao nhiêu?
- độ: TP/(TP+FP) - trong tất cả các trường hợp mô hình được dự đoán là tích cực, có bao nhiêu trường hợp thực là tích cực?