Pendahuluan
Kita dapat menilai model klasifikasi kita dalam hal jenis kesalahan yang dibuat, seperti negatif palsu dan positif palsu. Ini dapat memberikan wawasan tentang jenis kesalahan yang dilakukan model, tetapi tidak selalu memberikan informasi mendalam tentang bagaimana model dapat melakukan jika sedikit penyesuaian dilakukan pada kriteria keputusannya. Di sini, kita akan membahas kurva karakteristik operator penerima (ROC), yang dibangun berdasarkan gagasan matriks kebingungan tetapi memberi kita informasi yang lebih dalam yang memungkinkan kita meningkatkan model kita ke tingkat yang lebih besar.
Skenario:
Sepanjang modul ini, kita akan menggunakan skenario contoh berikut untuk menjelaskan dan berlatih bekerja dengan kurva ROC.
Badan amal penyelamatan longsoran salju Anda telah berhasil membangun model pembelajaran mesin yang dapat memperkirakan apakah objek yang terdeteksi oleh sensor ringan adalah pendaki atau objek alami, seperti pohon atau batu. Ini memungkinkan Anda melacak berapa banyak orang yang berada di gunung, sehingga Anda tahu apakah tim penyelamat diperlukan ketika longsoran salju terjadi. Model ini cukup baik, meskipun Anda bertanya-tanya apakah ada ruang untuk perbaikan. Secara internal, model harus membuat keputusan biner apakah objek adalah pendaki atau bukan, tetapi ini didasarkan pada probabilitas. Dapatkah proses pengambilan keputusan ini disesuaikan untuk meningkatkan performanya?
Prasyarat
- Keakraban dengan model pembelajaran mesin
Tujuan pembelajaran
Dalam modul ini, Anda akan:
- Pahami cara membuat kurva ROC.
- Jelajahi cara menilai dan membandingkan model menggunakan kurva ini.
- Berlatih menyempurnakan model menggunakan karakteristik yang diplot pada kurva ROC.