Pendahuluan

  • 2 menit

Metrik bernilai tunggal, seperti kesalahan kuadrat rata-rata atau kehilangan log, adalah cara cepat untuk membandingkan model dalam hal performa. Namun, mereka tidak selalu intuitif, dan tidak selalu dapat memberikan gambaran lengkap tentang bagaimana model benar-benar berkinerja. Misalnya, jika kita mencoba mendeteksi kanker tetapi hanya 1 dari 100.000 sampel jaringan yang benar-benar mengandung kanker, model yang selalu mengatakan "tidak ada kanker" akan memiliki kehilangan log (biaya) yang sangat baik, tetapi akan benar-benar tidak berguna di klinik. Memilih cara yang lebih cerdas untuk menilai model penting sehingga Anda bisa mendapatkan pemahaman yang tepat tentang bagaimana model Anda akan bekerja di dunia nyata.

Skenario: Penyelamatan di gunung dengan pembelajaran mesin

Sepanjang modul ini, kita akan menggunakan skenario contoh berikut untuk menjelaskan dan berlatih bekerja dengan berbagai ketimpangan metrik dan data.

Saat musim dingin terjadi lagi, kekhawatiran telah meningkat karena pendaki mengabaikan peringatan risiko longsoran salju dan tetap menjelajah meski gunung ditutup. Risiko ini tidak hanya menyebabkan lebih banyak longsoran salju, tetapi karena pendaki jarang memeriksa sebelum bertualang, tidak ada cara untuk mengetahui apakah ada orang di gunung ketika longsoran salju terjadi. Donor yang murah hati telah menyediakan tim penyelamat longsoran salju dengan sekawapan drone miniatur yang mampu memindai tepi gunung secara otomatis untuk objek. Karena medan ekstrem dan pengurasan baterai dalam dingin, bandwidth mereka tetap terlalu rendah untuk mengirimkan video. Sebagai alternatif, sensor yang dipasang dapat mengekstrak informasi dasar seperti bentuk, ukuran, dan gerakan objek, serta mengirimkannya ke markas. Dapatkah Anda membangun model yang dapat menentukan kapan drone telah menemukan seseorang, untuk melacak siapa yang ada di gunung?

Prasyarat

  • Pemahaman dasar tentang model klasifikasi

Tujuan pembelajaran

Dalam modul ini, Anda akan:

  • Menilai performa model klasifikasi.
  • Tinjau metrik untuk meningkatkan model klasifikasi.
  • Mengurangi masalah performa dari ketidakseimbangan data.