Menginterpretasikan hasil model di Azure Machine Learning Studio (klasik)

BERLAKU UNTUK:Studio Azure Machine Learning (klasik) Azure Machine Learning

Penting

Dukungan untuk Studio Azure Machine Learning (klasik) akan berakhir pada 31 Agustus 2024. Sebaiknya Anda transisi ke Azure Machine Learning sebelum tanggal tersebut.

Mulai 1 Desember 2021, Anda tidak akan dapat membuat sumber daya Studio Azure Machine Learning (klasik) baru. Hingga 31 Agustus 2024, Anda dapat terus menggunakan sumber daya Pembelajaran Mesin Studio (klasik) yang ada.

• Lihat informasi tentang memindahkan proyek pembelajaran mesin dari ML Studio (klasik) ke Azure Machine Learning.
• Pelajari Azure Machine Learning

ML Dokumentasi Studio (klasik) sedang berhenti dan mungkin tidak diperbarui di masa mendatang.

Topik ini menjelaskan cara memvisualkan dan menafsirkan hasil prediksi di Machine Learning Studio (klasik). Setelah melatih model dan melakukan prediksi berdasarkan model tersebut ("menilai model"), Anda perlu memahami dan menginterpretasikan hasil prediksi.

Ada empat jenis utama model pembelajaran mesin di Machine Learning Studio (klasik):

• Klasifikasi
• Pengklusteran
• Regresi
• Sistem pemberi rekomendasi

Modul yang digunakan untuk prediksi berdasarkan model ini adalah:

• Modul Model Penilaian untuk klasifikasi dan regresi
• Modul Tetapkan ke Kluster untuk pengklusteran
• Menilai Pemberi Rekomendasi Matchbox untuk sistem rekomendasi

Pelajari cara memilih parameter untuk mengoptimalkan algoritma di Azure Machine Learning Studio (klasik).

Untuk mempelajari cara mengevaluasi model, lihat Cara mengevaluasi kinerja model.

Jika baru menggunakan Azure Machine Learning Studio (klasik), pelajari cara membuat eksperimen sederhana.

Klasifikasi

Ada dua subkategori masalah klasifikasi:

• Masalah dengan hanya dua kelas (klasifikasi dua kelas atau biner)
• Masalah dengan lebih dari dua kelas (klasifikasi multi-kelas)

Machine Learning Studio (klasik) memiliki modul yang berbeda untuk menangani setiap jenis klasifikasi ini, tetapi metode untuk menafsirkan hasil prediksi keduanya serupa.

Klasifikasi dua kelas

Eksperimen contoh

Contoh masalah klasifikasi dua kelas adalah klasifikasi bunga iris. Tugasnya adalah mengklasifikasikan bunga iris berdasarkan cirinya. Himpunan data Iris yang disediakan di Machine Learning Studio (klasik) adalah subset dari himpunan data Iris populer yang berisi instans hanya dua spesies bunga (kelas 0 dan 1). Ada empat fitur untuk setiap bunga (panjang kelopak, lebar kelopak, panjang mahkota, dan lebar mahkota).

Gambar 1. Eksperimen masalah klasifikasi dua kelas Iris

Eksperimen telah dilakukan untuk menyelesaikan masalah ini, seperti yang ditunjukkan pada Gambar 1. Model pohon keputusan dua kelas yang ditingkatkan telah dilatih dan dinilai. Sekarang Anda dapat memvisualkan hasil prediksi dari modul Model Penilaian dengan mengklik port output modul Model Penilaian, kemudian mengklik Visualkan.

Modul ini menunjukkan hasil skor seperti yang ditunjukkan pada Gambar 2.

Gambar 2. Memvisualkan hasil model penilaian dalam klasifikasi dua kelas

Interpretasi hasil

Ada enam kolom dalam tabel hasil. Empat kolom kiri adalah empat fitur. Dua kolom di kanan, Label Ternilai dan Probabilitas Ternilai, adalah hasil prediksi. Kolom Probabilitas Ternilai menunjukkan kemungkinan bahwa bunga adalah milik kelas positif (Kelas 1). Misalnya, angka pertama dalam kolom (0,028571) berarti ada 0,028571 probabilitas bahwa bunga pertama milik Kelas 1. Kolom Label Ternilai menunjukkan kelas yang diprediksi untuk setiap bunga. Hal ini didasarkan pada kolom Probabilitas Ternilai. Jika probabilitas ternilai bunga lebih besar dari 0,5, maka akan diprediksi sebagai Kelas 1. Jika tidak, bunga diprediksi sebagai Kelas 0.

Publikasi layanan web

Setelah hasil prediksi dipahami dan dinilai secara logis, eksperimen dapat diterbitkan sebagai layanan web sehingga Anda dapat menyebarkannya di berbagai aplikasi dan memanggilnya untuk mendapatkan prediksi kelas pada bunga iris baru. Untuk mempelajari cara mengubah eksperimen pelatihan menjadi eksperimen penilaian dan menerbitkannya sebagai layanan web, lihat Tutorial 3: Menyebarkan model risiko kredit. Prosedur ini menyediakan eksperimen penilaian seperti yang ditunjukkan pada Gambar 3.

Gambar 3. Menilai eksperimen masalah klasifikasi dua kelas iris

Sekarang Anda perlu mengatur input dan output untuk layanan web. Inputnya adalah port input yang benar dari Model Penilaian, yang merupakan input ciri-ciri bunga Iris. Pilihan output bergantung pada apakah Anda tertarik pada kelas yang diprediksi (label ternilai), probabilitas ternilai, atau keduanya. Dalam contoh ini, asumsinya adalah Anda tertarik pada keduanya. Untuk memilih kolom output yang diinginkan, gunakan modul Pilih Kolom dalam Himpunan Data. Klik Pilih Kolom dalam Himpunan Data, klik Luncurkan pemilih kolom, lalu pilih Label Ternilai dan Probabilitas Ternilai. Setelah mengatur port output Pilih Kolom dalam Himpunan Data dan menjalankannya lagi, Anda harus siap menerbitkan eksperimen penilaian sebagai layanan web dengan mengklik TERBITKAN LAYANAN WEB. Eksperimen akhir terlihat seperti Gambar 4.

Gambar 4. Eksperimen penilaian akhir dari masalah klasifikasi dua kelas iris

Setelah Anda menjalankan layanan web dan memasukkan beberapa nilai fitur instans pengujian, hasil akan menampilkan dua angka. Angka pertama adalah label ternilai, dan yang kedua adalah probabilitas ternilai. Bunga ini diprediksi sebagai Kelas 1 dengan probabilitas 0,9655.

Gambar 5. Hasil layanan web klasifikasi dua kelas iris

Klasifikasi multi-kelas

Eksperimen contoh

Dalam eksperimen ini, Anda akan melakukan tugas pengenalan huruf sebagai contoh klasifikasi multikelas. Pengklasifikasi mencoba memprediksi huruf tertentu %28class%29 berdasarkan beberapa nilai atribut tulisan tangan yang diekstrak dari gambar tulisan tangan.

Dalam data pelatihan, ada 16 ciri yang diekstrak dari gambar huruf tulisan tangan. 26 huruf membentuk 26 kelas kami. Gambar 6 menunjukkan eksperimen yang akan melatih model klasifikasi multikelas untuk pengenalan huruf dan memprediksi pada rangkaian fitur yang sama pada pengujian himpunan data.

Gambar 6. Eksperimen masalah klasifikasi multi-kelas pengenalan huruf

Memvisualkan hasil dari modul Model Penilaian dengan mengklik port output modul Model Penilaian, kemudian mengklik Visualkan, Anda akan melihat konten seperti pada Gambar 7.

Gambar 7. Memvisualkan hasil model penilaian dalam klasifikasi multikelas

Interpretasi hasil

16 kolom kiri mewakili nilai fitur dari kumpulan pengujian. Kolom dengan nama seperti Probabilitas Ternilai untuk Kelas "XX" sama seperti kolom Probabilitas Ternilai dalam kasus dua kelas. Kolom tersebut menunjukkan probabilitas bahwa entri yang sesuai masuk ke kelas tertentu. Misalnya, untuk entri pertama, ada 0,003571 probabilitas untuk "A”, 0,000451 probabilitas untuk "B", dan seterusnya. Kolom terakhir (Label Ternilai) sama dengan Label Ternilai dalam kasus dua kelas. Kolom tersebut memilih kelas dengan probabilitas ternilai terbesar sebagai kelas yang diprediksi dari entri yang sesuai. Misalnya, untuk entri pertama, label ternilai adalah "F" karena memiliki probabilitas terbesar untuk menjadi "F" (0,916995).

Publikasi layanan web

Anda juga dapat memperoleh label ternilai untuk setiap entri dan probabilitas label ternilai. Logika dasarnya adalah menemukan probabilitas terbesar di antara semua probabilitas ternilai. Untuk melakukannya, gunakan modul Jalankan Skrip R. Kode R ditunjukkan pada Gambar 8, dan hasil eksperimen ditunjukkan pada Gambar 9.

Gambar 8. Kode R untuk mengekstrak Label Ternilai dan probabilitas terkait untuk label

Gambar 9. Eksperimen penilaian akhir dari masalah klasifikasi multi-kelas pengenalan huruf

Setelah menerbitkan dan menjalankan layanan web dan memasukkan beberapa nilai ciri input, hasil yang ditunjukkan adalah seperti pada Gambar 10. Huruf tulisan tangan ini, dengan 16 ciri yang diekstraksi, diprediksi adalah "T" dengan probabilitas 0,9715.

Gambar 10. Hasil layanan web dari klasifikasi multi-kelas

Regresi

Masalah regresi berbeda dengan masalah klasifikasi. Dalam masalah klasifikasi, Anda mencoba memprediksi kelas yang berbeda, misalnya kelas manakah yang mencakup bunga iris. Namun, seperti pada contoh masalah regresi berikut ini, Anda mencoba memprediksi variabel berkelanjutan, seperti harga mobil.

Eksperimen contoh

Gunakan prediksi harga mobil sebagai contoh regresi. Anda mencoba memprediksi harga mobil berdasarkan fitur-fiturnya, termasuk pabrikan, jenis bahan bakar, jenis bodi mobil, dan roda setir. Eksperimen ditunjukkan pada Gambar 11.

Gambar 11. Eksperimen masalah regresi harga mobil

Visualisasi modul Model Penilaian, hasilnya terlihat seperti Gambar 12.

Gambar 12. Hasil penilaian untuk masalah prediksi harga mobil

Interpretasi hasil

Label Ternilai adalah kolom hasil dalam hasil penilaian ini. Angka-angka tersebut merupakan prediksi harga untuk setiap mobil.

Publikasi layanan web

Anda dapat menerbitkan eksperimen regresi ke dalam layanan web dan memanggilnya untuk prediksi harga mobil dengan cara yang sama seperti pada kasus penggunaan klasifikasi dua kelas.

Gambar 13. Eksperimen penilaian masalah regresi harga mobil

Jalankan layanan web, hasil yang dikembalikan terlihat seperti Gambar 14. Harga yang diprediksi untuk mobil ini adalah $15.085,52.

Gambar 14. Hasil layanan web dari masalah regresi harga mobil

Pengklusteran

Eksperimen contoh

Mari kita gunakan himpunan data Iris lagi untuk membangun eksperimen pengklusteran. Di sini, Anda dapat memfilter label kelas dalam himpunan data agar hanya memiliki fitur dan dapat digunakan untuk pengklusteran. Dalam kasus penggunaan iris ini, tentukan jumlah kluster menjadi dua selama proses pelatihan, yang berarti Anda akan mengelompokkan bunga ke dalam dua kelas. Eksperimen ditunjukkan pada Gambar 15.

Gambar 15. Eksperimen masalah pengklusteran Iris

Pengklusteran berbeda dari klasifikasi, himpunan data pelatihan tidak memiliki label ground-truth dengan sendirinya. Pengklusteran grup instans himpunan data pelatihan ke dalam kluster yang berbeda. Selama proses pelatihan, model melabeli entri dengan mempelajari perbedaan di antara ciri-cirinya. Setelah itu, model terlatih dapat digunakan untuk mengklasifikasikan entri di masa mendatang. Ada dua bagian dari hasil yang kami minati dalam masalah pengklusteran. Bagian pertama adalah melabeli himpunan data pelatihan, dan yang kedua adalah mengklasifikasikan himpunan data baru dengan model terlatih.

Bagian pertama hasil dapat divisualkan dengan mengklik port output kiri Model Pengklusteran Latihan, kemudian mengklik Visualkan. Visualisasi ditampilkan pada Gambar 16.

Gambar 16. Memvisualkan hasil pengklusteran untuk himpunan data pelatihan

Hasil dari bagian kedua, mengklusterkan entri baru dengan model pengklusteran terlatih, ditunjukkan pada Gambar 17.

Gambar 17. Memvisualkan hasil pengklusteran pada himpunan data baru

Interpretasi hasil

Meskipun hasil kedua bagian berasal dari tahap eksperimen yang berbeda, semuanya terlihat sama dan diinterpretasikan dengan cara yang sama. Empat kolom pertama adalah fitur. Kolom terakhir, Penugasan, adalah hasil prediksi. Entri yang diberi nomor sama diperkirakan berada dalam kluster yang sama, yang artinya memiliki sejumlah kesamaan (eksperimen ini menggunakan metrik jarak Euclidean default). Karena Anda menentukan jumlah kluster menjadi 2, entri dalam Penugasan diberi label 0 atau 1.

Publikasi layanan web

Anda dapat menerbitkan eksperimen pengklusteran ke dalam layanan web dan memanggilnya untuk prediksi pengklusteran dengan cara yang sama seperti pada kasus penggunaan klasifikasi dua kelas.

Gambar 18. Eksperimen penilaian masalah pengklusteran iris

Setelah menjalankan layanan web, hasil yang ditampilkan terlihat seperti Gambar 19. Bunga ini diprediksi berada di kluster 0.

Gambar 19. Hasil layanan web klasifikasi dua kelas iris

Sistem pemberi rekomendasi

Eksperimen contoh

Untuk sistem pemberi rekomendasi, Anda dapat menggunakan masalah rekomendasi restoran sebagai contoh: Anda dapat merekomendasikan restoran untuk pelanggan berdasarkan riwayat peringkatnya. Data input terdiri dari tiga bagian:

• Penilaian restoran dari pelanggan
• Data fitur pelanggan
• Data fitur restoran

Ada beberapa hal yang dapat kita lakukan dengan modul Melatih Matchbox Recommender di Machine Learning Studio (klasik):

• Memprediksi peringkat untuk pengguna dan item yang ditentukan
• Merekomendasikan item kepada pengguna yang ditentukan
• Menemukan pengguna yang terkait dengan pengguna yang ditentukan
• Menemukan item yang terkait dengan item yang ditentukan

Anda dapat memilih apa yang ingin dilakukan dengan memilih opsi di menu Jenis prediksi pemberi rekomendasi. Di sini, Anda dapat mempelajari keempat skenario.

Eksperimen Machine Learning Studio (klasik) biasa untuk sistem pemberi rekomendasi terlihat seperti Gambar 20. Untuk informasi tentang cara menggunakan modul sistem pemberi rekomendasi tersebut, lihat Melatih pemberi rekomendasi matchbox dan Menilai pemberi rekomendasi matchbox.

Gambar 20. Eksperimen sistem pemberi rekomendasi

Interpretasi hasil

Memprediksi peringkat untuk pengguna dan item tertentu

Dengan memilih Prediksi Peringkat pada Jenis prediksi pemberi rekomendasi, Anda meminta sistem pemberi rekomendasi untuk memprediksi peringkat bagi pengguna dan item yang ditentukan. Visualisasi output Menilai Pemberi Rekomendasi Matchbox terlihat seperti Gambar 21.

Gambar 21. Memvisualkan hasil skor dari sistem pemberi rekomendasi--prediksi peringkat

Dua kolom pertama adalah pasangan item pengguna yang disediakan oleh data input. Kolom ketiga adalah prediksi peringkat pengguna untuk item tertentu. Misalnya, pada baris pertama, pelanggan U1048 diprediksi akan menilai restoran 135026 sebagai 2.

Merekomendasikan item kepada pengguna tertentu

Dengan memilih Rekomendasi Item pada Jenis prediksi pemberi rekomendasi, Anda meminta sistem pemberi rekomendasi untuk merekomendasikan item kepada pengguna tertentu. Parameter terakhir yang dipilih dalam skenario ini adalah Pilihan item yang direkomendasikan. Opsi Dari Item Berperingkat (untuk evaluasi model) digunakan terutama untuk evaluasi model selama proses pelatihan. Untuk tahap prediksi ini, kami memilih Dari Semua Item. Visualisasi output Menilai Pemberi Rekomendasi Matchbox terlihat seperti Gambar 22.

Gambar 22. Memvisualkan hasil skor dari sistem pemberi rekomendasi--rekomendasi item

Kolom pertama dari enam kolom menunjukkan ID pengguna yang diberikan untuk merekomendasikan item, sebagaimana disediakan oleh data input. Lima kolom lainnya menunjukkan item yang direkomendasikan kepada pengguna dalam urutan turun relevansi. Misalnya, di baris pertama, restoran yang paling direkomendasikan untuk pelanggan U1048 adalah 134986, diikuti oleh 135018, 134975, 135021, dan 132862.

Menemukan pengguna yang terkait dengan pengguna tertentu

Dengan memilih Pengguna Terkait pada Jenis prediksi pemberi rekomendasi, Anda meminta sistem pemberi rekomendasi untuk menemukan pengguna terkait kepada pengguna tertentu. Pengguna terkait adalah pengguna yang memiliki preferensi serupa. Parameter terakhir yang dipilih dalam skenario ini adalah Pilihan pengguna terkait. Opsi Dari Pengguna yang Memberi Peringkat Item (untuk model evaluasi) terutama untuk model evaluasi selama proses pelatihan. Pilih Dari Semua Pengguna untuk tahap prediksi ini. Visualisasi output Menilai Pemberi Rekomendasi Matchbox terlihat seperti Gambar 23.

Gambar 23. Memvisualkan hasil skor sistem pemberi rekomendasi--pengguna terkait

Kolom pertama dari enam kolom menunjukkan ID pengguna yang diberikan, diperlukan untuk menemukan pengguna terkait, seperti yang disediakan oleh data input. Lima kolom lainnya menyimpan pengguna terkait yang diprediksi dalam urutan turun relevansi. Misalnya, di baris pertama, pelanggan yang paling relevan untuk pelanggan U1048 adalah U1051, diikuti oleh U1066, U1044, U1017, dan U1072.

Menemukan item yang terkait dengan item tertentu

Dengan memilih Item Terkait pada Jenis prediksi pemberi rekomendasi, Anda meminta sistem pemberi rekomendasi untuk menemukan item terkait ke item tertentu. Item terkait adalah item yang paling mungkin disukai oleh pengguna yang sama. Parameter terakhir yang dipilih dalam skenario ini adalah Pilihan item terkait. Opsi Dari Item Berperingkat (untuk evaluasi model) digunakan terutama untuk evaluasi model selama proses pelatihan. Kami memilih Dari Semua Item untuk tahap prediksi ini. Visualisasi output Menilai Pemberi Rekomendasi Matchbox terlihat seperti Gambar 24.

Gambar 24. Memvisualkan hasil skor sistem pemberi rekomendasi--item terkait

Kolom pertama dari enam kolom menunjukkan ID item yang diberikan, diperlukan untuk menemukan item terkait, sebagaimana disediakan oleh data input. Lima kolom lainnya menyimpan item terkait yang diprediksi dalam urutan turun dalam hal relevansi. Misalnya, di baris pertama, item yang paling relevan untuk item 135026 adalah 135074, diikuti oleh 135035, 132875, 135055, dan 134992.

Publikasi layanan web

Proses penerbitan eksperimen ini sebagai layanan web untuk mendapatkan prediksi serupa dari empat skenario, masing-masing. Di sini kita mengambil skenario kedua (merekomendasikan item ke pengguna yang ditentukan) sebagai contoh. Anda dapat mengikuti prosedur yang sama dengan tiga lainnya.

Menyimpan sistem pemberi rekomendasi yang sudah terlatih sebagai model terlatih dan memfilter data input ke satu kolom ID pengguna sesuai permintaan, Anda dapat menghubungkan eksperimen seperti pada Gambar 25 dan menerbitkannya sebagai layanan web.

Gambar 25. Eksperimen penilaian masalah rekomendasi restoran

Menjalankan layanan web, hasil yang dikembalikan terlihat seperti Gambar 26. Lima restoran yang direkomendasikan untuk pengguna U1048 adalah 134986, 135018, 134975, 135021, dan 132862.

Gambar 26. Hasil layanan web masalah rekomendasi restoran