Fiturisasi untuk pembelajaran transfer

Artikel ini memberikan contoh pembuatan fitur untuk pembelajaran alih menggunakan pandas UDF.

Fiturisasi untuk pembelajaran transfer dalam model DL

Azure Databricks mendukung fiturisasi dengan model pembelajaran mendalam. Model pembelajaran mendalam yang telah dilatih sebelumnya dapat digunakan untuk menghitung fitur untuk digunakan dalam model hilir lainnya. Azure Databricks mendukung fiturisasi dalam skala besar, mendistribusikan komputasi di seluruh kluster. Anda dapat melakukan fiturisasi dengan pustaka pembelajaran mendalam yang disertakan dalam Databricks Runtime ML, termasuk TensorFlow dan PyTorch.

Azure Databricks juga mendukung pembelajaran transfer, teknik yang terkait erat dengan fiturisasi. Pembelajaran transfer memungkinkan Anda untuk menggunakan kembali pengetahuan dari satu domain masalah dalam domain terkait. Fiturisasi itu sendiri adalah metode sederhana dan kuat untuk pembelajaran transfer: menghitung fitur menggunakan model pembelajaran mendalam yang sudah dilatih sebelumnya mengalihkan pengetahuan tentang fitur-fitur bagus dari domain asli.

Langkah-langkah untuk menghitung karakteristik untuk transfer learning

Artikel ini menunjukkan cara menghitung fitur untuk pembelajaran transfer menggunakan model TensorFlow yang telah dilatih sebelumnya, menggunakan alur kerja berikut:

1. Mulai dengan model pembelajaran mendalam pra-terlatih, dalam hal ini model klasifikasi gambar dari tensorflow.keras.applications.
2. Memotong lapisan-lapisan terakhir dari model. Model yang dimodifikasi menghasilkan tensor fitur sebagai output, bukan prediksi.
3. Terapkan model itu ke himpunan data gambar baru dari domain masalah yang berbeda, fitur komputasi untuk gambar.
4. Gunakan fitur ini untuk melatih model baru. Buku catatan berikut menghilangkan langkah terakhir ini. Untuk contoh pelatihan model sederhana seperti regresi logistik, lihat Melatih model AI dan ML.

Contoh: Menggunakan UDF panda untuk fiturisasi

Notebook berikut menggunakan pandas UDF untuk melakukan langkah featurisasi. pandas UDFs, dan varian terbaru mereka Scalar Iterator pandas UDFs, menawarkan API yang fleksibel, mendukung perpustakaan pembelajaran mendalam apa pun, dan memberikan performa tinggi.

Fiturisasi dan pembelajaran transfer dengan TensorFlow

Ambil buku catatan