Konsep penyempurnaan model

Penyempurnaan membantu Anda menyesuaikan model AI yang telah dilatih sebelumnya untuk bekerja lebih baik dengan data dan kasus penggunaan spesifik Anda. Teknik ini dapat meningkatkan performa model sambil membutuhkan lebih sedikit data pelatihan daripada membangun model dari awal.

Artikel ini membahas:

  • Apa itu penyempurnaan dan cara kerjanya
  • Kapan menggunakan penyempurnaan versus pendekatan lainnya
  • Cara memilih dan menyiapkan model untuk penyempurnaan
  • Praktik terbaik untuk iterasi dan peningkatan hasil Anda

Prasyarat

Sebelum memulai, Anda harus memiliki:

  • Pemahaman dasar tentang konsep pembelajaran mesin
  • Memahami persyaratan kasus penggunaan dan data spesifik Anda
  • Akses ke data sampel untuk pelatihan dan validasi

Apa itu penyempurnaan?

Penyempurnaan adalah teknik pembelajaran mesin yang menyesuaikan model yang telah dilatih sebelumnya untuk berkinerja lebih baik pada tugas spesifik Anda. Alih-alih melatih model dari awal, Anda mulai dengan model yang sudah memahami pola umum dan menyesuaikannya untuk bekerja dengan data Anda.

Pendekatan ini memanfaatkan pembelajaran transfer—menggunakan pengetahuan yang diperoleh dari satu tugas untuk meningkatkan performa pada tugas terkait. Penyempurnaan sangat efektif ketika Anda memiliki data pelatihan terbatas atau ingin membangun kemampuan model yang ada.

Kapan harus menyempurnakan

Penyempurnaan berfungsi dengan baik ketika Anda memiliki sejumlah kecil data dan ingin meningkatkan performa model Anda. Dengan memulai dengan model yang telah dilatih sebelumnya, Anda dapat menggunakan pengetahuan yang sudah dipelajari model dan menyesuaikannya agar lebih sesuai dengan data Anda. Pendekatan ini membantu Anda meningkatkan performa model dan mengurangi jumlah data yang diperlukan untuk pelatihan.

Ketika Anda memiliki sejumlah besar data, Anda biasanya tidak perlu menyempurnakan model Anda. Anda dapat melatih model Anda dari awal dan mendapatkan hasil yang baik tanpa menyempurnakan. Namun, penyempurnaan masih dapat membantu jika Anda ingin meningkatkan performa model Anda. Anda mungkin juga ingin menyempurnakan model jika Anda memiliki tugas tertentu yang berbeda dari tugas yang awalnya dilatih oleh model yang telah dilatih sebelumnya.

Anda mungkin dapat menghindari penyempurnaan yang mahal dengan menggunakan rekayasa prompt atau penggabungan perintah. Teknik ini membantu Anda menghasilkan teks berkualitas tinggi tanpa menyempurnakan.

Pilih model yang telah dilatih sebelumnya

Pilih model yang telah dilatih sebelumnya yang sesuai dengan persyaratan tugas Anda. Banyak model yang telah dilatih sebelumnya tersedia, masing-masing dilatih pada tugas yang berbeda. Pilih model yang dilatih pada tugas yang mirip dengan tugas Anda. Pilihan ini membantu Anda menggunakan pengetahuan yang sudah dipelajari model dan menyesuaikannya agar sesuai dengan data Anda.

Hugging Face model adalah tempat yang baik untuk memulai ketika mencari model yang telah dilatih sebelumnya. Model dikelompokkan Hugging Face ke dalam kategori berdasarkan tugas yang dilatih, sehingga memudahkan untuk menemukan model yang sesuai dengan tugas Anda.

Kategori ini meliputi:

  • Multimodal
  • Visi komputer
  • Pemrosesan bahasa alami
  • Suara
  • Tabel
  • Pembelajaran penguatan

Periksa apakah model berfungsi dengan lingkungan dan alat Anda. Misalnya, jika Anda menggunakan ekstensi Visual Studio Code (VS Code), Anda dapat menggunakan ekstensi Azure Machine Learning untuk VS Code untuk menyempurnakan model Anda.

Periksa status dan lisensi model. Beberapa model pra-terlatih tersedia di bawah lisensi sumber terbuka, sementara yang lain memerlukan lisensi komersial atau pribadi. Semua model di Hugging Face menyertakan informasi lisensi. Pastikan Anda memiliki izin yang diperlukan untuk menggunakan model sebelum menyempurnakannya.

Menyiapkan data sampel Anda

Menyiapkan data sampel Anda melibatkan pembersihan dan praproscesing data Anda agar cocok untuk pelatihan. Anda juga harus membagi data Anda menjadi set pelatihan dan validasi untuk mengevaluasi performa model Anda. Format data Anda harus sesuai dengan format yang diharapkan oleh model yang telah dilatih sebelumnya yang Anda gunakan. Anda dapat menemukan informasi ini tentang model pada Hugging Face bagian Format Instruksi pada kartu model. Sebagian besar kartu model menyertakan templat untuk membuat petunjuk bagi model dan beberapa pseudocode untuk membantu Anda memulai.

Iterasikan model Anda

Setelah Anda menyempurnakan model Anda, evaluasi performanya pada dataset validasi. Gunakan metrik seperti akurasi, presisi, pengenalan, dan skor F1 untuk mengevaluasi performa model Anda. Jika performa model Anda tidak memuaskan, sesuaikan hiperparameter, ubah arsitektur, atau sesuaikan model pada lebih banyak data. Anda juga dapat memeriksa kualitas dan keragaman data Anda untuk melihat apakah ada masalah yang perlu ditangani. Sebagai aturan umum, sekumpulan data berkualitas tinggi yang lebih kecil lebih berharga daripada sekumpulan data berkualitas rendah yang lebih besar.

Lihat juga

Untuk mempelajari selengkapnya tentang menyempurnakan model AI, lihat sumber daya berikut:

Saat menggunakan fitur AI, tinjau: Mengembangkan Aplikasi dan Fitur AI Generatif yang Bertanggung Jawab di Windows.

Konten terkait

  • Last updated on