Konsep utama untuk pelatihan interaktif (pratinjau) di Microsoft Foundry

Important

Item yang ditandai sebagai pratinjau dalam artikel ini saat ini masih dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan Microsoft tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Supplemental Terms of Use for Microsoft Azure Previews.

Important

Pelatihan interaktif memerlukan persetujuan akses eksplisit. Minta akses melalui formulir pendaftaran pratinjau dan tunggu persetujuan sebelum membuat sesi pelatihan.

Pelatihan interaktif memungkinkan program Anda mengontrol bagaimana model belajar saat Microsoft Foundry menjalankan model. Program Anda, juga disebut driver pelatihan, memilih contoh, mengevaluasi respons, dan memutuskan kapan harus memperbarui model.

Konsep di bawah ini menjelaskan bagaimana bagian-bagian dari perulangan pelatihan saling terkait. Untuk detail kode dan implementasi, lihat cheatsheet SDK.

Sesi pelatihan

Sesi pelatihan menyimpan model dan kemajuan pelatihannya saat ini saat eksperimen Anda berjalan. Driver Anda meminta operasi individual, seperti menghasilkan respons atau menerapkan pembaruan.

Sesi memiliki tujuan yang berbeda dari job terkelola atau deployment:

Resource Kegunaan
Sesi pelatihan interaktif Program Anda mengontrol loop pelatihan satu operasi pada satu waktu.
Tugas fine-tuning terkelola Layanan ini menjalankan alur kerja pelatihan yang telah ditentukan sebelumnya dari data dan pengaturan yang Anda berikan.
Deployment penyajian Model terlatih menjawab permintaan dari aplikasi.

Driver Anda menjaga sesi tetap aktif saat eksperimen berjalan. Kemajuan yang hanya tersimpan dalam sesi bukanlah catatan yang tahan lama; checkpoint pelatihan yang telah selesai akan menyimpannya.

adapter LoRA

Model dasar adalah model yang Anda gunakan sebagai titik awal. Bobotnya adalah nilai yang dipelajari yang membentuk perilakunya.

Adaptor adaptasi peringkat rendah (LoRA) adalah sekumpulan kecil bobot yang dapat dilatih yang ditambahkan ke model dasar. Pelatihan mengubah adaptor daripada melatih kembali semua bobot asli model.

Adaptor berisi apa yang telah dipelajari oleh eksperimen Anda. Ini tetap terikat dengan model dasar yang kompatibel; ini bukan pengganti mandiri untuk model tersebut.

Untuk detail implementasi, lihat Membuat sesi.

Tingkat pelatihan

Tingkat training adalah opsi layanan yang digunakan untuk menjalankan training. Tingkatan dapat berbeda di mana pelatihan berjalan, bagaimana kapasitas disediakan, dan jaminan layanan yang berlaku.

Opsi yang tersedia untuk Anda bergantung pada model, wilayah, dan proyek. Tingkat pelatihan terpisah dari opsi penyebaran yang digunakan untuk melayani model terlatih. Lihat Jenis pelatihan.

Pemformatan pesan

Pesan Anda perlu dikonversi menjadi bentuk yang dipahami model yang dipilih. Format tersebut juga membedakan permintaan pengguna, respons asisten, dan informasi yang dikembalikan oleh alat.

  • Token adalah unit teks kecil, seperti kata atau bagian kata, yang dibaca dan dihasilkan model.
  • Tokenizer mengonversi teks menjadi token dan token kembali menjadi teks.
  • Templat obrolan mengatur pesan sehingga model dapat membedakan pembicara dan mengenali di mana respons dimulai.
  • renderer menyiapkan pesan dalam format model dan mengonversi respons yang dihasilkan kembali menjadi konten yang dapat dibaca.

Model yang berbeda dapat menggunakan format pesan yang berbeda. Pemformatan yang konsisten membantu program pelatihan mengidentifikasi bagian interaksi mana yang harus berkontribusi pada pembelajaran.

Pelatihan berbasis gambar juga memerlukan model vision-language yang kompatibel dan dukungan pelatihan gambar untuk proyek Anda. Pemformat pesan yang memahami gambar tidak menunjukkan bahwa pelatihan tersedia untuk mereka.

Loop pelatihan

Pelatihan interaktif memisahkan proses menghasilkan respons, menghitung sinyal pembelajaran, dan menerapkan pembaruan. Driver Anda menggabungkan operasi ini ke dalam alur kerja.

Operasi Apa artinya
Pengambilan sampel Model menghasilkan respons dari snapshot adaptor yang dipilih.
forward pass Model memproses contoh sehingga Anda dapat mengukur loss atau memeriksa sinyal pembelajaran tanpa mengakumulasi perubahan untuk pembaruan.
Perhitungan gradien Pelatihan menghitung bagaimana bobot adaptor dapat berubah untuk meningkatkan tujuan pembelajaran.
Pembaruan Optimizer Pengoptimal menerapkan gradien yang terakumulasi untuk mengubah adaptor.
Evaluasi Driver Anda mengukur performa pada contoh yang dipisahkan dari pelatihan.

Gradien menggambarkan potensi perubahan pada adaptor. Pengoptimal mengubah gradien tersebut menjadi pembaruan. Menghitung gradien tidak mengubah adaptor dengan sendirinya.

Beberapa set contoh dapat berkontribusi gradien ke satu pembaruan. Setelah pembaruan, pengambilan sampel memerlukan snapshot yang disegarkan untuk menggunakan status pembelajaran terbaru adaptor.

Evaluasi menggunakan contoh pengujian yang disisihkan, yang tidak digunakan untuk pelatihan, untuk memeriksa performa pada tugas yang penting bagi Anda. Loss pelatihan yang lebih rendah atau hadiah pelatihan yang lebih tinggi saja tidak menunjukkan kinerja yang lebih baik.

Untuk operasi yang sesuai dalam kode, lihat cheatsheet SDK.

Fungsi loss dan bobot token

Fungsi kerugian mengekspresikan objektif yang coba ditingkatkan oleh pelatihan. Ini mengubah contoh dan sinyal pembelajaran menjadi ukuran yang memandu perubahan pada adaptor.

Pendekatan pembelajaran Apa yang memandu pembaruan
Pembelajaran terawasi Respons yang diinginkan menunjukkan model apa yang akan dihasilkan.
Pembelajaran Penguatan Skor dan perbandingan antara respons yang dihasilkan menentukan perilaku mana yang perlu diperkuat.

Fungsi loss adalah salah satu bagian dari alur kerja. Ini tidak memilih contoh, menilai respons, atau memutuskan kapan pelatihan berhenti.

Bobot token mengontrol seberapa kuat bagian dari contoh berkontribusi pada pembelajaran. Mask mengecualikan bagian yang seharusnya tidak berkontribusi.

Misalnya, alur kerja pembelajaran yang diawasi dapat belajar dari respons asisten tanpa belajar mereproduksi permintaan pengguna.

Untuk pembelajaran penguatan, sinyal pembelajaran juga membedakan respons yang dihasilkan model dari informasi yang disediakan oleh pengguna atau lingkungan. Ini menggunakan informasi dari model yang menghasilkan setiap respons, bahkan jika model berubah nanti.

Tujuan kustom dapat menggabungkan output model dengan perhitungan di driver Anda. Driver masih mengoordinasikan sinyal pembelajaran dan pembaruan model.

Untuk struktur data dan contohnya, lihat Menyiapkan data terawasi dan Menyiapkan data RL.

Bagaimana sinyal pembelajaran digabungkan

Tujuan yang berbeda dapat menggabungkan sinyal pembelajaran secara berbeda, seperti menambahkannya bersama-sama atau menghitung rata-ratanya. Menggabungkan pendekatan yang tidak kompatibel dalam satu pembaruan dapat mengubah skalanya atau menyebabkan layanan menolaknya.

Kontribusi pada pembaruan yang sama membutuhkan cara yang konsisten untuk menggabungkan sinyal pembelajaran. Pembaruan selesai sebelum alur kerja beralih ke pendekatan yang tidak kompatibel.

Hadiah, peluncuran bertahap, dan keuntungan

Dalam pembelajaran penguatan, driver Anda mengevaluasi apa yang dilakukan model dan mengubah evaluasi tersebut menjadi sinyal pembelajaran.

Konsep Meaning
Peluncuran Respons yang dihasilkan atau interaksi yang lebih lama yang dapat mencakup pemanggilan alat dan pengamatan.
Hadiah Skor yang menjelaskan seberapa baik peluncuran memenuhi tujuan tugas. Program Anda menetapkan skor ini.
Keuntungan Perbandingan yang menunjukkan apakah respons berkinerja lebih baik atau lebih buruk daripada referensi, seperti respons lain terhadap perintah yang sama.

Satu pendekatan menghasilkan beberapa respons terhadap prompt yang sama dan membandingkan setiap reward dengan reward rata-rata grup:

  • Di atas rata-rata: Responsnya memiliki keunggulan positif.
  • Di bawah rata-rata: Respons memiliki kerugian.
  • Hadiah yang sama: Semua respons tidak memiliki keunggulan sama sekali, sehingga perbandingan ini tidak menyediakan sinyal pembelajaran.

Untuk tugas matematika, hadiah dapat mencerminkan apakah jawaban akhir sudah benar. Skor pemformatan tinggi saja tidak menetapkan bahwa jawabannya benar.

Driver Anda menentukan aturan penilaian dan metode perbandingan. Untuk contoh lengkapnya, jelajahi repositori sampel fine-tuning.

Operasi selesai

Setiap operasi membutuhkan waktu untuk dijalankan. Layanan yang menerima permintaan berbeda dengan penyelesaian pekerjaan yang diminta.

Status Apa yang diberitahukannya
Diterima Layanan menerima permintaan. Pekerjaan mungkin masih tertunda atau berjalan.
Completed Operasi selesai, dan hasilnya dapat digunakan oleh operasi dependen.
Waktu habis Pengemudi Anda berhenti menunggu Anda. Ini tidak membuktikan bahwa operasi gagal atau berhenti di layanan.

Urutannya penting: pembaruan tergantung pada komputasi gradien yang selesai, dan pengambilan sampel dari bobot baru tergantung pada refresh yang selesai. Hasil yang hilang bukan hasil sukses atau pengukuran bernilai nol.

Untuk detail implementasi, lihat Menggunakan operasi asinkron.

Checkpoints

checkpoint merekam status model pada titik tertentu. Checkpoint pelatihan dan checkpoint sampler mempertahankan informasi yang berbeda.

Type Apa yang dilestarikannya Untuk apa Anda menggunakannya
Pos pemeriksaan pelatihan Bobot adaptor yang dipelajari dan catatan pengoptimal tentang pembaruan sebelumnya. Memulihkan kemajuan atau melanjutkan pelatihan dalam sesi yang kompatibel.
Checkpoint sampler Cuplikan bobot adapter untuk menghasilkan respons. Pengambilan sampel dari versi adaptor yang dipilih, tanpa informasi yang diperlukan untuk melanjutkan pelatihan.

Refresh sampler menyiapkan status adaptor terbaru untuk pembuatan. Ini bukan pengganti checkpoint pelatihan yang disimpan, dan tidak selalu membuat artefak persisten.

Driver Anda memiliki progresnya sendiri yang perlu dipertahankan, seperti contoh mana yang telah digunakannya dan kapan evaluasi dilakukan. Checkpoint model tidak memulihkan kemajuan tersebut secara otomatis.

Tidak ada jenis checkpoint yang merupakan endpoint aplikasi. Menggunakan model terlatih dalam aplikasi adalah tugas penyebaran terpisah.

Untuk contoh kode, lihat Menyimpan dan melanjutkan pelatihan.

Siklus hidup sesi

Membongkar akan melepaskan sumber daya pelatihan aktif sesi. Ini memiliki tujuan yang berbeda dari menghapus sesi dan artefak yang disimpan.

Action Meaning
Periksa Periksa status sesi dan identifikasi checkpoint yang disimpan.
Bongkar Lepaskan sumber daya komputasi sesi aktif. Ini bukan penghapusan checkpoint.
Menghapus Hapus sesi. Ini juga dapat menghapus titik pemeriksaan dan sumber daya pengambilan sampelnya.

Mengirimkan permintaan unload tidak mengonfirmasi bahwa pembersihan selesai. Menutup koneksi jaringan driver Anda juga tidak sama dengan mengakhiri sesi.

Checkpoint pelatihan yang telah diselesaikan mempertahankan kemajuan sebelum sesi berakhir. Menghapus sesi dapat menghapus status tersimpan tersebut, sehingga penghapusan tidak dapat disamakan dengan melepaskan komputasi.

Untuk detail implementasi, lihat Menutup resource.

Konten terkait

Jelajahi sumber daya ini saat Anda siap menggunakan konsep:

  • Terakhir diperbarui pada