Mulai menggunakan pelatihan interaktif (pratinjau) di Microsoft Foundry

Important

Item yang ditandai sebagai pratinjau dalam artikel ini saat ini masih dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan Microsoft tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Supplemental Terms of Use for Microsoft Azure Previews.

Important

Pelatihan interaktif memerlukan persetujuan akses secara eksplisit. Minta akses melalui formulir pendaftaran pratinjau dan tunggu persetujuan sebelum membuat sesi pelatihan.

Dalam panduan mulai cepat ini, Anda mengkloning repositori sampel dan menjalankan resep pembelajaran penguatan (RL) pada soal matematika GSM8K. Resep ini menghasilkan respons, menilai kebenarannya, dan memperbarui adaptor adaptasi peringkat rendah (LoRA) untuk Qwen3.8-27B di Microsoft Foundry.

Anda menjalankan driver Python secara lokal; Foundry menjalankan operasi model. Proses singkat ini memeriksa bahwa pelatihan, evaluasi, dan penyimpanan titik pemeriksaan berfungsi. Ini bukan tolok ukur kualitas model, dan Anda tidak memerlukan GPU lokal.

Jika Anda tidak memiliki langganan Azure, buat akun gratis.

Prerequisites

  • Proyek Foundry dengan akses pratinjau pelatihan interaktif yang disetujui dan kapasitas untuk Qwen/Qwen3.8-27B. Periksa model yang didukung dan wilayah yang didukung.
  • Peran Pengguna Foundry untuk pelatihan, atau peran Pemilik Foundry jika Anda juga menyebarkan model yang disempurnakan. Lihat Kontrol akses berbasis peran untuk Microsoft Foundry.
  • Python 3.11 atau yang lebih baru, Git, dan direktori lokal yang dapat ditulis.
  • Gunakan Azure CLI untuk perintah masuk di bawah ini.
  • Akses jaringan untuk mengunduh paket Python, himpunan data publik, dan tokenizer model.
  • Anggaran yang disetujui untuk pemuatan model, pelatihan, pengambilan sampel, dan evaluasi.

Mengkloning repositori sampel

Klon microsoft-foundry/fine-tuning dan buka cookbook pelatihan interaktifnya:

git clone https://github.com/microsoft-foundry/fine-tuning.git
cd fine-tuning/interactive_training

Biarkan direktori ini tetap terbuka untuk perintah yang tersisa. Ini berisi pyproject.toml cookbook dan paket Python.

Instal cookbook

Buat lingkungan virtual dan instal cookbook. Perintah Linux dan Windows menggunakan indeks paket Torch CPU untuk dependensi sisi driver.

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e . \
    --index-url https://pypi.org/simple \
    --extra-index-url https://download.pytorch.org/whl/cpu

Referensi: Penginstalan Cookbook.

Periksa penginstalan tanpa membuat sesi jarak jauh:

python -m pip check
python -m interactive_training.recipes.math_rl.train_azure --help

Tidak ada dependensi rusak dan bantuan resep yang mencantumkan project_endpoint, max_steps, dan max_train_examples.

Mengonfigurasi proyek Anda dan masuk

Masuk dengan identitas yang disetujui untuk proyek Anda, lalu pilih langganan/subscription-nya:

az login
az account set --subscription "<subscription-id>"

Referensi: Masuk dengan Azure CLI.

Salin endpoint proyek dari proyek Foundry Anda. Gunakan URL proyek, bukan URL penyebaran model atau hanya nama host akun. Ganti <account> dan <project> dengan nilai proyek Anda:

export AZURE_AI_PROJECT_ENDPOINT=\
"https://<account>.services.ai.azure.com/api/projects/<project>"

Resep menggunakan DefaultAzureCredential kecuali AZURE_AI_API_KEY telah diatur. Kredensial lain yang dikonfigurasi dapat dipilih sebelum kredensial CLI. Jika variabel kunci diatur, variabel tersebut lebih diutamakan daripada login Azure CLI Anda.

Jalankan recipe

Jalankan resep GSM8K dengan dua iterasi pelatihan, 16 contoh pelatihan, dan delapan contoh evaluasi yang disisihkan. Recipe membuat sesi, mengambil sampel respons, menghitung reward, memperbarui adaptor, dan menyimpan titik pemeriksaan.

Warning

Perintah ini membuat sesi pelatihan jarak jauh dan dapat dikenakan biaya. max_steps=2 membatasi iterasi pelatihan, bukan waktu pemuatan model, panggilan evaluasi, token total, atau biaya. Lanjutkan hanya dengan anggaran yang disetujui.

python -m interactive_training.recipes.math_rl.train_azure \
    project_endpoint="$AZURE_AI_PROJECT_ENDPOINT" \
    model_name="Qwen/Qwen3.8-27B" renderer_name=qwen3_8_low_reasoning \
    env=gsm8k learning_rate=2e-5 temperature=1.0 max_tokens=1200 \
    lora_rank=32 group_size=4 groups_per_batch=8 \
    loss_fn=importance_sampling seed=42 \
    max_steps=2 max_train_examples=16 max_test_examples=8 \
    eval_every=1 save_every=1 \
    log_path=./runs/first-math-check behavior_if_log_dir_exists=raise

Referensi: Mulai cepat resep Math RL.

Rumus menggunakan key=value argumen, bukan --key value. Biarkan terminal dan koneksi jaringan tetap terbuka hingga proses selesai.

Setiap perulangan menggunakan delapan perintah dengan empat respons per perintah. max_tokens=1200 memberikan anggaran penyelesaian untuk penalaran dan jawaban akhir; respons masih dapat dipotong.

Hasilnya masuk ke first-math-check direktori di bawah runs. Perintah tidak akan menimpa direktori yang sudah ada. Pilih log_path baru untuk eksekusi independen lainnya; jangan hapus hasil Anda untuk mengatasi kesalahan.

Periksa apa yang berhasil

Lihat di ./runs/first-math-check/, relatif terhadap direktori cookbook:

Stage Evidence Apa yang dibuktikan
Penyiapan Launcher run_meta.jsonditulis; ID sesi awalnya mungkin null. Penyiapan lokal dimulai, bukan berarti Azure mengakui sesi.
Model dimuat Konsol Session ready: session_id=...; azure.session_id diperbarui. Pembuatan sesi selesai.
Perulangan sedang berjalan config.json, metrics.jsonl, metrik pelatihan, dan HTML lintasan. Operasi pengambilan sampel, penilaian, dan pembaruan sedang berlangsung.
Keadaan tersimpan checkpoints.jsonl telah menyimpan state_path/sampler_path entri. Operasi penyimpanan selesai; jangan mengandalkan nama titik pemeriksaan yang dicetak sebelum penyimpanan selesai.
Selesai normal final baris ledger setelah batch terlatih, metrik hold-out akhir, dan proses keluar yang berhasil. Workflow terbatas selesai; periksa peringatan dan verifikasi pembersihan secara terpisah.

Untuk eksekusi GSM8K sinkron baru ini, evaluasi awal terjadi sebelum pembaruan pertama; evaluasi akhir mengikuti penyimpanan akhir. Periksa test/env/all/correct dan test/env/all/total_episodes; periksa peringatan evaluasi yang terlewat. Skor nol dapat menjadi kegagalan nyata dari pemformatan atau anggaran token bahkan ketika infrastruktur berfungsi. Metrik yang hilang bukan skor nol.

Tidak ada keuntungan akurasi yang diperlukan atau runtime yang dijanjikan untuk pemeriksaan dua langkah ini. Untuk mengklaim peningkatan, gunakan set hold-out tetap dan panduan evaluasi.

Lihat artefak lokal:

python dashboard_server.py --root ./runs
# Open http://127.0.0.1:8000/

Referensi: Jalankan dasbor.

Pertahankan dasbor pada alamat loopback defaultnya karena tidak memiliki autentikasi dan dapat menampilkan prompt dan respons. Tekan Ctrl+C di terminal dashboard untuk menghentikannya; ini tidak menghentikan sesi pelatihan jarak jauh Anda.

Membersihkan sumber daya

recipe mencoba menutup sesi pelatihannya ketika perulangan berakhir. Periksa peringatan pembersihan; pesan cetak Session closed saja tidak mengonfirmasi bahwa komputasi remote dirilis.

Gunakan ID sesi yang direkam dan panduan contoh untuk manajemen sesi untuk memeriksa sesi Anda. Jika tetap aktif, pertahankan titik pemeriksaan yang diperlukan dan lepaskan hanya sesi yang Anda miliki.

Pertahankan konfigurasi, metrik, dan referensi titik pemeriksaan Anda untuk pemulihan. Menghapus file lokal tidak membebaskan sumber daya komputasi jarak jauh. Konfigurasi ini tidak membuat deployment penyajian.

Coba resep lain

Setelah menyelesaikan panduan memulai cepat ini, coba resep lain di repositori sampel fine-tuning. Panduan pelatihan interaktif mencakup contoh untuk penyempurnaan yang diawasi, pengoptimalan preferensi, penyulingan, dan tugas RL lainnya.

Ikuti instruksi penyiapan dan dataset setiap resep. Konfirmasi akses model dan anggaran yang disetujui sebelum memulai eksekusi lain.

Konten terkait

  • Terakhir diperbarui pada