Microsoft Foundry'de etkileşimli eğitimi (önizleme) kullanmaya başlama

Important

Bu makalede önizleme olarak işaretlenmiş öğeler şu anda önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve Microsoft üretim iş yükleri için bunu önermez. Bazı özellikler desteklenmeyebilir veya kısıtlı özelliklere sahip olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Important

Etkileşimli eğitim için açık erişim onayı gerekir. Önizleme kayıt formu aracılığıyla erişim isteyin ve eğitim oturumu oluşturmadan önce onay bekleyin.

Bu hızlı başlangıçta örnek deposunu kopyalayıp GSM8K matematik sorunlarıyla ilgili bir pekiştirici öğrenme (RL) iş akışı çalıştıracaksınız. Reçete yanıtlar oluşturur, bunların doğruluğunu puanlar ve Microsoft Foundry'de Qwen3.8-27B için düşük dereceli uyarlama (LoRA) bağdaştırıcısını güncelleştirir.

Python sürücüsünü yerel olarak çalıştırırsınız; Foundry model işlemlerini çalıştırır. Bu kısa çalıştırma, eğitim, değerlendirme ve kontrol noktası kaydetmenin çalıştığını kontrol eder. Bu bir model kalitesi kıyaslaması değildir ve yerel bir GPU'ya ihtiyacınız yoktur.

Azure aboneliğiniz yoksa ücretsiz hesap oluşturun.

Prerequisites

  • Onaylı etkileşimli eğitim önizleme erişimine sahip ve kapasitesi bulunan bir Qwen/Qwen3.8-27B. Desteklenen modelleri ve bölgeleri denetleyin.
  • Eğitim için Foundry Kullanıcısı rolü veya ince ayarlı modeli de dağıtacaksanız Foundry Sahibi rolü. Bkz. Microsoft Foundry için rol tabanlı erişim denetimi.
  • Python 3.11 veya üzeri, Git ve yazılabilir bir yerel dizin.
  • Aşağıdaki oturum açma komutu için Azure CLI kullanın.
  • Python paketlerini, genel veri kümesini ve modelin belirteç oluşturucusunu indirmek için ağ erişimi.
  • Model yükleme, eğitim, örnekleme ve değerlendirme için onaylı bütçe.

Örnek deposunu klonlayın

Microsoft-foundry/fine-tuning'ı kopyalayıp etkileşimli eğitim kılavuzunu açın:

git clone https://github.com/microsoft-foundry/fine-tuning.git
cd fine-tuning/interactive_training

Kalan komutlar için bu dizini açık tutun. Yemek kitabının içeriği pyproject.toml ve Python paketini içerir.

Cookbook'u yükleyin

Sanal bir ortam oluşturun ve cookbook'u yükleyin. Linux ve Windows komutları, sürücü tarafı bağımlılıkları için CPU Torch paket dizinini kullanır.

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e . \
    --index-url https://pypi.org/simple \
    --extra-index-url https://download.pytorch.org/whl/cpu

Referans: Cookbook kurulumu.

Uzak oturum oluşturmadan yüklemeyi denetleyin:

python -m pip check
python -m interactive_training.recipes.math_rl.train_azure --help

Bozuk bağımlılıklar ve max_steps, max_train_examples ve project_endpoint öğelerini listeleyen tarif yardımı beklemeyin.

Projenizi yapılandırın ve oturum açın

Projeniz için onaylanan kimlikle oturum açın ve ardından bu kimliğin aboneliğini seçin:

az login
az account set --subscription "<subscription-id>"

Başvuru: Azure CLI ile oturum açın.

Foundry projenizden proje uç noktasını kopyalayın. Model dağıtım URL'si veya yalnızca hesap ana bilgisayar adı yerine proje URL'sini kullanın. <project> ve <account> değerlerini proje değerlerinizle değiştirin:

export AZURE_AI_PROJECT_ENDPOINT=\
"https://<account>.services.ai.azure.com/api/projects/<project>"

Tarif, ayarlanmadıkça AZURE_AI_API_KEY kullanır. Cli kimlik bilgilerinden önce diğer yapılandırılmış kimlik bilgileri seçilebilir. Anahtar değişkeni ayarlanırsa, Azure CLI oturum açma işleminize göre öncelik kazanır.

Tarifi çalıştır

İki eğitim yinelemesi, 16 eğitim örneği ve sekiz ayrı değerlendirme örneği ile GSM8K tarifini çalıştırın. Tarif bir oturum oluşturur, yanıtları örnekler, ödülleri hesaplar, adaptörü güncelleştirir ve denetim noktalarını kaydeder.

Warning

Bu komut bir uzaktan eğitim oturumu oluşturur ve ücrete tabi olabilir. max_steps=2 eğitim yinelemelerini sınırlar; model yükleme süresini, değerlendirme çağrılarını, toplam belirteçleri veya maliyeti sınırlamaz. Yalnızca onaylanmış bir bütçeyle devam edin.

python -m interactive_training.recipes.math_rl.train_azure \
    project_endpoint="$AZURE_AI_PROJECT_ENDPOINT" \
    model_name="Qwen/Qwen3.8-27B" renderer_name=qwen3_8_low_reasoning \
    env=gsm8k learning_rate=2e-5 temperature=1.0 max_tokens=1200 \
    lora_rank=32 group_size=4 groups_per_batch=8 \
    loss_fn=importance_sampling seed=42 \
    max_steps=2 max_train_examples=16 max_test_examples=8 \
    eval_every=1 save_every=1 \
    log_path=./runs/first-math-check behavior_if_log_dir_exists=raise

Referans: Math RL tarifi için hızlı başlangıç.

Tarif, key=value bağımsız değişkenlerini kullanır, --key value değil. Çalıştırma bitene kadar terminali ve ağ bağlantısını açık tutun.

Her yineleme, her istem için dört yanıt içeren sekiz istem kullanır. max_tokens=1200 mantık yürütme ve son yanıt için bir tamamlama bütçesi sağlar; yanıtlar yine de kesilebilir.

Sonuçlar, first-math-check altındaki runs dizinine gider. Komut, var olan bir dizinin üzerine yazmayı reddediyor. Başka bir bağımsız çalıştırma için yeni bir log_path seçin; hataya geçici bir çözüm bulmak için sonuçlarınızı silmeyin.

Nelerin başarılı olduğunu denetleyin

cookbook dizinine göre ./runs/first-math-check/ içinde bakın:

Stage Evidence Neyi kanıtladığı
Başlatıcı kurulumu run_meta.json yazılır; oturum kimliği başlangıçta null olabilir. Yerel kurulum başlar, Azure'ın oturumu kabul ettiğinden değil.
Model yüklendi Konsol Session ready: session_id=...; azure.session_id güncelleştirildi. Oturum oluşturma işlemi tamamlanır.
Döngü çalışıyor config.json, metrics.jsonl, eğitim ölçümleri ve trajectory HTML. Örnekleme, puanlama ve güncelleştirme işlemleri ilerliyor.
Kayıtlı durum checkpoints.jsonl, state_path/sampler_path girdileri kaydetti. Kaydetme işlemleri tamamlandı; kaydetme işlemi tamamlanmadan önce yazdırılan bir denetim noktası adına güvenmeyin.
Normal tamamlanma final eğitilen toplu işlemlerden sonra kayıt defteri satırı, nihai ayrılmış doğrulama metrikleri ve işlemin başarıyla sonlanması. Sınırlanmış iş akışı tamamlanır; uyarıları inceleyin ve temizlemeyi ayrı olarak doğrulayın.

Bu yeni zaman uyumlu GSM8K çalıştırması için ilk değerlendirme ilk güncelleştirmeden önce gerçekleşir; son değerlendirme son kaydetmeden sonra gerçekleşir. test/env/all/correct ve test/env/all/total_episodes'i kontrol edin; göz ardı edilen değerlendirme uyarılarını inceleyin. Sıfır puan, altyapı çalışırken bile gerçek bir biçimlendirme veya belirteç bütçesi hatası olabilir. Eksik ölçümler sıfır puan değildir.

Bu iki aşamalı denetim için gerekli bir doğruluk artışı veya vaat edilen bir çalışma süresi yoktur. İyileşme olduğunu iddia etmek için sabit bir dışarıda tutulan kümeyi ve değerlendirme kılavuzunu kullanın.

Yerel yapıtları görüntüleyin:

python dashboard_server.py --root ./runs
# Open http://127.0.0.1:8000/

Referans: Gösterge panelini çalıştırın.

Kimlik doğrulaması olmadığından ve istemleri ve yanıtları görüntüleyebildiğinden gösterge panelini varsayılan geri döngü adresinde tutun. Durdurmak için gösterge paneli terminalinde Ctrl+C tuşlarına basın; bu, uzak eğitim oturumunuzu kapatmaz.

Kaynakları temizle

Reçete, döngü çıktığında eğitim oturumunu kapatmaya çalışır. Temizleme uyarılarını denetleyin; tek başına yazdırılan Session closed iletisi, uzak hesaplama kaynağının serbest bırakıldığını onaylamaz.

Oturumunuzu incelemek için kaydedilen oturum kimliğini ve örnek oturum yönetimi kılavuzunu kullanın. Etkin kalırsa gerekli kontrol noktalarını koruyun ve yalnızca size ait oturumu boşaltın.

Kurtarma için yapılandırmanızı, ölçümlerinizi ve kontrol noktası referanslarınızı koruyun. Yerel dosyalar silindiğinde uzak hesaplama kaynakları serbest bırakılmaz. Bu tarif bir servis sunumu dağıtımı oluşturmaz.

Diğer tarifleri deneyin

Bu hızlı başlangıcı tamamladıktan sonra, ince ayar örnekleri deposundaki diğer tarifleri deneyin. Etkileşimli eğitim/ince ayar kılavuzu, denetimli ince ayar, tercih iyileştirme, damıtma ve diğer RL görevleri için örnekler içerir.

Her tarifin kurulum ve veri kümesi yönergelerini izleyin. Başka bir çalıştırma başlatmadan önce model erişimini ve onaylanan bütçeyi onaylayın.

İlgili içerik

  • Son güncelleştirme: