Začínáme s interaktivním školením (verze Preview) v Microsoft Foundry

Important

Položky označené jako náhled v tomto článku jsou aktuálně ve verzi Preview. Tato verze Preview se poskytuje bez smlouvy o úrovni služeb a Microsoft ji nedoporučuje pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Important

Interaktivní školení vyžaduje výslovný souhlas s přístupem. Před vytvořením trénovací relace požádejte o přístup prostřednictvím registračního formuláře ve verzi Preview a počkejte na schválení.

V tomto rychlém startu naklonujete úložiště ukázek a spustíte recept na posilované učení (RL) na matematických problémech GSM8K. Postup generuje odpovědi, vyhodnocuje jejich správnost a aktualizuje adaptér adaptace nízkého pořadí (LoRA) pro Qwen3.8-27B v Microsoft Foundry.

Python driver spustíte místně; Foundry spouští operace modelu. Tento krátký běh ověřuje, že trénování, vyhodnocení a ukládání kontrolních bodů fungují. Nejedná se o srovnávací test kvality modelu a nepotřebujete místní GPU.

Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet.

Prerequisites

  • Projekt Foundry se schváleným přístupem k interaktivnímu školení ve verzi Preview a kapacitou pro Qwen/Qwen3.8-27B. Zkontrolujte podporované modely a oblasti.
  • Role uživatele Foundry pro trénování nebo role Vlastník foundry , pokud nasadíte také jemně vyladěný model. Přečtěte si Řízení přístupu na základě rolí pro Microsoft Foundry.
  • Python 3.11 nebo novější, Git a zapisovatelný místní adresář.
  • Pro níže uvedený příkaz k přihlášení použijte Azure CLI.
  • Síťový přístup ke stažení balíčků Python, veřejné datové sady a tokenizátoru modelu.
  • Schválený rozpočet pro načítání, trénování, vzorkování a hodnocení modelu.

Naklonujte úložiště ukázek

Naklonujte microsoft-foundry/fine-tuning a otevřete jeho interaktivní školicí příručku:

git clone https://github.com/microsoft-foundry/fine-tuning.git
cd fine-tuning/interactive_training

Ponechte tento adresář otevřený pro zbývající příkazy. Obsahuje kuchařku pyproject.toml a balíček Python.

Nainstalujte kuchařku

Vytvořte virtuální prostředí a nainstalujte cookbook. Příkazy pro Linux a Windows používají index balíčků CPU Torch pro závislosti na straně hostitele.

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e . \
    --index-url https://pypi.org/simple \
    --extra-index-url https://download.pytorch.org/whl/cpu

Reference: Cookbook installation.

Zkontrolujte instalaci bez vytvoření vzdálené relace:

python -m pip check
python -m interactive_training.recipes.math_rl.train_azure --help

Neočekávejte žádné poškozené závislosti a nápovědu k receptu, která obsahuje seznam project_endpoint, max_stepsa max_train_examples.

Nakonfigurujte projekt a přihlaste se

Přihlaste se pomocí identity schválené pro váš projekt a vyberte jeho předplatné:

az login
az account set --subscription "<subscription-id>"

Referenční informace: Přihlaste se pomocí Azure CLI.

Zkopírujte koncový bod projektu z projektu Foundry. Použijte adresu URL projektu, nikoli adresu URL nasazení modelu nebo pouze název hostitele účtu. Nahraďte <account> a <project> hodnotami svého projektu:

export AZURE_AI_PROJECT_ENDPOINT=\
"https://<account>.services.ai.azure.com/api/projects/<project>"

Recept používá DefaultAzureCredential, není-li nastaveno AZURE_AI_API_KEY. Před přihlašovacím údajem rozhraní příkazového řádku je možné vybrat další nakonfigurované přihlašovací údaje. Pokud je nastavena proměnná key, má přednost před vaším přihlášením Azure CLI.

Spustit recept

Spusťte recept GSM8K se dvěma trénovacími iteracemi, 16 příklady trénování a osmi uchovávanými příklady vyhodnocení. Postup vytvoří sezení, vzorkuje odpovědi, vypočítá odměny, aktualizuje adaptér a uloží kontrolní body.

Warning

Tento příkaz vytvoří vzdálenou tréninkovou relaci a může dojít ke zpoplatnění. max_steps=2 limit omezuje trénovací iterace, nikoli dobu načítání modelu, volání vyhodnocení, celkové tokeny nebo náklady. Pokračujte pouze se schváleným rozpočtem.

python -m interactive_training.recipes.math_rl.train_azure \
    project_endpoint="$AZURE_AI_PROJECT_ENDPOINT" \
    model_name="Qwen/Qwen3.8-27B" renderer_name=qwen3_8_low_reasoning \
    env=gsm8k learning_rate=2e-5 temperature=1.0 max_tokens=1200 \
    lora_rank=32 group_size=4 groups_per_batch=8 \
    loss_fn=importance_sampling seed=42 \
    max_steps=2 max_train_examples=16 max_test_examples=8 \
    eval_every=1 save_every=1 \
    log_path=./runs/first-math-check behavior_if_log_dir_exists=raise

Reference: Rychlý start s recipe Math RL.

Recept používá key=value argumenty, ne --key value. Nechte terminál a síťové připojení otevřené, dokud běh neskončí.

Každá iterace používá osm promptů se čtyřmi odpověďmi na prompt. max_tokens=1200 poskytuje limit pro dokončení pro uvažování a konečnou odpověď; odpovědi mohou být stále zkráceny.

Výsledky se ukládají do first-math-check adresáře pod runs. Příkaz odmítá přepsat existující adresář. Zvolte nový log_path pro jiné nezávislé spuštění; neodstraňujte své výsledky, abyste obešli chybu.

Zkontrolujte, co se podařilo

Podívejte se do ./runs/first-math-check/, relativně k adresáři cookbook:

Stage Evidence Co to dokazuje
Nastavení spouštěče run_meta.json je napsán; ID relace může být nullzpočátku . Spustí se místní nastavení, nikoli když Azure relaci povolí.
Model načten Konzola Session ready: session_id=...; azure.session_id je aktualizována. Vytvoření relace bylo dokončeno.
Smyčka běží config.json, metrics.jsonl, metriky tréninku a trajektorie HTML. Probíhají vzorkování, hodnocení a aktualizace.
Uložený stav checkpoints.jsonl uložil(a) state_path/sampler_path položek. Operace ukládání jsou dokončeny; nespoléhejte na název checkpointu vytištěný před dokončením uložení.
Normální dokončení final Řádek hlavní knihy po vytrénovaných dávkách, konečných metrikách z validační sady a úspěšném ukončení procesu. Omezený pracovní postup se dokončí; zkontrolujte upozornění a samostatně ověřte vyčištění.

Při tomto novém synchronním spuštění GSM8K počáteční vyhodnocení proběhne před první aktualizací; konečné vyhodnocení následuje po posledním uložení. Zkontrolujte test/env/all/correct a test/env/all/total_episodes; zkontrolujte všechna upozornění na vynechané vyhodnocení. Nulové skóre může být skutečným selháním formátování nebo rozpočtu tokenu, i když infrastruktura funguje. Chybějící metriky neznamenají nulové skóre.

Pro tuto dvoustupňovou kontrolu neexistuje žádné požadované zvýšení přesnosti ani slibovaná doba běhu. Pokud chcete prokázat zlepšení, použijte vyčleněnou testovací sadu a průvodce vyhodnocením.

Zobrazit místní artefakty:

python dashboard_server.py --root ./runs
# Open http://127.0.0.1:8000/

Reference: Spustit řídicí panel.

Nechte řídicí panel na výchozí adrese zpětné smyčky, protože nemá žádné ověřování a může zobrazovat výzvy a odpovědi. Stisknutím Ctrl+C v terminálu řídicího panelu ho zastavte. Tím se vaše vzdálená trénovací relace neukončí.

Vyčistěte zdroje

Recipe se pokusí ukončit svou trénovací relaci, když smyčka skončí. Zkontrolujte varování týkající se vyčištění; samotná vytištěná Session closed zpráva sama o sobě nepotvrzuje uvolnění vzdálených výpočetních prostředků.

Ke kontrole relace použijte zaznamenané ID relace a ukázkovou příručku pro správu relací . Pokud zůstane aktivní, zachovejte požadované kontrolní body a uvolněte pouze vlastní relaci.

Udržujte konfiguraci, metriky a odkazy na kontrolní body pro obnovení. Odstranění místních souborů neuvolní vzdálené výpočetní prostředky. Tento recept nevytvoří serving deployment.

Vyzkoušejte další recepty

Po dokončení tohoto rychlého startu vyzkoušejte další recepty v úložišti ukázek pro fine-tuning. Příručka interaktivního tréninku obsahuje příklady pro vyladění pod dohledem, optimalizaci preferencí, destilaci a další úlohy RL.

Postupujte podle pokynů k nastavení a pokynů k datové sadě jednotlivých receptů. Před zahájením jiného spuštění potvrďte přístup k modelu a schválený rozpočet.

Související obsah

  • Poslední aktualizace v