Rozpocznij pracę z interaktywnym trenowaniem (wersja zapoznawcza) w usłudze Microsoft Foundry

Important

Elementy oznaczone podglądem w tym artykule są obecnie w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług, a Microsoft nie zaleca korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą nie być obsługiwane lub mogą mieć ograniczone możliwości. Aby uzyskać więcej informacji, zobacz Warunki dodatkowe korzystania z testowych wersji Microsoft Azure.

Important

Szkolenie interaktywne wymaga wyraźnej zgody na dostęp. Zażądaj dostępu za pośrednictwem formularza rejestracji w wersji zapoznawczej i poczekaj na zatwierdzenie przed utworzeniem sesji szkoleniowej.

W tym przewodniku Szybki start sklonujesz repozytorium przykładów i uruchomisz procedurę uczenia przez wzmacnianie (RL) na zadaniach matematycznych GSM8K. Receptura generuje odpowiedzi, ocenia ich poprawność i aktualizuje adapter adaptacji niskiego rzędu (LoRA) dla Qwen3.8-27B w Microsoft Foundry.

Uruchamiasz sterownik Python lokalnie; narzędzie Foundry uruchamia operacje modelu. Ten krótki przebieg sprawdza, czy trenowanie, ocena i zapisywanie punktów kontrolnych działają. Nie jest to benchmark jakości modelu i nie potrzebujesz lokalnego procesora GPU.

Jeśli nie masz subskrypcji platformy Azure, utwórz bezpłatne konto.

Prerequisites

  • Projekt Foundry z zatwierdzonym dostępem do wersji zapoznawczej szkolenia interaktywnego i pojemnością dla Qwen/Qwen3.8-27B. Sprawdź obsługiwane modele i regiony.
  • Rola Użytkownika usługi Foundry na potrzeby trenowania lub rola Właściciela usługi Foundry, jeśli wdrażasz również dostosowany model. Zobacz Kontrola dostępu oparta na rolach dla Microsoft Foundry.
  • Python 3.11 lub nowszy, Git i zapisywalny katalog lokalny.
  • Użyj Azure CLI do poniższego polecenia logowania.
  • Dostęp sieciowy do pobierania pakietów Python, publicznego zestawu danych i tokenizatora modelu.
  • Zatwierdzony budżet na potrzeby ładowania, trenowania, próbkowania i oceny modelu.

Sklonuj repozytorium przykładów

Sklonuj microsoft-foundry/fine-tuning i otwórz podręcznik interaktywnego trenowania:

git clone https://github.com/microsoft-foundry/fine-tuning.git
cd fine-tuning/interactive_training

Pozostaw ten katalog otwarty dla pozostałych poleceń. Zawiera on pyproject.toml książki kucharskiej oraz pakiet Pythona.

Zainstaluj cookbooka

Utwórz środowisko wirtualne i zainstaluj cookbook. Polecenia systemów Linux i Windows używają indeksu pakietów CPU Torch dla zależności po stronie oprogramowania sterownika.

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e . \
    --index-url https://pypi.org/simple \
    --extra-index-url https://download.pytorch.org/whl/cpu

Odniesienie: instalacja Cookbook.

Sprawdź instalację bez tworzenia sesji zdalnej:

python -m pip check
python -m interactive_training.recipes.math_rl.train_azure --help

Nie spodziewaj się żadnych uszkodzonych zależności i pomocy dotyczącej receptur, która wyświetla listę project_endpoint, max_steps i max_train_examples.

Skonfiguruj projekt i zaloguj się

Zaloguj się przy użyciu tożsamości zatwierdzonej dla projektu, a następnie wybierz przypisaną do niej subskrypcję:

az login
az account set --subscription "<subscription-id>"

Dokumentacja: Zaloguj się przy użyciu Azure CLI.

Skopiuj punkt końcowy projektu z projektu Foundry. Użyj adresu URL projektu, a nie adresu URL wdrożenia modelu ani samej nazwy hosta konta. Zastąp <account> i <project> wartościami projektu:

export AZURE_AI_PROJECT_ENDPOINT=\
"https://<account>.services.ai.azure.com/api/projects/<project>"

Procedura używa DefaultAzureCredential, chyba że AZURE_AI_API_KEY jest ustawione. Przed poświadczeniem interfejsu wiersza polecenia można wybrać inne skonfigurowane poświadczenia. Jeśli zmienna key jest ustawiona, ma pierwszeństwo przed logowaniem Azure CLI.

Uruchom przepis

Uruchom przepis GSM8K z dwoma iteracjami treningowymi, 16 przykładami treningowymi i ośmioma wydzielonymi przykładami oceny. Przepis tworzy sesję, próbkuje odpowiedzi, oblicza nagrody, aktualizuje adapter i zapisuje punkty kontrolne.

Warning

To polecenie tworzy zdalną sesję szkoleniową i może spowodować naliczanie opłat. max_steps=2 ogranicza liczbę iteracji trenowania, a nie czas ładowania modelu, wywołania ewaluacyjne, łączne tokeny lub koszt. Kontynuuj tylko po zatwierdzeniu budżetu.

python -m interactive_training.recipes.math_rl.train_azure \
    project_endpoint="$AZURE_AI_PROJECT_ENDPOINT" \
    model_name="Qwen/Qwen3.8-27B" renderer_name=qwen3_8_low_reasoning \
    env=gsm8k learning_rate=2e-5 temperature=1.0 max_tokens=1200 \
    lora_rank=32 group_size=4 groups_per_batch=8 \
    loss_fn=importance_sampling seed=42 \
    max_steps=2 max_train_examples=16 max_test_examples=8 \
    eval_every=1 save_every=1 \
    log_path=./runs/first-math-check behavior_if_log_dir_exists=raise

Odwołanie: krótki przewodnik po przepisie Math RL.

Receptura używa key=value argumentów, a nie --key value. Pozostaw terminal i połączenie sieciowe otwarte do momentu zakończenia przebiegu.

Każda iteracja używa ośmiu promptów z czterema odpowiedziami na prompt. max_tokens=1200 zapewnia limit generowania dla rozumowania i ostatecznej odpowiedzi; odpowiedź może nadal zostać obcięta.

Wyniki trafiają do katalogu first-math-check w obszarze runs. Polecenie odmawia nadpisania istniejącego katalogu. Wybierz nowy log_path dla innego niezależnego przebiegu. Nie usuwaj wyników, aby obejść błąd.

Sprawdź, co się powiodło

Spójrz w pliku ./runs/first-math-check/, względem katalogu cookbook:

Etapie Evidence Co to udowadnia
Konfiguracja programu uruchamiającego run_meta.json jest zapisywany; Identyfikator sesji może początkowo mieć wartość null. Konfiguracja lokalna rozpoczyna się, a nie wtedy, gdy Azure akceptuje sesję.
Załadowany model Konsola Session ready: session_id=...; azure.session_id jest aktualizowana. Tworzenie sesji zostało zakończone.
Pętla działa config.json, metrics.jsonl, metryki trenowania i kod HTML trajektorii. Trwają pobieranie próbek, ocenianie i operacje aktualizacji.
Zapisany stan checkpoints.jsonl zapisał(a) state_path/sampler_path wpisy. Operacje zapisu zakończone; nie należy polegać na nazwie punktu kontrolnego wydrukowanej przed zakończeniem zapisywania.
Normalne zakończenie final Wiersz rejestru po wytrenowanych partiach, końcowych metrykach zbioru walidacyjnego i pomyślnym zakończeniu procesu. Ograniczony workflow kończy się; sprawdź ostrzeżenia i zweryfikuj czyszczenie oddzielnie.

W przypadku tego nowego synchronicznego przebiegu GSM8K początkowa ocena następuje przed pierwszą aktualizacją; ostateczna ocena następuje po ostatnim zapisie. Sprawdź test/env/all/correct i test/env/all/total_episodes; sprawdź wszelkie ostrzeżenia o pominiętej ocenie. Wynik zerowy może być prawdziwym niepowodzeniem formatowania lub limitu tokenów nawet wtedy, gdy infrastruktura działa. Brakujące metryki nie są wynikiem zerowym.

Nie ma wymaganej dokładności ani obiecanego czasu wykonania na potrzeby tego dwuetapowego sprawdzania. Aby wykazać poprawę, należy użyć stałego wydzielonego zbioru i przewodnika oceny.

Wyświetl lokalne artefakty:

python dashboard_server.py --root ./runs
# Open http://127.0.0.1:8000/

Informacje: Uruchom panel.

Zachowaj domyślny adres pętli zwrotnej panelu, ponieważ nie ma uwierzytelniania i może wyświetlać monity i odpowiedzi. Naciśnij klawisze Ctrl+C w terminalu w panelu, aby go zatrzymać; nie zwalnia to zdalnej sesji treningowej.

Uprzątnij zasoby

Receptura próbuje zamknąć sesję trenowania, gdy pętla zakończy działanie. Sprawdź ostrzeżenia dotyczące czyszczenia; sam wydrukowany komunikat Session closed nie potwierdza, że zdalne zasoby obliczeniowe są zwalniane.

Użyj zarejestrowanego identyfikatora sesji i przykładowego przewodnika zarządzania sesjami , aby sprawdzić sesję. Jeśli pozostanie ona aktywna, zachowaj wymagane punkty kontrolne i zwolnij tylko swoją sesję.

Zachowaj konfigurację, metryki i odwołania do punktów kontrolnych na potrzeby odzyskiwania po awarii. Usuwanie plików lokalnych nie zwalnia zdalnych zasobów obliczeniowych. Ten przepis nie tworzy wdrożenia serwującego.

Wypróbuj inne przepisy

Po ukończeniu tego przewodnika Szybki start wypróbuj inne przykłady w repozytorium przykładów dostrajania. Przewodnik interaktywnego szkolenia zawiera przykłady nadzorowanego dostrajania, optymalizacji preferencji, destylacji i innych zadań RL.

Postępuj zgodnie z instrukcjami dotyczącymi konfiguracji i zbioru danych dla każdego przepisu. Przed rozpoczęciem innego przebiegu potwierdź dostęp do modelu i zatwierdzony budżet.

Treści powiązane

  • Ostatnia aktualizacja o