Użyj Genie Code z AI Runtime

Genie Code pomaga tworzyć, migrować i diagnozować obciążenia związane z uczeniem głębokim w notebookach połączonych z AI Runtime. Może generować kod do trenowania rozproszonego, rozwiązywać problemy ze środowiskiem i zależnościami, badać awarie zadań GPU oraz migrować notebooki interfejsu API Foundation Model Fine-tuning i klasyczne notebooki GPU Databricks Runtime ML.

Genie Code tworzy i uruchamia rozproszone obciążenie treningowe CNN na ośmiu kartach graficznych H100 w notatniku AI Runtime.

Requirements

Aby używać Genie Code z AI Runtime:

Wprowadzenie

  1. Otwórz notes Azure Databricks.

  2. Podłącz notebook do AI Runtime. Zobacz szybki start AI Runtime Notebook.

  3. Otwórz panel Genie Code.

  4. Opisz zakres pracy, który chcesz rozwinąć, lub problem, który chcesz rozwiązać.

  5. Przejrzyj proponowany plan, zmiany w przepisach i działania przed ich zatwierdzeniem.

    Important

    Genie Code potrafi popełniać błędy. Przejrzyj wygenerowany kod, zmiany środowiska i inne proponowane działania przed ich uruchomieniem. Niektóre diagnozy wymagają dodatkowych logów lub kontekstu obciążenia pracą.

Z czym może pomóc genie Code?

Opracuj rozproszone obciążenia szkoleniowe

Genie Code może generować lub aktualizować kod treningowy dla AI Runtime. Może pomóc wybrać odpowiednią strategię rozproszoną PyTorch, wykorzystać @distributed API z Databricks AI Runtime SDK (databricks.air), oraz zastosować wzorce AI Runtime do ładowania danych, tworzenia punktów kontrolnych i śledzenia MLflow. Szczegóły i przykłady API można znaleźć w artykule Rozproszone szkolenie w notatnikach.

Rozwiązywanie problemów środowiskowych i zależności

Genie Code potrafi przeglądać obecne środowisko, odróżniać błędy kompatybilności pakietów od zmian w kodzie lub API oraz rekomendować ukierunkowane poprawki. Może też pomóc wybrać między środowiskiem Databricks AI a Standard, w zależności od zależności Twojego obciążenia. Aby uzyskać informacje o dostępnych środowiskach, zobacz : Ustaw swoje środowisko.

Debuguj GPU i rozproszone obciążenia

Genie Code może wykorzystywać wyjście z notebooka oraz dostępne logi do badania rozproszonych błędów treningowych, błędów komunikacyjnych, zawieszeń treningowych oraz problemów z pamięcią GPU. Może pomóc zidentyfikować pierwotną awarię i odróżnić ją od błędów na innych poziomach. Aby uzyskać informacje o przeglądaniu rozproszonych dzienników treningowych, zobacz Śledzenie eksperymentów i obserwowalność.

Migruj obciążenia do AI Runtime

Genie Code może migrować następujące obciążenia GPU do uruchamiania w notatniku AI Runtime na obsługiwanym akceleratorze jednowęzłowym:

  • Przestarzałe notatniki API do precyzyjnego dostrajania modelu Foundation: Zastąp zarządzane wywołania API jawnym ładowaniem modeli, trenowaniem, oceną, checkpointingiem, śledzeniem MLflow oraz rejestracją modeli w Unity Catalog.
  • Klasyczne notebooki GPU z Databricks Runtime ML: Dostosuj rozproszone wykonywanie, ładowanie danych, przechowywanie, zależności i śledzenie w MLflow dla AI Runtime. Zobacz Przenieś klasyczne obciążenia GPU do środowiska serverless.

Przykładowe podpowiedzi

Opracuj rozproszone obciążenia szkoleniowe

  • Zaktualizuj ten notatnik, aby uruchamiać trening rozproszony na wszystkich ośmiu procesorach graficznych H100 w AI Runtime.
  • Przejrzyj ten notatnik dotyczący treningu rozproszonego i popraw sposób użycia elementu @distributed oraz narzędzia MLflow.
  • "Przenieś ten notes z serverless_gpu SDK do AI Runtime SDK."
  • "Dostosuj to obciążenie treningowe do AI Runtime i wyjaśnij ważne zmiany."

Rozwiązywanie problemów środowiskowych i zależności

  • "Ten notes przestał działać po zainstalowaniu nowego pakietu. Sprawdź środowisko i ustal, czy problem wynika z zależności lub zmiany API kodu."
  • "Czy to obciążenie powinno korzystać z Databricks AI czy środowiska Standardowego? Przeanalizuj jego zależności i zarekomenduj środowisko, zanim cokolwiek zmienisz.
  • "Zdiagnozuj ten błąd kompatybilności pakietu i zalec najmniejszą odpowiednią zmianę."

Debuguj GPU i rozproszone obciążenia

  • "Przeanalizuj ten nieudany rozproszony trening, korzystając z dostępnych wyników z każdego rangi i zidentyfikuj źródło przyczyny."
  • "Dlaczego ten rozproszony zakres pracy się zawiesza? Użyj wyjścia z notatnika, aby zasugerować kolejny krok debugowania."
  • "Zbadaj tę awarię pamięci GPU i zalec kolejny krok oparty na dowodach."

Migruj obciążenia do AI Runtime

  • Migruj ten przestarzały notatnik Foundation Model Fine-tuning API do AI Runtime. Zachowaj cel treningowy i parametry, wybierz kompatybilne zasoby obliczeniowe i wyjaśnij wszelkie założenia lub blokery.
  • Zmigruj ten notes Databricks Runtime ML GPU do AI Runtime.

Dodatkowe zasoby