Použijte Genie Code s AI Runtime

Genie Code vám pomáhá vyvíjet, migrovat a řešit problémy úloh hlubokého učení v noteboocích připojených k AI Runtime. Dokáže generovat distribuovaný tréninkový kód, řešit problémy s prostředím a závislostmi, vyšetřovat selhání GPU zátěže a migrovat Foundation Model Fine-tuning API notebooky a klasické GPU notebooky Databricks Runtime ML.

Genie Code vytváří a spouští distribuovanou CNN tréninkovou zátěž na osmi H100 GPU v AI Runtime notebooku.

Requirements

Jak používat Genie Code s AI Runtime:

Začínáme

  1. Otevřete poznámkový blok služby Azure Databricks.

  2. Připojte notebook k AI Runtime. Podívejte se na rychlý start AI Runtime Notebooku.

  3. Otevřete podokno Genie Code.

  4. Popište pracovní zátěž, kterou chcete vyvinout, nebo problém, který chcete vyřešit.

  5. Před schválením si prostudujte navrhovaný plán, změny v předpisech a opatření.

    Important

    Genie Code může dělat chyby. Před jejich spuštěním si prohlédněte generovaný kód, změny prostředí a další navrhované akce. Některé diagnózy vyžadují další logy nebo kontext pracovní zátěže.

S čím může Genie Code pomoct?

Vyvíjejte distribuované tréninkové zátěže

Genie Code dokáže generovat nebo aktualizovat tréninkový kód pro AI Runtime. Může vám pomoci vybrat vhodnou distribuovanou strategii PyTorch, použít @distributed API z Databricks AI Runtime SDK (databricks.air), a aplikovat AI Runtime vzory pro načítání dat, checkpointing a sledování MLflow. Pro podrobnosti a příklady API viz Distribuované školení v zápisnících.

Vyřešit problémy s prostředím a závislostí

Genie Code dokáže prohlédnout současné prostředí, rozlišit selhání kompatibility balíčků od změn kódu nebo API a doporučit cílené opravy. Může vám také pomoci vybrat si mezi prostředím Databricks AI a Standard na základě závislostí vaší pracovní zátěže. Pro informace o dostupných prostředích viz Nastavit své prostředí.

Debug GPU a distribuované pracovní zátěže

Genie Code může využívat výstup notebooku a dostupné logy k vyšetřování distribuovaných selhání trénování, komunikačních chyb, zaseknutí tréninku a problémů s pamětí GPU. Může pomoci identifikovat původní selhání a odlišit je od následných chyb na jiných procesech. Pro informace o prohlížení distribuovaných tréninkových logů viz Sledování experimentů a pozorovatelnost.

Migrovat pracovní zátěže do AI Runtime

Genie Code může migrovat následující GPU zátěže tak, aby běžely v AI Runtime notebooku na podporovaném jednouzlovém akcelerátoru:

  • Zastaralé notebooky pro jemné ladění Foundation Model: Nahraďte spravované API volání explicitním načítáním modelů, trénováním, vyhodnocováním, checkpointingem, sledováním MLflow a registrací modelů v Unity Catalog.
  • Klasické GPU notebooky s Databricks Runtime ML: Přizpůsobení distribuovaného spouštění, načítání dat, úložiště, závislostí a sledování MLflow pro AI Runtime. Přečtěte si Migrace klasických úloh GPU do serverless.

Příklady výzev

Vyvíjejte distribuované tréninkové zátěže

  • Aktualizujte tento notebook tak, aby bylo možné spustit distribuované trénování na všech osmi GPU H100 v prostředí AI Runtime.
  • Projděte tento poznámkový blok pro distribuované trénování a opravte způsob, jakým používá @distributed a MLflow.
  • "Migrujte tento zápisník ze serverless_gpu SDK do AI Runtime SDK."
  • "Přizpůsobte tuto tréninkovou zátěž AI Runtime a vysvětlete důležité změny."

Vyřešit problémy s prostředím a závislostí

  • "Tento zápisník přestal fungovat poté, co jsem nainstaloval nový balíček. Prohlédněte si prostředí a zjistěte, zda je problém závislostní nebo změnou API kódu."
  • "Měla by tato zátěž používat Databricks AI nebo standardní prostředí? Zkontrolujte jeho závislosti a doporučte prostředí, než cokoli změníte."
  • "Diagnostikujte tuto chybu kompatibility balíčku a doporučte nejmenší vhodnou změnu."

Debug GPU a distribuované pracovní zátěže

  • "Analyzujte tento neúspěšný distribuovaný tréninkový běh pomocí dostupných výstupů ze všech hodností a identifikujte kořenovou příčinu."
  • "Proč se tato rozptýlená pracovní zátěž zasekne? Použijte výstup z notebooku k doporučení dalšího kroku ladění."
  • "Prozkoumejte toto selhání paměti GPU a doporučte další krok založený na důkazech."

Migrujte pracovní zátěže do AI Runtime

  • Migrujte tento zastaralý (deprecated) notebook Foundation Model Fine-tuning API do AI Runtime. Zachovejte jeho tréninkový cíl a parametry, vyberte kompatibilní výpočetní prostředky a vysvětlete případné předpoklady nebo blokátory.
  • "Migrujte tento Databricks Runtime ML GPU notebook do AI Runtime."

Dodatečné zdroje

  • Poslední aktualizace v