Provozní prostředí AI

Důležité

Modul runtime AI pro úlohy s jedním uzlem je ve verzi Public Preview. Distribuované trénovací rozhraní API pro úlohy s více GPU zůstává v beta verzi.

AI Runtime je výpočetní nabídka v Databricks určená pro úlohy hlubokého učení a přináší podporu GPU pro Bezserverovou službu Databricks. AI Runtime můžete použít k trénování a vyladění vlastních modelů pomocí oblíbených architektur a získání špičkové efektivity, výkonu a kvality. Přehled toho, jak bezserverové výpočetní prostředí zapadá do architektury Databricks, najdete v tématu Architektura bezserverového pracovního prostoru.

Klíčové funkce

• Plně spravovaná infrastruktura GPU: Bezserverový, flexibilní přístup k grafickým procesorům a bez konfigurace clusteru, výběru ovladačů nebo zásad automatického škálování pro správu.
• Běhové prostředí určené pro hluboké učení: Zvolte buď minimální prostředí Standard pro maximální flexibilitu při správě závislostí, nebo plnohodnotné prostředí pro AI s předinstalovanými oblíbenými frameworky pro strojové učení.
• Nativní integrace mezi poznámkovými bloky, úlohami, katalogem Unity a MLflow pro bezproblémový vývoj, přístup k datům a sledování experimentů.

Možnosti hardwaru

Všechny akcelerátory modulu runtime AI zřizují jeden uzel. Počet GPU na daném uzlu závisí na typu akcelerátoru:

akcelerátor	GPU na uzel	Paměť GPU	Nejvhodnější pro	Distribuované trénování
1xA10	1	24 GB	Malé až střední úlohy STROJOVÉho učení a hlubokého učení, jako jsou klasické modely ML nebo jemné ladění menších jazykových modelů	Nepodporuje se (jeden GPU)
1xH100	1	80 GB	Úlohy, které potřebují více paměti GPU než 1xA10, ale nevyžadují distribuované trénování s více GPU, jako je vyladění středně velkých jazykových modelů	Nepodporuje se (jeden GPU)
8xH100	8	80 GB na GPU	Rozsáhlé úlohy umělé inteligence, včetně trénování nebo vyladění masivních modelů nebo spouštění pokročilých úloh hlubokého učení	Podporováno pomocí dekorátoru @distributed s gpus=8

Doporučené případy použití

Databricks doporučuje AI Runtime pro všechny případy použití vlastních modelů, které zahrnují hluboké učení, rozsáhlé klasické úlohy nebo GPU.

Například:

• Vyladění LLM (LoRA, QLoRA, úplné vyladění)
• Počítačové zpracování obrazu (rozpoznávání objektů, klasifikace obrázků)
• Systémy pro doporučování založené na hlubokém učení
• Posilované učení
• Prognózování časových řad založených na hlubokém učení

Požadavky

• Pracovní prostor v jedné z následujících Azure podporovaných oblastí:
  • centralus
  • eastus
  • eastus2
  • northcentralus
  • westcentralus
  • westus
  • westus3

Omezení

• AI Runtime podporuje pouze akcelerátory A10 a H100.
• AI Runtime nepodporuje profil zabezpečení dodržování předpisů pro standardy FedRAMP High nebo DoD IL5. Podporují se všechny ostatní standardy dodržování předpisů.
• Přidání závislostí pomocí panelu Prostředí není podporováno pro naplánované úlohy modulu runtime AI. Místo toho nainstalujte závislosti programově pomocí %pip install ve vašem poznámkovém bloku.
• U pravidelně spouštěných úloh v prostředí AI Runtime není podporováno automatické obnovení pro nekompatibilní verze balíčků, které jsou přidruženy k vašemu poznámkovému bloku.
• Maximální doba provozu pro úlohu je sedm dnů. Pro úlohy trénování modelu, které tento limit překročí, implementujte kontrolní bod a restartujte úlohu po dosažení maximálního běhu.
• AI Runtime poskytuje přístup k prostředkům GPU na vyžádání. I když to vede ke snadnému, flexibilnímu přístupu k grafickým procesorům, můžou existovat období, kdy je kapacita ve vaší oblasti omezená nebo nedostupná.
• AI Runtime využívá gpu napříč oblastmi v určitých případech v době vysoké poptávky. S takovým využitím můžou být spojené náklady na výchozí přenos dat a připojení k síti napříč oblastmi může být v určitých časech omezené.

Připojit se k AI runtime

K AI Runtime se můžete interaktivně připojit z notebooků, z terminálu IDE pomocí tunelu SSH, z naplánovaných úloh, prostřednictvím rozhraní Jobs API a z deklarativních automatizačních balíčků. Podrobné pokyny najdete v tématu Připojení k prostředí AI Runtime.

Nastavení prostředí

AI Runtime nabízí dvě spravovaná prostředí pro Python: minimální prostředí Standard a plně vybavené prostředí Databricks AI, které je předinstalované s oblíbenými frameworky pro strojové učení, jako jsou PyTorch a Transformers. Podrobnosti o výběru prostředí, chování při ukládání do mezipaměti, importu vlastních modulů a známých omezení najdete v tématu Nastavení prostředí.

Načtení dat do AI Runtime

Pochopení fungování přístupu k datům v prostředí AI Runtime je nezbytné pro bezproblémové prostředí. Podrobnosti najdete v tématu Načtení dat v prostředí AI Runtime.

Distribuované trénování

Důležité

Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

AI Runtime podporuje distribuované trénování napříč několika GPU na jednom uzlu, ke kterému je notebook připojený. Pomocí dekorátoru @distributed z rozhraní API serverless_gpu Python (beta verze) můžete s minimální konfigurací spouštět úlohy s více GPU pomocí PyTorch DDP, FSDP nebo DeepSpeed. Podrobnosti najdete v tématu Úlohy s více GPU.

Sledování experimentů a pozorovatelnost

Informace o integraci MLflow, zobrazení protokolů a správě kontrolních bodů modelu najdete v tématu Sledování experimentů a pozorovatelnost.

Genie Code pro hluboké učení

Genie Code podporuje úlohy hlubokého učení v prostředí AI Runtime. Může vám pomoct s generováním trénovacího kódu, řešením chyb instalace knihovny, navrhováním optimalizací a laděním běžných problémů. Viz Použití kódu Genie pro datové vědy.

Guides

Informace o migraci z klasických úloh, například poznámkových bloků a řešení potíží, najdete v uživatelských příručkách k prostředí AI Runtime.