Trénování modelů AI a ML

Azure Databricks nabízí flexibilní výpočetní řešení přizpůsobená různým potřebám strojového učení, od modulů runtime spravovaných clusterů až po plně bezserverová prostředí GPU.

Compute	Description
AI Runtime	Bezserverové výpočetní prostředí GPU optimalizované pro vlastní úlohy hlubokého učení s jedním uzlem a více uzly.
Databricks Runtime pro strojové učení	Klasické výpočetní prostředí s předem sestavenými knihovnami pro klasické úlohy strojového učení a hlubokého učení

AI Runtime (Preview)

Důležité

Tato funkce je ve verzi Public Preview.

AI Runtime je specializovaná nabídka v bezserverovém ekosystému Databricks. Je optimalizovaná pro vlastní úlohy hlubokého učení s jedním uzlem a více uzly, jako je vyladění LLM nebo trénování modelů počítačového zpracování obrazu. Přehled toho, jak bezserverové výpočetní prostředí zapadá do architektury Databricks, najdete v tématu Architektura bezserverového pracovního prostoru.

Mezi klíčové funkce patří:

• Okamžitá dostupnost: Eliminuje potřebu spravovat podkladovou infrastrukturu clusteru a umožňuje připojení notebook aplikace přímo k serverlessovým prostředkům GPU.
• Vysoce výkonný hardware: Poskytuje přístup k grafickým procesorům A10 pro nákladově efektivní úlohy.
• Spravovaná prostředí: Nabízí výchozí základní prostředí pro úplné přizpůsobení nebo prostředí AI předem načtené s běžnými balíčky ML, jako jsou Transformers a Ray.
• Flexibilní škálování: Podporuje distribuované trénování napříč několika gpu a uzly.

Běhové prostředí Databricks pro strojové učení

Databricks Runtime pro Machine Learning je specializovaný modul runtime, který automatizuje vytváření výpočetních prostředků s předem vytvořenou infrastrukturou. Je určená pro uživatele, kteří chtějí komplexní a připravené prostředí pro klasické strojové učení i hluboké učení.

Mezi klíčové funkce patří:

• Předinstalované knihovny: Zahrnuje oblíbené knihovny, jako jsou PyTorch, TensorFlow a XGBoost, které dostávají časté aktualizace a optimalizovanou podporu.
• Všestrannost výpočetních prostředků: Podporuje typy instancí založených na procesoru i GPU, včetně AWS Graviton, aby se zlepšila cena na výkon.
• Optimalizace: Nabízí integraci s Photon pro zrychlení Spark SQL, datových rámců a úloh technického zpracování vlastností.
• Řízení přístupu: Vyžaduje vyhrazený režim přístupu pro zabezpečený přístup k datům prostřednictvím katalogu Unity.