Trénování modelů AI a ML

Azure Databricks nabízí výpočetní možnosti pro různé potřeby strojového učení, od spravovaných clusterů až po serverless GPU výpočetní výkon s AI Runtime.

Compute	Description
AI Runtime	Bezserverové výpočetní prostředí GPU optimalizované pro vlastní úlohy hlubokého učení s jedním uzlem a více uzly.
Databricks Runtime pro strojové učení	Klasické výpočetní prostředí s předem sestavenými knihovnami pro klasické úlohy strojového učení a hlubokého učení

AI Runtime

AI Runtime je specializovaná nabídka v bezserverovém ekosystému Databricks. Je optimalizovaná pro vlastní úlohy hlubokého učení s jedním uzlem a více uzly, jako je vyladění LLM nebo trénování modelů počítačového zpracování obrazu. Přehled toho, jak bezserverové výpočetní prostředí zapadá do architektury Databricks, najdete v tématu Architektura bezserverového pracovního prostoru.

Mezi klíčové funkce patří:

• Okamžitá dostupnost: Odstraňuje potřebu spravovat základní clusterovou infrastrukturu a umožňuje připojit notebook přímo k AI Runtime.
• Vysoce výkonný hardware: Poskytuje přístup k grafickým procesorům A10 pro nákladově efektivní úlohy.
• Spravovaná prostředí: Nabízí výchozí základní prostředí pro úplné přizpůsobení nebo prostředí AI předem načtené s běžnými balíčky ML, jako jsou Transformers a Ray.
• Flexibilní škálování: Podporuje distribuované trénování napříč několika gpu a uzly.

Běhové prostředí Databricks pro strojové učení

Databricks Runtime pro Machine Learning je specializovaný modul runtime, který automatizuje vytváření výpočetních prostředků s předem vytvořenou infrastrukturou. Je určená pro uživatele, kteří chtějí komplexní a připravené prostředí pro klasické strojové učení i hluboké učení.

Mezi klíčové funkce patří:

• Předinstalované knihovny: Zahrnuje oblíbené knihovny, jako jsou PyTorch, TensorFlow a XGBoost, které dostávají časté aktualizace a optimalizovanou podporu.
• Všestrannost výpočetních prostředků: Podporuje typy instancí založených na procesoru i GPU, včetně AWS Graviton, aby se zlepšila cena na výkon.
• Optimalizace: Nabízí integraci s Photon pro zrychlení Spark SQL, datových rámců a úloh technického zpracování vlastností.
• Řízení přístupu: Vyžaduje vyhrazený režim přístupu pro zabezpečený přístup k datům prostřednictvím katalogu Unity.