Trenowanie modeli sztucznej inteligencji i uczenia maszynowego

Usługa Azure Databricks oferuje elastyczne rozwiązania obliczeniowe dostosowane do różnych potrzeb uczenia maszynowego, począwszy od środowisk uruchomieniowych klastra zarządzanego do w pełni bezserwerowych środowisk procesora GPU.

Compute	Opis
Środowisko uruchomieniowe sztucznej inteligencji	Bezserwerowe środowisko obliczeniowe procesora GPU zoptymalizowane pod kątem niestandardowych obciążeń uczenia głębokiego z jednym węzłem i wieloma węzłami.
Databricks Runtime for Machine Learning	Klasyczne środowisko obliczeniowe ze wstępnie utworzonymi bibliotekami dla obciążeń klasycznego uczenia maszynowego i uczenia głębokiego.

Środowisko uruchomieniowe sztucznej inteligencji (wersja zapoznawcza)

Ważna

Ta funkcja jest dostępna w publicznej wersji testowej.

AI Runtime to specjalistyczna oferta w bezserwerowym ekosystemie Databricks. Jest ona zoptymalizowana pod kątem niestandardowych obciążeń uczenia głębokiego dla jednego węzła i wielu węzłów, takich jak precyzyjne dostrajanie LLM-ów lub trenowanie modeli wizji komputerowej. Aby zapoznać się z omówieniem sposobu dopasowania bezserwerowych obliczeń do architektury usługi Databricks, zobacz Architektura bezserwerowego obszaru roboczego.

Najważniejsze funkcje:

• Natychmiastowa dostępność: eliminuje konieczność zarządzania podstawową infrastrukturą klastra, umożliwiając łączenie notesu bezpośrednio z bezserwerowymi zasobami procesora GPU.
• Sprzęt o wysokiej wydajności: zapewnia dostęp do procesorów GPU A10 na potrzeby zadań ekonomicznych.
• Środowiska zarządzane: oferuje domyślne środowisko podstawowe umożliwiające pełne dostosowanie lub środowisko sztucznej inteligencji wstępnie załadowane z typowymi pakietami uczenia maszynowego, takimi jak Transformers i Ray.
• Elastyczne skalowanie: obsługuje trenowanie rozproszone na wielu procesorach GPU i węzłach.

Databricks Runtime na potrzeby uczenia maszynowego

Databricks Runtime for Machine Learning to wyspecjalizowane środowisko uruchomieniowe, które automatyzuje tworzenie zasobów obliczeniowych przy użyciu wstępnie utworzonej infrastruktury. Jest przeznaczony dla użytkowników, którzy chcą kompleksowego, gotowego do użycia środowiska zarówno do klasycznego uczenia maszynowego, jak i uczenia głębokiego.

Najważniejsze funkcje:

• Wstępnie zainstalowane biblioteki: obejmuje popularne biblioteki, takie jak PyTorch, TensorFlow i XGBoost, które otrzymują częste aktualizacje i zoptymalizowaną obsługę.
• Wszechstronność obliczeniowa: obsługuje zarówno typy wystąpień opartych na procesorze CPU, jak i procesorze GPU, w tym AWS Graviton w celu zwiększenia ceny do wydajności.
• Optymalizacja: Oferuje integrację z aplikacją Photon w celu przyspieszenia zadań Spark SQL, DataFrames i inżynierii cech.
• Kontrola dostępu: wymaga dedykowanego trybu bezpiecznego dostępu do danych za pośrednictwem katalogu Unity.