Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
AI Runtime to bezserwerowa moc obliczeniowa GPU w usłudze Azure Databricks do obsługi obciążeń związanych z głębokim uczeniem. Ta strona przedstawia, jak to działa, przykładowe zastosowania, sprzęt, kluczowe funkcje oraz ograniczenia.
Jak działa AI Runtime
AI Runtime pozwala trenować i dopracowywać modele na Azure Databricks bez konieczności zarządzania infrastrukturą GPU. Dostarczasz swój kod, a Azure Databricks zajmuje się mocą GPU, pozyskiwaniem zasobów i zarządzaniem.
Na przykład następująca komenda uruchamia zadanie z terminala:
databricks air run --file workload.yaml --watch
Gdy uruchamiasz databricks air run, AI Runtime pakuje kod, który przesyłasz, i orkiestruje go na bezserwerowych zasobach obliczeniowych GPU zarządzanych przez Azure Databricks. Aby to wypróbować, zobacz szybki start AI Runtime.
Przykładowe przypadki użycia
Możesz użyć AI Runtime do trenowania lub dopracowywania wielu typów modeli AI. Przykład:
- Fine-tuning LLM (LoRA, QLoRA, pełne fine-tuning). Zobacz Duże modele językowe (LLM).
- Widzenie komputerowe (detekcja obiektów, klasyfikacja obrazów). Zobacz Widzenie komputerowe.
- Systemy rekomendacyjne oparte na uczeniu głębokim. Zobacz systemy rekomendacyjne oparte na głębokim uczeniu.
- Akcelerowane GPU klasyczne uczenie maszynowe oraz prognozowanie szeregów czasowych oparte na głębokim uczeniu. Zobacz klasyczne uczenie maszynowe.
- Wnioskowanie wsadowe na dużą skalę. Zobacz wnioskowanie wsadowe.
- Rozproszone trenowanie z użyciem wielu GPU. Zobacz rozproszone trenowanie Multi-GPU.
- Uczenie przez wzmacnianie. Zobacz Duże modele językowe (LLM).
Wszystkie tutoriale do notebooków i przepisy na CLI Databricks znajdziesz w przykładach AI Runtime.
Sprzęt
Wszystkie akceleratory środowiska uruchomieniowego sztucznej inteligencji aprowizują pojedynczy węzeł. Liczba procesorów GPU w tym węźle zależy od typu akceleratora:
| Akcelerator | Liczba GPU na węzeł | Pamięć procesora GPU | Najlepsze dla | Szkolenie rozproszone |
|---|---|---|---|---|
| 1xA10 | 1 | 24 GB | Małe i średnie zadania uczenia maszynowego i uczenia głębokiego, takie jak klasyczne modele uczenia maszynowego lub dostrajanie mniejszych modeli językowych | Nieobsługiwane (pojedynczy procesor GPU) |
| 1xH100 | 1 | 80 GB | Obciążenia robocze, które wymagają więcej pamięci GPU, niż oferuje pojedynczy procesor GPU A10, ale nie wymagają rozproszonego trenowania na wielu procesorach GPU, takie jak dostrajanie modeli językowych średniej wielkości | Nieobsługiwane (pojedynczy procesor GPU) |
| 8xH100 | 8 | 80 GB na procesor GPU | Obciążenia sztucznej inteligencji na dużą skalę, w tym trenowanie lub dostrajanie ogromnych modeli lub uruchamianie zaawansowanych zadań uczenia głębokiego | Obsługiwane jest użycie dekoratora @distributed , który domyślnie korzysta ze wszystkich ośmiu kart graficznych |
Wskazówka
Tylko 8xH100 obsługuje trening rozproszony na wielu procesorach GPU. Dla obciążeń z pojedynczym GPU wybierz 1xA10 lub 1xH100 w zależności od pamięci GPU, jaką wymaga twój model.
Kluczowe funkcje
| Category | Features |
|---|---|
| Połącz z procesorami GPU |
|
| Twórz obciążenia robocze |
|
| Monitoruj i wdrażaj |
|
Wymagania
Zanim zaczniesz, upewnij się, że Twoje miejsce pracy spełnia następujące wymagania:
- Sprawdź dostępność AI Runtime według Geo pod kątem obsługiwanych jednostek Geo oraz wymagań dotyczących przetwarzania między jednostkami Geo. Dostępność GPU zależy od przestrzeni roboczej.
- Jeśli Twój obszar roboczy ma włączony profil bezpieczeństwa zgodności, administrator obszaru roboczego musi włączyć wersje zapoznawcze AI Runtime i AI Runtime multi-node H100. Zobacz Zarządzanie wersjami zapoznawczymi Databricks. Szczegóły dotyczące domyślnego włączenia tych przestrzeni roboczych znajdziesz we wcześniejszej informacji.
Limitations
Pamiętaj o następujących ograniczeniach, planując obciążenie AI Runtime:
- Środowisko uruchomieniowe sztucznej inteligencji obsługuje tylko akceleratory A10 i H100.
- Środowisko uruchomieniowe sztucznej inteligencji nie obsługuje profilu zabezpieczeń zgodności dla standardów FedRAMP High ani DoD IL5.
- Dodawanie zależności przy użyciu panelu Środowiska nie jest obsługiwane w przypadku zaplanowanych zadań środowiska uruchomieniowego sztucznej inteligencji. Zainstaluj zależności programowo za pomocą polecenia
%pip installw notesie. - W przypadku zaplanowanych zadań w środowisku AI Runtime, zachowanie automatycznego odzyskiwania dla niezgodnych wersji pakietów związanych z notebookiem nie jest obsługiwane.
- Próby połączenia z AI Runtime są przerywane po 15 minutach w przypadku interaktywnych notebooków oraz po 24 godzinach w przypadku zadań notebooka lub zadań CLI. Połączone sesje notesów i zadania notesów mogą działać przez maksymalnie dwa dni, a zadania CLI przez maksymalnie 14 dni. W przypadku długotrwałych zadań treningowych modeli wdroż mechanizm punktów kontrolnych i uruchom zadanie ponownie po osiągnięciu maksymalnego czasu wykonywania. Zobacz Checkpoint z Distributed Checkpoint (DCP).
- Uruchamianie zaplanowanego zadania wykorzystującego środowisko bazowe workspace, w tym środowisko AI Databricks, jest w fazie beta. Administrator obszaru roboczego musi włączyć wersję zapoznawczą obsługi bazowego środowiska obszaru roboczego Serverless w Zadaniach. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
- Środowisko uruchomieniowe sztucznej inteligencji zapewnia dostęp na żądanie do zasobów procesora GPU. Chociaż prowadzi to do łatwego, elastycznego dostępu do procesorów GPU, mogą występować okresy, w których pojemność jest ograniczona lub niedostępna w Twoim regionie.
- Środowisko AI korzysta z międzyregionalnych GPU w niektórych przypadkach podczas wysokiego zapotrzebowania. Mogą istnieć koszty ruchu wychodzącego związane z takim użyciem, a łączność sieciowa między regionami może być ograniczona w określonym czasie.
Guides
- Dlaczego warto używać AI Runtime zamiast klasycznych obliczeń: Porównaj AI Runtime z klasycznymi obliczeniami i Databricks Runtime ML.
- Przewodniki dotyczące AI Runtime: Śledź zużycie i koszty oraz rozwiązuj typowe błędy.
- Migrowanie klasycznych obciążeń GPU do środowiska serverless: Przenieś obciążenie deep learning z klasycznego klastra do AI Runtime.
- Poprawa wydajności i odporności procesu szkolenia w środowisku AI Runtime: Przyspiesz treningi i spraw, by zadania długotrwałe były odporne na awarie.