Overview

AI Runtime to bezserwerowa moc obliczeniowa GPU w usłudze Azure Databricks do obsługi obciążeń związanych z głębokim uczeniem. Ta strona przedstawia, jak to działa, przykładowe zastosowania, sprzęt, kluczowe funkcje oraz ograniczenia.

Jak działa AI Runtime

AI Runtime pozwala trenować i dopracowywać modele na Azure Databricks bez konieczności zarządzania infrastrukturą GPU. Dostarczasz swój kod, a Azure Databricks zajmuje się mocą GPU, pozyskiwaniem zasobów i zarządzaniem.

Na przykład następująca komenda uruchamia zadanie z terminala:

databricks air run --file workload.yaml --watch

Gdy uruchamiasz databricks air run, AI Runtime pakuje kod, który przesyłasz, i orkiestruje go na bezserwerowych zasobach obliczeniowych GPU zarządzanych przez Azure Databricks. Aby to wypróbować, zobacz szybki start AI Runtime.

Przykładowe przypadki użycia

Możesz użyć AI Runtime do trenowania lub dopracowywania wielu typów modeli AI. Przykład:

Wszystkie tutoriale do notebooków i przepisy na CLI Databricks znajdziesz w przykładach AI Runtime.

Sprzęt

Wszystkie akceleratory środowiska uruchomieniowego sztucznej inteligencji aprowizują pojedynczy węzeł. Liczba procesorów GPU w tym węźle zależy od typu akceleratora:

Akcelerator Liczba GPU na węzeł Pamięć procesora GPU Najlepsze dla Szkolenie rozproszone
1xA10 1 24 GB Małe i średnie zadania uczenia maszynowego i uczenia głębokiego, takie jak klasyczne modele uczenia maszynowego lub dostrajanie mniejszych modeli językowych Nieobsługiwane (pojedynczy procesor GPU)
1xH100 1 80 GB Obciążenia robocze, które wymagają więcej pamięci GPU, niż oferuje pojedynczy procesor GPU A10, ale nie wymagają rozproszonego trenowania na wielu procesorach GPU, takie jak dostrajanie modeli językowych średniej wielkości Nieobsługiwane (pojedynczy procesor GPU)
8xH100 8 80 GB na procesor GPU Obciążenia sztucznej inteligencji na dużą skalę, w tym trenowanie lub dostrajanie ogromnych modeli lub uruchamianie zaawansowanych zadań uczenia głębokiego Obsługiwane jest użycie dekoratora @distributed , który domyślnie korzysta ze wszystkich ośmiu kart graficznych

Wskazówka

Tylko 8xH100 obsługuje trening rozproszony na wielu procesorach GPU. Dla obciążeń z pojedynczym GPU wybierz 1xA10 lub 1xH100 w zależności od pamięci GPU, jaką wymaga twój model.

Kluczowe funkcje

Category Features
Połącz z procesorami GPU
  • Databricks CLI: Przesyłaj i zarządzaj obciążeniami GPU z terminala za pomocą konfiguracji YAML.
  • Notatniki: Podłącz notatnik do GPU i pracuj interaktywnie.
  • Trening rozproszony w notatnikach: Uruchom PyTorch DDP, FSDP lub DeepSpeed na wszystkich procesorach GPU w węźle za pomocą dekoratora @distributed.
  • Zadania: Zaplanuj obciążenie GPU jako zadanie powtarzające się.
  • IDE przez SSH: Połącz się ze swojego IDE lub terminala do węzła GPU.
  • Ray: Uruchamiaj Ray Core, Ray Data, Ray Train i Ray Tune.
Twórz obciążenia robocze
Monitoruj i wdrażaj

Wymagania

Zanim zaczniesz, upewnij się, że Twoje miejsce pracy spełnia następujące wymagania:

Limitations

Pamiętaj o następujących ograniczeniach, planując obciążenie AI Runtime:

  • Środowisko uruchomieniowe sztucznej inteligencji obsługuje tylko akceleratory A10 i H100.
  • Środowisko uruchomieniowe sztucznej inteligencji nie obsługuje profilu zabezpieczeń zgodności dla standardów FedRAMP High ani DoD IL5.
  • Dodawanie zależności przy użyciu panelu Środowiska nie jest obsługiwane w przypadku zaplanowanych zadań środowiska uruchomieniowego sztucznej inteligencji. Zainstaluj zależności programowo za pomocą polecenia %pip install w notesie.
  • W przypadku zaplanowanych zadań w środowisku AI Runtime, zachowanie automatycznego odzyskiwania dla niezgodnych wersji pakietów związanych z notebookiem nie jest obsługiwane.
  • Próby połączenia z AI Runtime są przerywane po 15 minutach w przypadku interaktywnych notebooków oraz po 24 godzinach w przypadku zadań notebooka lub zadań CLI. Połączone sesje notesów i zadania notesów mogą działać przez maksymalnie dwa dni, a zadania CLI przez maksymalnie 14 dni. W przypadku długotrwałych zadań treningowych modeli wdroż mechanizm punktów kontrolnych i uruchom zadanie ponownie po osiągnięciu maksymalnego czasu wykonywania. Zobacz Checkpoint z Distributed Checkpoint (DCP).
  • Uruchamianie zaplanowanego zadania wykorzystującego środowisko bazowe workspace, w tym środowisko AI Databricks, jest w fazie beta. Administrator obszaru roboczego musi włączyć wersję zapoznawczą obsługi bazowego środowiska obszaru roboczego Serverless w Zadaniach. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
  • Środowisko uruchomieniowe sztucznej inteligencji zapewnia dostęp na żądanie do zasobów procesora GPU. Chociaż prowadzi to do łatwego, elastycznego dostępu do procesorów GPU, mogą występować okresy, w których pojemność jest ograniczona lub niedostępna w Twoim regionie.
  • Środowisko AI korzysta z międzyregionalnych GPU w niektórych przypadkach podczas wysokiego zapotrzebowania. Mogą istnieć koszty ruchu wychodzącego związane z takim użyciem, a łączność sieciowa między regionami może być ograniczona w określonym czasie.

Guides