Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ważna
Środowisko uruchomieniowe sztucznej inteligencji dla zadań z jednym węzłem jest w publicznej wersji zapoznawczej. Rozproszony interfejs API trenowania dla obciążeń z wieloma procesorami GPU pozostaje w wersji beta.
Na tej stronie opisano sposób wybierania i konfigurowania środowiska python dla środowiska uruchomieniowego sztucznej inteligencji, w tym zachowania buforowania środowiska, importowania modułów niestandardowych i znanych ograniczeń.
Jakiego środowiska używać
Środowisko AI Runtime oferuje dwa zarządzane środowiska języka Python, domyślne środowisko podstawowe i środowisko sztucznej inteligencji usługi Databricks.
| Środowisko | Kluczowe cechy | Kiedy stosować |
|---|---|---|
| Domyślne środowisko podstawowe | Minimalny, obejmuje tylko torch, cudai torchvision |
Chcesz mieć pełną kontrolę nad stosem zależności i wolisz zainstalować tylko to, czego potrzebujesz |
| Środowisko sztucznej inteligencji usługi Databricks | Popularne struktury uczenia maszynowego (takie jak PyTorch, Transformers i inne) są wstępnie załadowane. | Potrzebujesz kompletnego środowiska do trenowania, dostrajania i eksperymentowania bez ręcznego zarządzania zależnościami |
Uwaga / Notatka
Podstawowe środowiska obszaru roboczego nie są obsługiwane dla AI Runtime. Zamiast tego użyj środowiska domyślnego lub sztucznej inteligencji i określ dodatkowe zależności bezpośrednio w panelu bocznym Środowiska lub pip install w nich.
Domyślne środowisko podstawowe (minimalne środowisko)
Minimalne, stabilne środowisko zawierające tylko wymagane pakiety dla operacji środowiska uruchomieniowego sztucznej inteligencji. Środowisko obejmuje torch, cuda i torchvision, zoptymalizowane w celu zapewnienia zgodności. W przypadku określonych wersji pakietu należy użyć pip install lub przypiąć niezbędne wersje w zależności od potrzeb.
Najlepsze rozwiązanie: użytkownicy, którzy chcą mieć pełną kontrolę nad stosem zależności i wolą instalować tylko to, czego potrzebują.
Jest to środowisko domyślne podczas nawiązywania połączenia z bezserwerowym procesorem GPU za pośrednictwem środowiska uruchomieniowego AI.
Aby uzyskać więcej informacji na temat wersji pakietów zainstalowanych w różnych wersjach, zobacz notatki o wydaniu:
Środowisko sztucznej inteligencji usługi Databricks
Dostępne w środowisku 4 lub nowszym. Środowisko sztucznej inteligencji jest oparte na domyślnym środowisku podstawowym z typowymi pakietami środowiska uruchomieniowego i pakietami specyficznymi dla uczenia maszynowego na procesorach GPU. Wstępnie zainstalowane pakiety obejmują:
- PyTorch (z obsługą CUDA)
- Transformers (Hugging Face)
- Dodatkowe zależności związane z uczeniem maszynowym/głębokim uczeniem (ML/DL)
Najlepsze dla: praktyków uczenia maszynowego, którzy chcą kompletnego środowiska do trenowania obciążeń, dostrajania i eksperymentowania bez ręcznego zarządzania zależnościami.
Aby wybrać: w panelu bocznym Środowisko wybierz pozycję Sztuczna inteligencja w wersji 4 jako środowisko podstawowe.
Aby uzyskać więcej informacji na temat wersji pakietów zainstalowanych w różnych wersjach, zobacz notatki o wydaniu:
Środowiska podstawowe obszaru roboczego
Środowiska podstawowe obszaru roboczego nie są obsługiwane w przypadku środowiska uruchomieniowego sztucznej inteligencji. Nie można używać niestandardowych konfiguracji środowiska na poziomie obszaru roboczego.
Aby skonfigurować środowisko uczenia głębokiego dla swojego projektu, użyj jednego z dwóch dostępnych bazowych środowisk (domyślnego lub Databricks AI) i zainstaluj dodatkowe pakiety programowo za pomocą %pip install w notebooku lub na początku skryptu treningowego.
%pip install datasets accelerate peft bitsandbytes
Dodatkowe biblioteki można zainstalować w środowisku środowiska uruchomieniowego sztucznej inteligencji. Zobacz Dodawanie zależności do notesu.
Zachowanie
Kiedy środowiska są buforowane?
Środowiska są buforowane między sesjami, aby przyspieszyć czas uruchamiania. Po ponownym połączeniu ze środowiskiem uruchomieniowym sztucznej inteligencji z tą samą konfiguracją środowiska, wcześniej zainstalowane pakiety mogą być dostępne z pamięci podręcznej, co skraca czas instalacji.
Jednak zachowanie pamięci podręcznej nie jest gwarantowane — zawsze upewnij się, że notatnik zawiera niezbędne %pip install polecenia do odtworzenia.
Jak zaimportować moduły niestandardowe?
Moduły niestandardowe można zaimportować, umieszczając je w /Workspace/Shared oraz dodając ścieżkę do elementu sys.path:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function
Możesz również przesłać pliki modułu jako pliki wirtualnego obszaru roboczego i zaimportować je bezpośrednio. W przypadku współpracy między użytkownikami przechowuj udostępniony kod w /Workspace/Shared folderach zamiast folderów specyficznych dla użytkownika. W przypadku aktywnego programowania użyj folderów specyficznych dla użytkownika i wypchnij je do zdalnego repozytorium Git na potrzeby kontroli wersji.
Ograniczenia
Następujące możliwości nie są dostępne w środowisku uruchomieniowym sztucznej inteligencji:
- Funkcje platformy Spark — nie można bezpośrednio importować ani używać funkcji PySpark. Środowisko uruchomieniowe sztucznej inteligencji jest środowiskiem tylko dla języka Python; Platforma Spark nie jest dostępna jako środowisko uruchomieniowe lokalne. Jednak program Spark Connect jest dostępny do ładowania danych. Zobacz Ładowanie danych w środowisku uruchomieniowym sztucznej inteligencji.
- Biblioteki uczenia maszynowego środowiska Databricks Runtime — wstępnie zainstalowane pakiety nie zastępują usługi Databricks Runtime ML. Niektóre biblioteki uczenia maszynowego dostępne w środowisku Databricks Runtime ML mogą nie być wstępnie zainstalowane w środowisku uruchomieniowym sztucznej inteligencji.
- Podstawowe środowiska obszaru roboczego — konfiguracje niestandardowe środowiska na poziomie obszaru roboczego nie są obsługiwane.
- Prywatne artefakty — środowisko uruchomieniowe sztucznej inteligencji obsługuje w niektórych przypadkach prywatne artefakty. Aby uzyskać więcej informacji, skontaktuj się z zespołem ds. kont.