Co to jest wystąpienie obliczeniowe usługi Azure Machine Learning?

  • Artykuł

Wystąpienie obliczeniowe usługi Azure Machine Edukacja to zarządzana stacja robocza oparta na chmurze dla analityków danych. Każde wystąpienie obliczeniowe ma tylko jednego właściciela, chociaż można udostępniać pliki między wieloma wystąpieniami obliczeniowymi.

Wystąpienia obliczeniowe ułatwiają rozpoczęcie pracy z usługą Azure Machine Edukacja programowania i zapewniania możliwości zarządzania i gotowości przedsiębiorstwa dla administratorów IT.

Użyj wystąpienia obliczeniowego jako w pełni skonfigurowanego i zarządzanego środowiska programistycznego w chmurze na potrzeby uczenia maszynowego. Mogą być one również używane jako cel obliczeniowy na potrzeby trenowania i wnioskowania na potrzeby programowania i testowania.

Aby funkcja jupyter wystąpienia obliczeniowego działała, upewnij się, że komunikacja z gniazdami internetowymi nie jest wyłączona. Upewnij się, że sieć zezwala na połączenia z *.instances.azureml.net oraz *.instances.azureml.ms.

Ważne

Elementy oznaczone (wersja zapoznawcza) w tym artykule są obecnie dostępne w publicznej wersji zapoznawczej. Wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie jest zalecana w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Dlaczego warto używać wystąpienia obliczeniowego?

Wystąpienie obliczeniowe to w pełni zarządzana stacja robocza oparta na chmurze zoptymalizowana pod kątem środowiska deweloperskiego uczenia maszynowego. Oferuje następujące korzyści:

Główne korzyści opis
Produktywność Modele można tworzyć i wdrażać przy użyciu zintegrowanych notesów i następujących narzędzi w programie Azure Machine Edukacja Studio:
- Jupyter
- JupyterLab
- VS Code (wersja zapoznawcza)
Wystąpienie obliczeniowe jest w pełni zintegrowane z usługą Azure Machine Edukacja obszar roboczy i studio. Notesy i dane można udostępniać innym analitykom danych w obszarze roboczym.
Zarządzane i bezpieczne Zmniejsz poziom zabezpieczeń i dodaj zgodność z wymaganiami dotyczącymi zabezpieczeń przedsiębiorstwa. Wystąpienia obliczeniowe zapewniają niezawodne zasady zarządzania i bezpieczne konfiguracje sieci, takie jak:

— Automatyczne aprowizowanie z szablonów usługi Resource Manager lub zestawu AZURE Machine Edukacja SDK
- Kontrola dostępu oparta na rolach platformy Azure (Azure RBAC)
- Obsługa sieci wirtualnej
— Zasady platformy Azure wyłączają dostęp SSH
— Zasady platformy Azure w celu wymuszenia tworzenia w sieci wirtualnej
- Automatyczne zamykanie/automatyczne uruchamianie na podstawie harmonogramu
— Włączono protokół TLS 1.2
Wstępnie skonfigurowane dla uczenia maszynowego Oszczędzaj czas na zadaniach konfiguracji dzięki wstępnie skonfigurowanym i aktualnym pakietom uczenia maszynowego, strukturom uczenia głębokiego, sterownikom procesora GPU.
W pełni dostosowywalny Szeroka obsługa typów maszyn wirtualnych platformy Azure, w tym procesorów GPU i utrwalonego dostosowywania niskiego poziomu, takich jak instalowanie pakietów i sterowników, sprawia, że zaawansowane scenariusze są proste. Możesz również użyć skryptów instalacyjnych, aby zautomatyzować dostosowywanie

Narzędzia i środowiska

Usługa Azure Machine Edukacja wystąpienie obliczeniowe umożliwia tworzenie, trenowanie i wdrażanie modeli w w pełni zintegrowanym środowisku notesu w obszarze roboczym.

Notesy można uruchamiać w obszarze roboczym usługi Azure Machine Edukacja, Jupyter, JupyterLab lub Visual Studio Code. Program VS Code Desktop można skonfigurować do uzyskiwania dostępu do wystąpienia obliczeniowego. Możesz też użyć programu VS Code dla sieci Web, bezpośrednio z przeglądarki i bez wymaganych instalacji lub zależności.

Zalecamy wypróbowanie programu VS Code dla sieci Web, aby skorzystać z łatwej integracji i rozbudowanego środowiska programistycznego, które zapewnia. Program VS Code dla sieci Web udostępnia wiele funkcji programu VS Code Desktop, które kochasz, w tym wyróżnianie wyszukiwania i składni podczas przeglądania i edytowania. Aby uzyskać więcej informacji na temat korzystania z programu VS Code Desktop i programu VS Code dla sieci Web, zobacz Uruchamianie programu Visual Studio Code zintegrowanego z usługą Azure Machine Edukacja (wersja zapoznawcza) i Praca w programie VS Code zdalnie połączona z wystąpieniem obliczeniowym (wersja zapoznawcza).

Pakiety można instalować i dodawać jądra do wystąpienia obliczeniowego.

Następujące narzędzia i środowiska są już zainstalowane w wystąpieniu obliczeniowym:

Ogólne narzędzia i środowiska Szczegóły
Sterowniki CUDA
cuDNN
NVIDIA
Blob FUSE
Biblioteka Intel MPI
Interfejs wiersza polecenia platformy Azure
Przykłady usługi Azure Machine Edukacja
Docker
Nginx
NCCL 2.0
Protobuf
Narzędzia i środowiska języka R Szczegóły
Jądro języka R

Podczas tworzenia wystąpienia można dodać program RStudio lub Posit Workbench (dawniej RStudio Workbench ).

Narzędzia i środowiska języka PYTHON Szczegóły
Anaconda Python
Jupyter i rozszerzenia
Jupyterlab i rozszerzenia
Zestaw SDK usługi Azure Machine Edukacja
for Python from PyPI (for Python from PyPI)		 Obejmuje usługę azure-ai-ml i wiele typowych dodatkowych pakietów platformy Azure. Aby wyświetlić pełną listę,
otwórz okno terminalu w wystąpieniu obliczeniowym i uruchom polecenie
conda list -n azureml_py310_sdkv2 ^azure
Inne pakiety PyPI jupytext
tensorboard
nbconvert
notebook
Pillow
Pakiety Conda cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
Pakiety uczenia głębokiego PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
Pakiety ONNX keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Przykłady języka Python dla usługi Azure Machine Edukacja

Wystąpienie obliczeniowe ma ubuntu jako podstawowy system operacyjny.

Uzyskiwanie dostępu do plików

Notesy i skrypty języka Python są przechowywane na domyślnym koncie magazynu obszaru roboczego w udziale plików platformy Azure. Te pliki znajdują się w katalogu "Pliki użytkownika". Ten magazyn ułatwia udostępnianie notesów między wystąpieniami obliczeniowymi. Konto magazynu zapewnia również bezpieczne zachowanie notesów po zatrzymaniu lub usunięciu wystąpienia obliczeniowego.

Konto udziału plików platformy Azure obszaru roboczego jest instalowane jako dysk w wystąpieniu obliczeniowym. Ten dysk jest domyślnym katalogem roboczym dla aplikacji Jupyter, Jupyter Labs, RStudio i Posit Workbench. Oznacza to, że notesy i inne pliki tworzone w programach Jupyter, JupyterLab, VS Code dla sieci Web, RStudio lub Posit są automatycznie przechowywane w udziale plików i są dostępne do użycia w innych wystąpieniach obliczeniowych.

Pliki w udziale plików są dostępne ze wszystkich wystąpień obliczeniowych w tym samym obszarze roboczym. Wszelkie zmiany w tych plikach w wystąpieniu obliczeniowym będą niezawodnie utrwalane z powrotem do udziału plików.

Możesz również sklonować najnowsze przykłady usługi Azure Machine Edukacja do folderu w katalogu plików użytkownika w udziale plików obszaru roboczego.

Zapisywanie małych plików może być wolniejsze na dyskach sieciowych niż zapisywanie na samym dysku lokalnym wystąpienia obliczeniowego. Jeśli piszesz wiele małych plików, spróbuj użyć katalogu bezpośrednio w wystąpieniu obliczeniowym /tmp , takim jak katalog. Należy pamiętać, że te pliki nie będą dostępne z innych wystąpień obliczeniowych.

Nie przechowuj danych szkoleniowych w udziale plików notesów. Aby uzyskać informacje na temat różnych opcji przechowywania danych, zobacz Access data in a job (Uzyskiwanie dostępu do danych w zadaniu).

Na potrzeby danych tymczasowych możesz użyć katalogu /tmp w wystąpieniu obliczeniowym. Nie zapisuj jednak dużych plików danych na dysku systemu operacyjnego wystąpienia obliczeniowego. Dysk systemu operacyjnego w wystąpieniu obliczeniowym ma pojemność 128 GB. Możesz również przechowywać tymczasowe dane treningowe na dysku tymczasowym zainstalowanym na /mnt. Rozmiar dysku tymczasowego zależy od wybranego rozmiaru maszyny wirtualnej. Jeśli wybrano maszynę wirtualną o większym rozmiarze, umożliwia on przechowywanie większych ilości danych. Wszystkie instalowane pakiety oprogramowania są zapisywane na dysku systemu operacyjnego wystąpienia obliczeniowego. Pamiętaj, że szyfrowanie kluczy zarządzanych przez klienta nie jest obecnie obsługiwane dla dysku systemu operacyjnego. Dysk systemu operacyjnego dla wystąpienia obliczeniowego jest szyfrowany przy użyciu kluczy zarządzanych przez firmę Microsoft.

Można natomiast instalować magazyny danych i zestawy danych.

Utworzenie

Wykonaj kroki opisane w temacie Tworzenie zasobów, które należy rozpocząć , aby utworzyć podstawowe wystąpienie obliczeniowe.

Aby uzyskać więcej opcji, zobacz tworzenie nowego wystąpienia obliczeniowego.

Jako administrator możesz utworzyć wystąpienie obliczeniowe dla innych osób w obszarze roboczym.

Możesz również użyć skryptu instalacyjnego, aby zautomatyzować sposób dostosowywania i konfigurowania wystąpienia obliczeniowego.

Inne sposoby tworzenia wystąpienia obliczeniowego:

Dedykowane rdzenie na region na przydział rodziny maszyn wirtualnych i całkowity limit przydziału regionalnego, który ma zastosowanie do tworzenia wystąpienia obliczeniowego, jest ujednolicony i współużytkowany z usługą Azure Machine Edukacja trenowania przydziału klastra obliczeniowego. Zatrzymanie wystąpienia obliczeniowego nie zwalnia limitu przydziału, aby upewnić się, że będzie można ponownie uruchomić wystąpienie obliczeniowe. Nie należy zatrzymywać wystąpienia obliczeniowego za pośrednictwem terminalu systemu operacyjnego, wykonując zamknięcie programu sudo.

Wystąpienie obliczeniowe działa na dysku systemu operacyjnego P10. Typ dysku tymczasowego zależy od wybranego rozmiaru maszyny wirtualnej. Obecnie nie można zmienić typu dysku systemu operacyjnego.

Docelowy zasób obliczeniowy

Wystąpienia obliczeniowe mogą służyć jako docelowy obiekt obliczeniowy trenowania podobny do klastrów trenowania obliczeniowego usługi Azure Machine Edukacja. Jednak wystąpienie obliczeniowe ma tylko jeden węzeł, a klaster obliczeniowy może mieć więcej węzłów.

Wystąpienie obliczeniowe:

  • Ma kolejkę zadań.
  • Uruchamia zadania bezpiecznie w środowisku sieci wirtualnej bez konieczności otwierania portu SSH przez przedsiębiorstwa. Zadanie jest wykonywane w środowisku konteneryzowanym i pakuje zależności modelu w kontenerze platformy Docker.
  • Może równolegle uruchamiać wiele małych zadań. Jedno zadanie na procesor wirtualny może działać równolegle, podczas gdy pozostałe zadania są kolejkowane.
  • Obsługuje zadania trenowania rozproszonego z wieloma procesorami GPU z jednym węzłem

Wystąpienie obliczeniowe można użyć jako lokalnego celu wdrożenia wnioskowania na potrzeby scenariuszy testowania/debugowania.

Napiwek

Wystąpienie obliczeniowe korzysta z dysku systemu operacyjnego o pojemności 120 GB. Jeśli zabraknie miejsca na dysku i przejdziesz do stanu bezużytecznego, wyczyść co najmniej 5 GB miejsca na dysku systemu operacyjnego (zainstalowanego na /) za pośrednictwem terminalu wystąpienia obliczeniowego, usuwając pliki/foldery, a następnie wykonaj polecenie sudo reboot. Dysk tymczasowy zostanie zwolniony po ponownym uruchomieniu; nie trzeba ręcznie czyścić miejsca na dysku tymczasowym. Aby uzyskać dostęp do terminalu, przejdź do strony listy zasobów obliczeniowych lub strony szczegółów wystąpienia obliczeniowego i kliknij link Terminal . Możesz sprawdzić dostępne miejsce na dysku, uruchamiając polecenie df -h w terminalu. Przed wykonaniem operacji sudo reboot wyczyść co najmniej 5 GB miejsca. Nie należy zatrzymywać ani ponownie uruchamiać wystąpienia obliczeniowego za pośrednictwem programu Studio, dopóki nie zostanie wyczyszczone 5 GB miejsca na dysku. Automatyczne zamykanie, w tym zaplanowane uruchamianie lub zatrzymywanie, a także zamykanie w stanie bezczynności nie będzie działać, jeśli dysk wystąpienia obliczeniowego będzie pełny.

Następne kroki