Co to jest wystąpienie obliczeniowe usługi Azure Machine Learning?

  • Artykuł
  • Czas czytania: 7 min

Wystąpienie obliczeniowe usługi Azure Machine Learning to zarządzana stacja robocza oparta na chmurze dla analityków danych. Każde wystąpienie obliczeniowe ma tylko jednego właściciela, chociaż można udostępniać pliki między wieloma wystąpieniami obliczeniowymi.

Wystąpienia obliczeniowe ułatwiają rozpoczęcie pracy z programowaniem w usłudze Azure Machine Learning oraz zapewnianie możliwości zarządzania i gotowości przedsiębiorstwa dla administratorów IT.

Użyj wystąpienia obliczeniowego jako w pełni skonfigurowanego i zarządzanego środowiska programistycznego w chmurze na potrzeby uczenia maszynowego. Mogą być one również używane jako cel obliczeniowy do trenowania i wnioskowania na potrzeby programowania i testowania.

Aby funkcja Jupyter wystąpienia obliczeniowego działała, upewnij się, że komunikacja przy użyciu gniazd internetowych nie jest wyłączona. Upewnij się, że sieć zezwala na połączenia protokołu websocket z *.instances.azureml.net i *.instances.azureml.ms.

Ważne

Elementy oznaczone (wersja zapoznawcza) w tym artykule są obecnie dostępne w publicznej wersji zapoznawczej. Wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie jest zalecana w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Dlaczego warto używać wystąpienia obliczeniowego?

Wystąpienie obliczeniowe to w pełni zarządzana stacja robocza oparta na chmurze zoptymalizowana pod kątem środowiska deweloperskiego uczenia maszynowego. Zapewnia następujące korzyści:

Najważniejsze korzyści Opis
Produktywność Modele można tworzyć i wdrażać przy użyciu zintegrowanych notesów i następujących narzędzi w Azure Machine Learning studio:
- Jupyter
- JupyterLab
— VS Code (wersja zapoznawcza)
Wystąpienie obliczeniowe jest w pełni zintegrowane z obszarem roboczym i programem Studio usługi Azure Machine Learning. Notesy i dane można udostępniać innym analitykom danych w obszarze roboczym.
Zabezpieczanie zarządzane & Zmniejsz rozmiar zabezpieczeń i dodaj zgodność z wymaganiami dotyczącymi zabezpieczeń przedsiębiorstwa. Wystąpienia obliczeniowe zapewniają niezawodne zasady zarządzania i bezpieczne konfiguracje sieci, takie jak:

— Automatyczne aprowizowanie z szablonów Resource Manager lub zestawu Azure Machine Learning SDK
- Kontrola dostępu oparta na rolach platformy Azure (Azure RBAC)
- Obsługa sieci wirtualnej
— Zasady platformy Azure w celu wyłączenia dostępu SSH
— Zasady platformy Azure w celu wymuszenia tworzenia w sieci wirtualnej
- Automatyczne zamykanie/automatyczne uruchamianie na podstawie harmonogramu
- Włączono protokół TLS 1.2
Wstępnie skonfigurowane dla uczenia maszynowego Oszczędzaj czas na zadaniach konfiguracji dzięki wstępnie skonfigurowanym i aktualnym pakietom uczenia maszynowego, strukturom uczenia głębokiego, sterownikom procesora GPU.
W pełni dostosowywalne Szeroka obsługa typów maszyn wirtualnych platformy Azure, w tym procesorów GPU i utrwalonego dostosowania niskiego poziomu, takich jak instalowanie pakietów i sterowników, sprawia, że zaawansowane scenariusze są proste. Możesz również użyć skryptów konfiguracji do automatyzacji dostosowywania

Narzędzia i środowiska

Wystąpienie obliczeniowe usługi Azure Machine Learning umożliwia tworzenie, trenowanie i wdrażanie modeli w w pełni zintegrowanym środowisku notesu w obszarze roboczym.

Notesy Jupyter można uruchamiać w programie VS Code przy użyciu wystąpienia obliczeniowego jako serwera zdalnego bez konieczności używania protokołu SSH. Można również włączyć integrację programu VS Code za pośrednictwem zdalnego rozszerzenia SSH.

Pakiety można instalować i dodawać jądra do wystąpienia obliczeniowego.

Następujące narzędzia i środowiska są już zainstalowane w wystąpieniu obliczeniowym:

Środowiska narzędzi & ogólnych Szczegóły
Sterowniki CUDA
cuDNN
NVIDIA
Blob FUSE
Biblioteka Intel MPI
Interfejs wiersza polecenia platformy Azure
Przykłady usługi Azure Machine Learning
Docker
Nginx
NCCL 2.0
Protobuf
Środowiska narzędzi języka R& Szczegóły
Jądro języka R

Podczas tworzenia wystąpienia można dodać program RStudio lub Posit Workbench (dawniej RStudio Workbench ).

Środowiska narzędzi &języka PYTHON Szczegóły
Anaconda Python
Jupyter i rozszerzenia
Jupyterlab i rozszerzenia
Zestaw SDK usługi Azure Machine Learning dla języka Python
z PyPI		 Obejmuje większość dodatkowych pakietów azureml. Aby wyświetlić pełną listę, otwórz okno terminalu w wystąpieniu obliczeniowym i uruchom polecenie
conda list -n azureml_py36 azureml*
Inne pakiety PyPI jupytext
tensorboard
nbconvert
notebook
Pillow
Pakiety Conda cython
numpy
ipykernel
scikit-learn
matplotlib
tqdm
joblib
nodejs
Pakiety uczenia głębokiego PyTorch
TensorFlow
Keras
Horovod
MLFlow
pandas-ml
scrapbook
Pakiety ONNX keras2onnx
onnx
onnxconverter-common
skl2onnx
onnxmltools
Przykłady języka Python w usłudze Azure Machine Learning

Wszystkie pakiety języka Python są instalowane w środowisku Python 3.8 — AzureML. Podstawowym systemem operacyjnym wystąpienia obliczeniowe jest system Ubuntu 20.04.

Uzyskiwanie dostępu do plików

Notesy i skrypty języka Python są przechowywane na domyślnym koncie magazynu obszaru roboczego w udziale plików platformy Azure. Te pliki znajdują się w katalogu "Pliki użytkownika". Ten magazyn ułatwia udostępnianie notesów między wystąpieniami obliczeniowymi. Konto magazynu zapewnia również bezpieczne zachowanie notesów po zatrzymaniu lub usunięciu wystąpienia obliczeniowego.

Konto udziału plików platformy Azure w obszarze roboczym jest instalowane jako dysk w wystąpieniu obliczeniowym. Ten dysk jest domyślnym katalogem roboczym dla aplikacji Jupyter, Jupyter Labs, RStudio i Posit Workbench. Oznacza to, że notesy i inne pliki tworzone w programach Jupyter, JupyterLab, RStudio lub Posit są automatycznie przechowywane w udziale plików i są dostępne do użycia w innych wystąpieniach obliczeniowych.

Pliki w udziale plików są dostępne ze wszystkich wystąpień obliczeniowych w tym samym obszarze roboczym. Wszelkie zmiany w tych plikach w wystąpieniu obliczeniowym będą niezawodnie utrwalane z powrotem do udziału plików.

Możesz również sklonować najnowsze przykłady usługi Azure Machine Learning do folderu w katalogu plików użytkownika w udziale plików obszaru roboczego.

Zapisywanie małych plików może być wolniejsze na dyskach sieciowych niż zapisywanie na samym dysku lokalnym wystąpienia obliczeniowego. Jeśli piszesz wiele małych plików, spróbuj użyć katalogu bezpośrednio w wystąpieniu obliczeniowym /tmp , takim jak katalog. Pamiętaj, że te pliki nie będą dostępne z innych wystąpień obliczeniowych.

Nie przechowuj danych szkoleniowych w udziale plików notesów. Na potrzeby danych tymczasowych możesz użyć katalogu /tmp w wystąpieniu obliczeniowym. Nie zapisuj jednak dużych plików danych na dysku systemu operacyjnego wystąpienia obliczeniowego. Dysk systemu operacyjnego w wystąpieniu obliczeniowym ma pojemność 128 GB. Możesz również przechowywać tymczasowe dane treningowe na dysku tymczasowym zainstalowanym na /mnt. Rozmiar dysku tymczasowego zależy od wybranego rozmiaru maszyny wirtualnej. Jeśli wybrano maszynę wirtualną o większym rozmiarze, umożliwia on przechowywanie większych ilości danych. Można natomiast instalować magazyny danych i zestawy danych. Wszystkie instalowane pakiety oprogramowania są zapisywane na dysku systemu operacyjnego wystąpienia obliczeniowego. Pamiętaj, że szyfrowanie kluczy zarządzanych przez klienta nie jest obecnie obsługiwane dla dysku systemu operacyjnego. Dysk systemu operacyjnego dla wystąpienia obliczeniowego jest szyfrowany przy użyciu kluczy zarządzanych przez firmę Microsoft.

Utwórz

Wykonaj kroki opisane w przewodniku Szybki start: tworzenie zasobów obszaru roboczego, które należy rozpocząć pracę z usługą Azure Machine Learning , aby utworzyć podstawowe wystąpienie obliczeniowe.

Aby uzyskać więcej opcji, zobacz tworzenie nowego wystąpienia obliczeniowego.

Jako administrator możesz utworzyć wystąpienie obliczeniowe dla innych osób w obszarze roboczym (wersja zapoznawcza).

Możesz również użyć skryptu konfiguracji (wersja zapoznawcza) do automatycznego dostosowywania i konfigurowania wystąpienia obliczeniowego.

Inne sposoby tworzenia wystąpienia obliczeniowego:

Dedykowane rdzenie na region na przydział rodziny maszyn wirtualnych i łączny limit przydziału regionalnego, który ma zastosowanie do tworzenia wystąpienia obliczeniowego, jest ujednolicony i współużytkowany z limitem przydziału klastra obliczeniowego trenowania usługi Azure Machine Learning. Zatrzymanie wystąpienia obliczeniowego nie zwalnia limitu przydziału, aby upewnić się, że będzie można ponownie uruchomić wystąpienie obliczeniowe. Nie należy zatrzymywać wystąpienia obliczeniowego za pośrednictwem terminalu systemu operacyjnego przez zamknięcie programu sudo.

Wystąpienie obliczeniowe działa na dysku systemu operacyjnego P10. Typ dysku tymczasowego zależy od wybranego rozmiaru maszyny wirtualnej. Obecnie nie można zmienić typu dysku systemu operacyjnego.

Docelowy zasób obliczeniowy

Wystąpienia obliczeniowe mogą być używane jako docelowy obiekt obliczeniowy trenowania podobny do klastrów uczenia obliczeniowego usługi Azure Machine Learning. Jednak wystąpienie obliczeniowe ma tylko jeden węzeł, podczas gdy klaster obliczeniowy może mieć więcej węzłów.

Wystąpienie obliczeniowe:

  • Ma kolejkę zadań.
  • Uruchamia zadania bezpiecznie w środowisku sieci wirtualnej bez konieczności otwierania portu SSH przez przedsiębiorstwa. Zadanie jest wykonywane w środowisku konteneryzowanym i pakuje zależności modelu w kontenerze platformy Docker.
  • Może uruchamiać wiele małych zadań równolegle (wersja zapoznawcza). Jedno zadanie na rdzeń może być uruchamiane równolegle, podczas gdy pozostałe zadania są w kolejce.
  • Obsługuje zadania trenowania rozproszonego z wieloma procesorami GPU z jednym węzłem

Wystąpienie obliczeniowe można użyć jako lokalnego celu wdrożenia wnioskowania dla scenariuszy testowania/debugowania.

Porada

Wystąpienie obliczeniowe korzysta z dysku systemu operacyjnego o pojemności 120 GB. Jeśli zabraknie miejsca na dysku i przejdziesz do stanu bezużytecznego, wyczyść co najmniej 5 GB miejsca na dysku systemu operacyjnego (zainstalowanego na /) za pośrednictwem terminala wystąpienia obliczeniowego, usuwając pliki/foldery, a następnie wykonaj polecenie sudo reboot. Dysk tymczasowy zostanie zwolniony po ponownym uruchomieniu; nie trzeba usuwać miejsca na dysku tymczasowym ręcznie. Aby uzyskać dostęp do terminalu, przejdź do strony listy obliczeniowej lub strony szczegółów wystąpienia obliczeniowego i kliknij link Terminal . Dostępne miejsce na dysku można sprawdzić, uruchamiając polecenie df -h w terminalu. Przed wykonaniem operacji sudo reboot wyczyść co najmniej 5 GB miejsca. Nie należy zatrzymywać ani ponownie uruchamiać wystąpienia obliczeniowego za pośrednictwem programu Studio do momentu wyczyszczenia miejsca na dysku o pojemności 5 GB. Automatyczne zamykanie, w tym zaplanowane uruchamianie lub zatrzymywanie, a także zamykanie bezczynności (wersja zapoznawcza) nie będzie działać, jeśli dysk ciągłej integracji jest pełny.

Następne kroki