Co to są docelowe obiekty obliczeniowe w usłudze Azure Machine Learning?

Docelowy obiekt obliczeniowy to wyznaczony zasób obliczeniowy lub środowisko, w którym uruchamiasz skrypt trenowania lub hostujesz wdrożenie usługi. Ta lokalizacja może być twoim komputerem lokalnym lub zasobem obliczeniowym opartym na chmurze. Użycie docelowych obiektów obliczeniowych ułatwia późniejsze zmienianie środowiska obliczeniowego bez konieczności zmiany kodu.

W typowym cyklu życia tworzenia modeli możesz:

  1. Zacznij od opracowania i eksperymentowania z niewielką ilością danych. Na tym etapie użyj środowiska lokalnego, takiego jak komputer lokalny lub maszyna wirtualna oparta na chmurze, jako miejsce docelowe obliczeń.
  2. Skalowanie w górę do większych danych lub trenowanie rozproszone przy użyciu jednego z tych celów obliczeniowych trenowania.
  3. Gdy model będzie gotowy, wdróż go w środowisku hostingu internetowego z jednym z tych celów obliczeniowych wdrożenia.

Zasoby obliczeniowe używane dla celów obliczeniowych są dołączane do obszaru roboczego. Zasoby obliczeniowe inne niż komputer lokalny są współużytkowane przez użytkowników obszaru roboczego.

Trenowanie docelowych obiektów obliczeniowych

Usługa Azure Machine Learning ma różną obsługę różnych celów obliczeniowych. Typowy cykl projektowania modelu rozpoczyna się od programowania lub eksperymentowania na niewielkiej ilości danych. Na tym etapie użyj środowiska lokalnego, takiego jak komputer lokalny lub maszyna wirtualna oparta na chmurze. Podczas skalowania trenowania w górę na większe zestawy danych lub wykonywania trenowania rozproszonego użyj obliczeń usługi Azure Machine Learning, aby utworzyć klaster z jednym lub wieloma węzłami, który jest automatycznie skalowany za każdym razem, gdy przesyłasz zadanie. Możesz również dołączyć własny zasób obliczeniowy, chociaż obsługa różnych scenariuszy może się różnić.

Docelowe obiekty obliczeniowe mogą być ponownie używane z jednego zadania szkoleniowego do następnego. Na przykład po dołączeniu zdalnej maszyny wirtualnej do obszaru roboczego można użyć jej ponownie w przypadku wielu zadań. W przypadku potoków uczenia maszynowego użyj odpowiedniego kroku potoku dla każdego docelowego obiektu obliczeniowego.

W przypadku większości zadań można użyć dowolnego z następujących zasobów na potrzeby trenowania docelowego środowiska obliczeniowego. Nie wszystkie zasoby mogą być używane do zautomatyzowanego uczenia maszynowego, potoków uczenia maszynowego lub projektanta. Usługa Azure Databricks może służyć jako zasób szkoleniowy dla lokalnych przebiegów i potoków uczenia maszynowego, ale nie jako zdalny element docelowy dla innych szkoleń.

Cele szkoleniowe Zautomatyzowane uczenie maszynowe Potoki uczenia maszynowego Projektant usługi Azure Machine Learning
Komputer lokalny Tak    
Klaster obliczeniowy usługi Azure Machine Learning Tak Tak Tak
Wystąpienie obliczeniowe usługi Azure Machine Learning Tak (za pośrednictwem zestawu SDK) Tak Tak
Azure Machine Learning Kubernetes Tak Tak Tak
Zdalna maszyna wirtualna Tak Tak  
Pule platformy Apache Spark (wersja zapoznawcza) Tak (tylko tryb lokalny zestawu SDK) Tak  
Azure Databricks Tak (tylko tryb lokalny zestawu SDK) Tak  
Azure Data Lake Analytics   Tak  
Usługa Azure HDInsight   Tak  
Usługa Azure Batch   Tak  

Porada

Wystąpienie obliczeniowe korzysta z dysku systemu operacyjnego o pojemności 120 GB. Jeśli zabraknie miejsca na dysku, użyj terminalu , aby wyczyścić co najmniej 1–2 GB przed zatrzymaniem lub ponownym uruchomieniem wystąpienia obliczeniowego.

Docelowe obiekty obliczeniowe na potrzeby wnioskowania

Podczas wnioskowania usługa Azure Machine Learning tworzy kontener platformy Docker, który hostuje model i skojarzone zasoby potrzebne do jego użycia. Ten kontener jest następnie używany w docelowym obiekcie obliczeniowym.

Docelowy obiekt obliczeniowy używany do hostowania modelu będzie mieć wpływ na koszt i dostępność wdrożonego punktu końcowego. Użyj tej tabeli, aby wybrać odpowiedni docelowy obiekt obliczeniowy.

Docelowy zasób obliczeniowy Sposób użycia Obsługa procesora GPU Opis
Lokalna usługa internetowa Testowanie/debugowanie   Służy do ograniczonego testowania i rozwiązywania problemów. Przyspieszanie sprzętowe zależy od używania bibliotek w systemie lokalnym.
Punkty końcowe usługi Azure Machine Learning Wnioskowanie w czasie rzeczywistym

Wnioskowanie wsadowe
Tak W pełni zarządzane obliczenia dla punktów końcowych online w czasie rzeczywistym (zarządzanych punktów końcowych online) i oceniania wsadowego (punkty końcowe wsadowe) w bezserwerowych obliczeniach.
Azure Machine Learning Kubernetes Wnioskowanie w czasie rzeczywistym

Wnioskowanie wsadowe
Tak Uruchamiaj wnioskowanie obciążeń w klastrach lokalnych, w chmurze i na brzegowych klastrach Kubernetes.
Azure Container Instances (tylko zestaw SDK/interfejs wiersza polecenia w wersji 1) Wnioskowanie w czasie rzeczywistym

Zalecane tylko do celów tworzenia i testowania.
  Służy do obsługi obciążeń opartych na procesorach o niskiej skali, które wymagają mniej niż 48 GB pamięci RAM. Nie wymaga zarządzania klastrem.

Obsługiwane w projektancie.

Uwaga

Podczas wybierania jednostki SKU klastra najpierw skaluj w górę, a następnie skaluj w poziomie. Zacznij od maszyny, która ma 150% pamięci RAM wymaganej przez model, sprofiluj wynik i znajdź maszynę, która ma wymaganą wydajność. Gdy już wiesz, zwiększ liczbę maszyn, aby dopasować je do potrzeb współbieżnych wnioskowania.

Uwaga

Wystąpienia kontenerów wymagają zestawu SDK lub interfejsu wiersza polecenia w wersji 1 i są odpowiednie tylko dla małych modeli mniejszych niż 1 GB rozmiaru.

Dowiedz się , gdzie i jak wdrożyć model w docelowym obiekcie obliczeniowym.

Obliczenia w usłudze Azure Machine Learning (zarządzane)

Zarządzany zasób obliczeniowy jest tworzony i zarządzany przez usługę Azure Machine Learning. To środowisko obliczeniowe jest zoptymalizowane pod kątem obciążeń uczenia maszynowego. Klastry obliczeniowe i wystąpienia obliczeniowe usługi Azure Machine Learning są jedynymi zarządzanymi obliczeniami.

Wystąpienia obliczeniowe usługi Azure Machine Learning lub klastry obliczeniowe można utworzyć na podstawie:

Podczas tworzenia te zasoby obliczeniowe są automatycznie częścią obszaru roboczego, w przeciwieństwie do innych rodzajów obiektów docelowych obliczeniowych.

Możliwość Klaster obliczeniowy Wystąpienie obliczeniowe
Klaster z jednym lub wieloma węzłami Klaster z jednym węzłem
Skalowanie automatyczne za każdym razem, gdy przesyłasz zadanie
Automatyczne zarządzanie klastrem i planowanie zadań
Obsługa zasobów procesora CPU i procesora GPU

Uwaga

Aby uniknąć opłat, gdy środowisko obliczeniowe jest bezczynne:

  • W przypadku klastra obliczeniowego upewnij się, że minimalna liczba węzłów jest ustawiona na 0.
  • W przypadku wystąpienia obliczeniowego włącz bezczynne zamykanie.

Obsługiwane serie i rozmiary maszyn wirtualnych

Uwaga

Seria maszyn wirtualnych serii H zostanie wycofana 31 sierpnia 2022 r. Utwórz wystąpienie obliczeniowe i klastry obliczeniowe z alternatywnymi rozmiarami maszyn wirtualnych. Istniejące wystąpienia obliczeniowe i klastry z maszynami wirtualnymi serii H nie będą działać po 31 sierpnia 2022 r.

Po wybraniu rozmiaru węzła dla zarządzanego zasobu obliczeniowego w usłudze Azure Machine Learning możesz wybrać spośród wybranych rozmiarów maszyn wirtualnych dostępnych na platformie Azure. Platforma Azure oferuje szereg rozmiarów dla systemów Linux i Windows dla różnych obciążeń. Aby dowiedzieć się więcej, zobacz Typy i rozmiary maszyn wirtualnych.

Istnieje kilka wyjątków i ograniczeń dotyczących wybierania rozmiaru maszyny wirtualnej:

  • Niektóre serie maszyn wirtualnych nie są obsługiwane w usłudze Azure Machine Learning.
  • Istnieje kilka serii maszyn wirtualnych, takich jak procesory GPU i inne specjalne jednostki SKU, które mogą nie być początkowo wyświetlane na liście dostępnych maszyn wirtualnych. Ale nadal można ich używać, gdy zażądasz zmiany limitu przydziału. Aby uzyskać więcej informacji na temat żądań przydziałów, zobacz Request quota increases (Zwiększenie limitu przydziału żądań). Zobacz poniższą tabelę, aby dowiedzieć się więcej na temat obsługiwanych serii.
Obsługiwana seria maszyn wirtualnych Kategoria Obsługiwane przez
DDSv4 Ogólnego przeznaczenia Klastry obliczeniowe i wystąpienia
Dv2 Ogólnego przeznaczenia Klastry obliczeniowe i wystąpienia
Dv3 Ogólnego przeznaczenia Klastry obliczeniowe i wystąpienia
DSv2 Ogólnego przeznaczenia Klastry obliczeniowe i wystąpienia
DSv3 Ogólnego przeznaczenia Klastry obliczeniowe i wystąpienia
EAv4 Optymalizacja pod kątem pamięci Klastry obliczeniowe i wystąpienia
Ev3 Optymalizacja pod kątem pamięci Klastry obliczeniowe i wystąpienia
ESv3 Optymalizacja pod kątem pamięci Klastry obliczeniowe i wystąpienia
FSv2 Optymalizacja pod kątem obliczeń Klastry obliczeniowe i wystąpienia
FX Optymalizacja pod kątem obliczeń Klastry obliczeniowe
H Obliczenia o wysokiej wydajności Klastry obliczeniowe i wystąpienia
HB Obliczenia o wysokiej wydajności Klastry obliczeniowe i wystąpienia
HBv2 Obliczenia o wysokiej wydajności Klastry obliczeniowe i wystąpienia
HBv3 Obliczenia o wysokiej wydajności Klastry obliczeniowe i wystąpienia
HC Obliczenia o wysokiej wydajności Klastry obliczeniowe i wystąpienia
LSv2 Optymalizacja pod kątem magazynu Klastry obliczeniowe i wystąpienia
M Optymalizacja pod kątem pamięci Klastry obliczeniowe i wystąpienia
NC Procesory GPU Klastry obliczeniowe i wystąpienia
NC Promo Procesory GPU Klastry obliczeniowe i wystąpienia
NCv2 Procesory GPU Klastry obliczeniowe i wystąpienia
NCv3 Procesory GPU Klastry obliczeniowe i wystąpienia
ND Procesory GPU Klastry obliczeniowe i wystąpienia
NDv2 Procesory GPU Klastry obliczeniowe i wystąpienia
NV Procesory GPU Klastry obliczeniowe i wystąpienia
NVv3 Procesory GPU Klastry obliczeniowe i wystąpienia
NCasT4_v3 Procesory GPU Klastry obliczeniowe i wystąpienia
NDasrA100_v4 Procesory GPU Klastry obliczeniowe i wystąpienia

Usługa Azure Machine Learning obsługuje te serie maszyn wirtualnych, ale może nie być dostępna we wszystkich regionach świadczenia usługi Azure. Aby sprawdzić, czy serie maszyn wirtualnych są dostępne, zobacz Produkty dostępne według regionów.

Uwaga

Usługa Azure Machine Learning nie obsługuje wszystkich rozmiarów maszyn wirtualnych, które obsługuje usługa Azure Compute. Aby wyświetlić listę dostępnych rozmiarów maszyn wirtualnych, użyj jednej z następujących metod:

W przypadku korzystania z docelowych zasobów obliczeniowych z obsługą procesora GPU ważne jest, aby upewnić się, że odpowiednie sterowniki CUDA są zainstalowane w środowisku treningowym. Użyj poniższej tabeli, aby określić poprawną wersję CUDA do użycia:

Architektura procesora GPU Seria maszyn wirtualnych platformy Azure Obsługiwane wersje CUDA
Ampere NDA100_v4 11.0+
Turinga NCT4_v3 10.0+
Volta NCv3, NDv2 9.0+
Pascal NCv2, ND 9.0+
Maxwell NV, NVv3 9.0+
Kepler NC, NC Promo 9.0+

Oprócz zapewnienia zgodności wersji i sprzętu CUDA, upewnij się również, że wersja CUDA jest zgodna z wersją używanej platformy uczenia maszynowego:

Izolacja obliczeniowa

Obliczenia usługi Azure Machine Learning oferują rozmiary maszyn wirtualnych, które są izolowane do określonego typu sprzętu i przeznaczone dla jednego klienta. Izolowane rozmiary maszyn wirtualnych najlepiej nadają się do obciążeń wymagających wysokiego stopnia izolacji od obciążeń innych klientów z powodów, które obejmują spełnienie wymagań dotyczących zgodności i przepisów. Użycie izolowanego rozmiaru gwarantuje, że maszyna wirtualna będzie jedyną uruchomioną w tym konkretnym wystąpieniu serwera.

Bieżące izolowane oferty maszyn wirtualnych obejmują:

  • Standard_M128ms
  • Standard_F72s_v2
  • Standard_NC24s_v3
  • Standard_NC24rs_v3*

*Obsługa technologii RDMA

Aby dowiedzieć się więcej na temat izolacji, zobacz Izolacja w chmurze publicznej platformy Azure.

Zasoby obliczeniowe niezarządzane

Niezarządzany docelowy obiekt obliczeniowy nie jest zarządzany przez usługę Azure Machine Learning. Ten typ obiektu docelowego obliczeniowego można utworzyć poza usługą Azure Machine Learning, a następnie dołączyć go do obszaru roboczego. Niezarządzane zasoby obliczeniowe mogą wymagać dodatkowych kroków w celu utrzymania lub zwiększenia wydajności obciążeń uczenia maszynowego.

Usługa Azure Machine Learning obsługuje następujące niezarządzane typy obliczeniowe:

  • Zdalne maszyny wirtualne

  • Azure HDInsight

  • Azure Databricks

  • Azure Data Lake Analytics

  • pula platformy Spark Azure Synapse (wersja zapoznawcza)

    Porada

    Obecnie wymaga to zestawu Azure Machine Learning SDK w wersji 1.

  • Kubernetes

Aby uzyskać więcej informacji, zobacz Zarządzanie zasobami obliczeniowymi.

Następne kroki

Instrukcje: