Jak działa usługa Azure Machine Learning: zasoby i zasoby

DOTYCZY:Rozszerzenie uczenia maszynowego platformy Azure w wersji 2 (bieżąca)Zestaw SDK języka Python azure-ai-ml w wersji 2 (bieżąca)

Ten artykuł dotyczy drugiej wersji zestawu SDK języka Python interfejsu wiersza polecenia & usługi Azure Machine Learning (wersja 2). Aby uzyskać wersję jedną ( wersja 1), zobacz Jak działa usługa Azure Machine Learning: architektura i pojęcia (wersja 1)

Usługa Azure Machine Learning obejmuje kilka zasobów i zasobów, które umożliwiają wykonywanie zadań uczenia maszynowego. Te zasoby i zasoby są potrzebne do uruchomienia dowolnego zadania.

• Zasoby: konfiguracja lub zasoby infrastrukturalne potrzebne do uruchomienia przepływu pracy uczenia maszynowego. Zasoby obejmują:
  • Workspace
  • Środowisko obliczeniowe
  • Magazyn danych
• Zasoby: utworzone przy użyciu poleceń usługi Azure Machine Learning lub w ramach przebiegu trenowania/oceniania. Zasoby są w wersji i można je zarejestrować w obszarze roboczym usługi Azure Machine Learning. Obejmują one:
  • Model
  • Środowisko
  • Dane
  • Składnik

Ten dokument zawiera krótkie omówienie tych zasobów i zasobów.

Workspace

Obszar roboczy jest zasobem najwyższego poziomu dla usługi Azure Machine Learning, który udostępnia scentralizowane miejsce do pracy z wszystkimi tworzonymi podczas korzystania usługi Azure Machine Learning artefaktami. Obszar roboczy przechowuje historię wszystkich zadań, w tym dzienników, metryk, danych wyjściowych i migawki skryptów. Obszar roboczy przechowuje odwołania do zasobów, takich jak magazyny danych i obliczenia. Zawiera również wszystkie zasoby, takie jak modele, środowiska, składniki i zasób danych.

Tworzenie obszaru roboczego

Interfejs wiersza polecenia platformy Azure

Aby utworzyć obszar roboczy przy użyciu interfejsu wiersza polecenia w wersji 2, użyj następującego polecenia:

DOTYCZY:Rozszerzenie uczenia maszynowego platformy Azure w wersji 2 (bieżąca)

az ml workspace create --file my_workspace.yml

Aby uzyskać więcej informacji, zobacz schemat YAML obszaru roboczego.

Zestaw SDK dla języka Python

Aby utworzyć obszar roboczy przy użyciu zestawu Python SDK w wersji 2, możesz użyć następującego kodu:

DOTYCZY: Zestaw SDK języka Python azure-ai-ml w wersji 2 (bieżący)

ws_basic = Workspace(
    name="my-workspace",
    location="eastus", # Azure region (location) of workspace
    display_name="Basic workspace-example",
    description="This example shows how to create a basic workspace"
)
ml_client.workspaces.begin_create(ws_basic) # use MLClient to connect to the subscription and resource group and create workspace

Ten notes Jupyter zawiera więcej sposobów tworzenia obszaru roboczego usługi Azure Machine Learning przy użyciu zestawu SDK w wersji 2.

Compute

Obliczenia to wyznaczony zasób obliczeniowy, w którym uruchamiasz zadanie lub hostujesz punkt końcowy. Usługa Azure Machine Learning obsługuje następujące typy obliczeń:

• Klaster obliczeniowy — zarządzana infrastruktura obliczeniowa, która umożliwia łatwe tworzenie klastra węzłów obliczeniowych procesora CPU lub procesora GPU w chmurze.

  Uwaga

  Zamiast tworzyć klaster obliczeniowy, użyj bezserwerowych zasobów obliczeniowych (wersja zapoznawcza), aby odciążyć zarządzanie cyklem życia obliczeń w usłudze Azure Machine Learning.

• Wystąpienie obliczeniowe — w pełni skonfigurowane i zarządzane środowisko programistyczne w chmurze. Wystąpienie można użyć jako środowiska obliczeniowego trenowania lub wnioskowania na potrzeby programowania i testowania. Jest ona podobna do maszyny wirtualnej w chmurze.

• Klaster wnioskowania — używany do wdrażania wytrenowanych modeli uczenia maszynowego do Azure Kubernetes Service. Klaster Azure Kubernetes Service (AKS) można utworzyć z poziomu obszaru roboczego usługi Azure Machine Learning lub dołączyć istniejący klaster usługi AKS.

• Dołączone zasoby obliczeniowe — możesz dołączyć własne zasoby obliczeniowe do obszaru roboczego i użyć ich do trenowania i wnioskowania.

Interfejs wiersza polecenia platformy Azure

Aby utworzyć środowisko obliczeniowe przy użyciu interfejsu wiersza polecenia w wersji 2, użyj następującego polecenia:

DOTYCZY:Rozszerzenie uczenia maszynowego platformy Azure w wersji 2 (bieżąca)

az ml compute --file my_compute.yml

Aby uzyskać więcej informacji, zobacz obliczanie schematu YAML.

Zestaw SDK dla języka Python

Aby utworzyć środowisko obliczeniowe przy użyciu zestawu PYTHON SDK w wersji 2, możesz użyć następującego kodu:

DOTYCZY: Zestaw SDK języka Python azure-ai-ml w wersji 2 (bieżący)

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic)

Ten notes Jupyter zawiera więcej sposobów tworzenia zasobów obliczeniowych przy użyciu zestawu SDK w wersji 2.

Magazyn danych

Magazyny danych usługi Azure Machine Learning bezpiecznie przechowują informacje o połączeniu z magazynem danych na platformie Azure, więc nie musisz kodować ich w skryptach. Możesz zarejestrować i utworzyć magazyn danych, aby łatwo nawiązać połączenie z kontem magazynu i uzyskać dostęp do danych w podstawowej usłudze magazynu. Interfejs wiersza polecenia w wersji 2 i zestaw SDK w wersji 2 obsługują następujące typy usług magazynu opartego na chmurze:

• Azure Blob Container
• Udział plików platformy Azure
• Azure Data Lake
• Azure Data Lake Gen2

Interfejs wiersza polecenia platformy Azure

Aby utworzyć magazyn danych przy użyciu interfejsu wiersza polecenia w wersji 2, użyj następującego polecenia:

DOTYCZY:Rozszerzenie uczenia maszynowego platformy Azure w wersji 2 (bieżąca)

az ml datastore create --file my_datastore.yml

Aby uzyskać więcej informacji, zobacz schemat YAML magazynu danych.

Zestaw SDK dla języka Python

Aby utworzyć magazyn danych przy użyciu zestawu Python SDK w wersji 2, możesz użyć następującego kodu:

DOTYCZY: Zestaw SDK języka Python azure-ai-ml w wersji 2 (bieżący)

blob_datastore1 = AzureBlobDatastore(
    name="blob-example",
    description="Datastore pointing to a blob container.",
    account_name="mytestblobstore",
    container_name="data-container",
    credentials={
        "account_key": "XXXxxxXXXxXXXXxxXXXXXxXXXXXxXxxXxXXXxXXXxXXxxxXXxxXXXxXxXXXxxXxxXXXXxxxxxXXxxxxxxXXXxXXX"
    },
)
ml_client.create_or_update(blob_datastore1)

Ten notes Jupyter zawiera więcej sposobów tworzenia magazynów danych przy użyciu zestawu SDK w wersji 2.

Model

Modele uczenia maszynowego platformy Azure składają się z plików binarnych reprezentujących model uczenia maszynowego i wszelkie odpowiednie metadane. Modele można tworzyć na podstawie lokalnego lub zdalnego pliku lub katalogu. W przypadku lokalizacji zdalnych obsługiwane są lokalizacje httpswasbs i azureml lokalizacje. Utworzony model zostanie śledzony w obszarze roboczym pod określoną nazwą i wersją. Usługa Azure Machine Learning obsługuje trzy typy formatów magazynu dla modeli:

• custom_model
• mlflow_model
• triton_model

Tworzenie modelu

Interfejs wiersza polecenia platformy Azure

Aby utworzyć model przy użyciu interfejsu wiersza polecenia w wersji 2, użyj następującego polecenia:

DOTYCZY:Rozszerzenie uczenia maszynowego platformy Azure w wersji 2 (bieżąca)

az ml model create --file my_model.yml

Aby uzyskać więcej informacji, zobacz schemat YAML modelu.

Zestaw SDK dla języka Python

Aby utworzyć model przy użyciu zestawu PYTHON SDK w wersji 2, możesz użyć następującego kodu:

DOTYCZY: Zestaw SDK języka Python azure-ai-ml w wersji 2 (bieżący)

my_model = Model(
    path="model.pkl", # the path to where my model file is located
    type="custom_model", # can be custom_model, mlflow_model or triton_model
    name="my-model",
    description="Model created from local file.",
)

ml_client.models.create_or_update(my_model) # use the MLClient to connect to workspace and create/register the model

Środowisko

Środowiska usługi Azure Machine Learning to hermetyzacja środowiska, w którym odbywa się zadanie uczenia maszynowego. Określają pakiety oprogramowania, zmienne środowiskowe i ustawienia oprogramowania wokół skryptów trenowania i oceniania. Środowiska są zarządzane i wersjonowane jednostki w obszarze roboczym usługi Machine Learning. Środowiska umożliwiają odtwarzanie, inspekcję i przenośne przepływy pracy uczenia maszynowego w różnych obliczeniach.

Typy środowiska

Usługa Azure Machine Learning obsługuje dwa typy środowisk: wyselekcjonowane i niestandardowe.

Wyselekcjonowane środowiska są dostarczane przez usługę Azure Machine Learning i są domyślnie dostępne w obszarze roboczym. Przeznaczone do użycia jako jest, zawierają kolekcje pakietów i ustawień języka Python, które ułatwiają rozpoczęcie pracy z różnymi platformami uczenia maszynowego. Te wstępnie utworzone środowiska umożliwiają również krótszy czas wdrażania. Aby uzyskać pełną listę, zobacz artykuł wyselekcjonowane środowiska.

W środowiskach niestandardowych odpowiadasz za konfigurowanie środowiska i instalowanie pakietów lub innych zależności wymaganych przez skrypt trenowania lub oceniania na podstawie obliczeń. Usługa Azure Machine Learning umożliwia tworzenie własnego środowiska przy użyciu polecenia

• Obraz platformy Docker
• Podstawowy obraz platformy Docker z plikiem YAML conda w celu dalszego dostosowywania
• Kontekst kompilacji platformy Docker

Tworzenie środowiska niestandardowego usługi Azure Machine Learning

Interfejs wiersza polecenia platformy Azure

Aby utworzyć środowisko przy użyciu interfejsu wiersza polecenia w wersji 2, użyj następującego polecenia:

DOTYCZY:Rozszerzenie uczenia maszynowego platformy Azure w wersji 2 (bieżąca)

az ml environment create --file my_environment.yml

Aby uzyskać więcej informacji, zobacz environment YAML schema (Schemat YAML środowiska).

Zestaw SDK dla języka Python

Aby utworzyć środowisko przy użyciu zestawu Python SDK w wersji 2, możesz użyć następującego kodu:

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

my_env = Environment(
    image="pytorch/pytorch:latest", # base image to use
    name="docker-image-example", # name of the model
    description="Environment created from a Docker image.",
)

ml_client.environments.create_or_update(my_env) # use the MLClient to connect to workspace and create/register the environment

Ten notes Jupyter zawiera więcej sposobów tworzenia środowisk niestandardowych przy użyciu zestawu SDK w wersji 2.

Dane

Usługa Azure Machine Learning umożliwia pracę z różnymi typami danych:

• Identyfikatory URI (lokalizacja w magazynie lokalnym/w chmurze)
  • uri_folder
  • uri_file
• Tabele (abstrakcja danych tabelarycznych)
  • mltable
• Typy pierwotne
  • string
  • boolean
  • number

W większości scenariuszy użyjesz identyfikatorów URI (uri_folder i uri_file) — lokalizacji w magazynie, która może być łatwo zamapowana na system plików węzła obliczeniowego w zadaniu przez zainstalowanie lub pobranie magazynu do węzła.

mltable jest abstrakcją danych tabelarycznych, które mają być używane w przypadku zadań automl, zadań równoległych i niektórych zaawansowanych scenariuszy. Jeśli dopiero zaczynasz korzystać z usługi Azure Machine Learning i nie używasz rozwiązania AutoML, zdecydowanie zachęcamy do rozpoczęcia od identyfikatorów URI.

Składnik

Składnik usługi Azure Machine Learning to samodzielny fragment kodu, który wykonuje jeden krok w potoku uczenia maszynowego. Składniki to bloki konstrukcyjne zaawansowanych potoków uczenia maszynowego. Składniki mogą wykonywać zadania, takie jak przetwarzanie danych, trenowanie modelu, ocenianie modelu itd. Składnik jest analogiczny do funkcji — ma nazwę, parametry, oczekuje danych wejściowych i zwraca dane wyjściowe.

Następne kroki

• Jak uaktualnić z wersji 1 do wersji 2
• Trenowanie modeli przy użyciu interfejsu wiersza polecenia w wersji 2 i zestawu SDK