Pakiety modelu do wdrożenia (wersja zapoznawcza)

Po wytrenowania modelu uczenia maszynowego należy go wdrożyć, aby inne osoby mogły korzystać z jego przewidywań. Jednak wdrożenie modelu wymaga więcej niż tylko wag lub artefaktów modelu. Pakiety modeli to funkcja w usłudze Azure Machine Edukacja, która umożliwia zbieranie wszystkich zależności wymaganych do wdrożenia modelu uczenia maszynowego na platformie obsługującej. Pakiety można przenosić między obszarami roboczymi, a nawet poza usługą Azure Machine Edukacja.

Ważne

Ta funkcja jest obecnie w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone.

Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Co to jest pakiet modelu?

Najlepszym rozwiązaniem przed wdrożeniem modelu wszystkie zależności wymagane przez model do pomyślnego uruchomienia muszą zostać zebrane i rozwiązane, aby można było wdrożyć model w powtarzalnym i niezawodnym podejściu.

Zazwyczaj zależności modelu obejmują:

• Obraz podstawowy lub środowisko, w którym jest wykonywany model.
• Lista pakietów i zależności języka Python, od których zależy odpowiednia funkcja modelu.
• Dodatkowe zasoby, których model może wymagać wygenerowania wnioskowania. Te zasoby mogą obejmować mapy etykiet i parametry przetwarzania wstępnego.
• Oprogramowanie wymagane do obsługi żądań przez serwer wnioskowania; na przykład flask server lub TensorFlow Serving.
• Procedury wnioskowania (jeśli jest to wymagane).

Wszystkie te elementy należy zebrać, aby następnie zostały wdrożone w infrastrukturze obsługującej. Wynikowy zasób wygenerowany po zebraniu wszystkich zależności jest nazywany pakietem modelu.

Zalety modeli pakowania

Tworzenie pakietów modeli przed wdrożeniem ma następujące zalety:

• Powtarzalność: wszystkie zależności są zbierane w czasie pakowania, a nie w czasie wdrażania. Po rozwiązaniu zależności można wdrożyć pakiet tyle razy, ile to konieczne, gwarantując, że zależności zostały już rozwiązane.
• Szybsze rozwiązywanie konfliktów: usługa Azure Machine Edukacja wykrywa wszelkie błędy konfiguracji związane z zależnościami, takie jak brak pakietu języka Python, podczas tworzenia pakietów modelu. Nie musisz wdrażać modelu, aby wykryć takie problemy.
• Łatwiejsza integracja z serwerem wnioskowania: ponieważ używany serwer wnioskowania może wymagać określonych konfiguracji oprogramowania (na przykład pakietu Torch Serve), takie oprogramowanie może generować konflikty z zależnościami modelu. Pakiety modeli w usłudze Azure Machine Edukacja wstrzyknąć zależności wymagane przez serwer wnioskowania, aby ułatwić wykrywanie konfliktów przed wdrożeniem modelu.
• Przenośność: możesz przenieść pakiety modeli usługi Azure Machine Edukacja z jednego obszaru roboczego do innego przy użyciu rejestrów. Można również wygenerować pakiety, które można wdrożyć poza usługą Azure Machine Edukacja.
• Obsługa platformy MLflow z sieciami prywatnymi: w przypadku modeli MLflow usługa Azure Machine Edukacja wymaga połączenia internetowego, aby móc dynamicznie instalować niezbędne pakiety języka Python dla modeli do uruchomienia. Pakując modele MLflow, te pakiety języka Python są rozwiązywane podczas operacji pakowania modelu, aby pakiet modelu MLflow nie wymagał wdrożenia połączenia internetowego.

Napiwek

Pakowanie modelu MLflow przed wdrożeniem jest zdecydowanie zalecane, a nawet wymagane w przypadku punktów końcowych, które nie mają łączności wychodzącej sieci. Model MLflow wskazuje jego zależności w samym modelu, co wymaga dynamicznej instalacji pakietów. Po spakowaniu modelu MLflow ta dynamiczna instalacja jest wykonywana w czasie pakowania, a nie w czasie wdrażania.

Wdrażanie pakietów modelu

Pakiety modelu można udostępniać jako dane wejściowe do punktów końcowych online. Użycie pakietów modelu pomaga usprawnić przepływy pracy metodyki MLOps przez zmniejszenie prawdopodobieństwa błędów w czasie wdrażania, ponieważ wszystkie zależności zostałyby zebrane podczas operacji pakowania. Możesz również skonfigurować pakiet modelu w celu wygenerowania obrazów platformy Docker do wdrożenia w dowolnym miejscu poza usługą Azure Machine Edukacja lokalnie lub w chmurze.

Pakiet przed wdrożeniem

Najprostszym sposobem wdrożenia przy użyciu pakietu modelu jest określenie w usłudze Azure Machine Edukacja w celu wdrożenia pakietu modelu przed wykonaniem wdrożenia. W przypadku korzystania z interfejsu wiersza polecenia platformy Azure, zestawu AZURE Machine Edukacja SDK lub usługi Azure Machine Edukacja Studio w celu utworzenia wdrożenia w punkcie końcowym online można określić użycie pakietu modelu w następujący sposób:

Interfejs wiersza polecenia platformy Azure

Użyj flagi --with-package podczas tworzenia wdrożenia:

az ml online-deployment create --with-package -f model-deployment.yml -e $ENDPOINT_NAME

Python

Użyj argumentu --with_package=True podczas tworzenia wdrożenia:

deployment_package = ManagedOnlineDeployment(
    name="with-package-inline",
    endpoint_name=endpoint_name,
    model=model.id,
    instance_count=1,
    with_package=True,
)

Studio

Na stronie szczegółów modelu w studio,

1. Wybierz pozycję Wdróż.

2. Wybierz pozycję Punkty końcowe online.

3. Włącz opcję Model pakietu (wersja zapoznawcza) w kreatorze tworzenia, aby spakować model przed wdrożeniem.

Jeśli do wdrożenia używasz kreatora zaawansowanego, na karcie Wdrażanie znajduje się opcja Model pakietu (wersja zapoznawcza).

Usługa Azure Machine Edukacja najpierw pakuje model, a następnie wykonuje wdrożenie.

Uwaga

W przypadku korzystania z pakietów, jeśli wskazujesz środowisko podstawowe z zależnościami lub pip z conda innymi zależnościami, nie musisz uwzględniać zależności serwera wnioskowania (azureml-inference-server-http). Zamiast tego te zależności są automatycznie dodawane.

Wdrażanie spakowanego modelu

Możesz wdrożyć model, który został spakowany bezpośrednio w punkcie końcowym online. Ta praktyka zapewnia powtarzalność wyników i jest to najlepsze rozwiązanie. Zobacz Pakowanie i wdrażanie modeli w punktach końcowych online.

Jeśli chcesz wdrożyć pakiet poza usługą Azure Machine Edukacja, zobacz Tworzenie pakietów i wdrażanie modeli poza usługą Azure Machine Edukacja.

Następny krok

Tworzenie pierwszego pakietu modelu