Jak wdrażać i wnioskować wdrożenie zarządzanego środowiska obliczeniowego przy użyciu kodu
Katalog modeli usługi AI Studio oferuje ponad 1600 modeli, a najczęstszym sposobem wdrożenia tych modeli jest użycie opcji wdrażania zarządzanego obliczeniowego, która jest czasami nazywana zarządzanym wdrożeniem online.
Wdrożenie dużego modelu językowego (LLM) umożliwia korzystanie z niego w witrynie internetowej, aplikacji lub w innym środowisku produkcyjnym. Wdrożenie zwykle obejmuje hostowanie modelu na serwerze lub w chmurze oraz tworzenie interfejsu API lub innego interfejsu dla użytkowników w celu interakcji z modelem. Wdrożenie można wywołać na potrzeby wnioskowania w czasie rzeczywistym aplikacji generacyjnych sztucznej inteligencji, takich jak czat i copilot.
Z tego artykułu dowiesz się, jak wdrażać modele przy użyciu zestawu Azure Machine Learning SDK. W tym artykule opisano również sposób wnioskowania na wdrożonym modelu.
Pobieranie identyfikatora modelu
Można wdrożyć zarządzane modele obliczeniowe przy użyciu zestawu SDK usługi Azure Machine Learning, ale najpierw przejrzyjmy katalog modeli i uzyskajmy identyfikator modelu potrzebny do wdrożenia.
Zaloguj się do programu AI Studio i przejdź do strony głównej.
Wybierz pozycję Katalog modeli na lewym pasku bocznym.
W filtrze Opcje wdrażania wybierz pozycję Zarządzane obliczenia.
Wybieranie modelu.
Skopiuj identyfikator modelu ze strony szczegółów wybranego modelu. Wygląda to mniej więcej tak:
azureml://registries/azureml/models/deepset-roberta-base-squad2/versions/16
Wdrażanie modelu
Wdróżmy model.
Najpierw należy zainstalować zestaw SDK usługi Azure Machine Learning.
pip install azure-ai-ml
pip install azure-identity
Użyj tego kodu, aby uwierzytelnić się za pomocą usługi Azure Machine Learning i utworzyć obiekt klienta. Zastąp symbole zastępcze swoim identyfikatorem subskrypcji, nazwą grupy zasobów i nazwą projektu AI Studio.
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
client = MLClient(
credential=InteractiveBrowserCredential,
subscription_id="your subscription name goes here",
resource_group_name="your resource group name goes here",
workspace_name="your project name goes here",
)
W przypadku opcji wdrażania zarządzanego środowiska obliczeniowego należy utworzyć punkt końcowy przed wdrożeniem modelu. Punkt końcowy można traktować jako kontener, który może pomieścić wiele wdrożeń modelu. Nazwy punktów końcowych muszą być unikatowe w regionie, więc w tym przykładzie używamy znacznika czasu do utworzenia unikatowej nazwy punktu końcowego.
import time, sys
from azure.ai.ml.entities import (
ManagedOnlineEndpoint,
ManagedOnlineDeployment,
ProbeSettings,
)
# Make the endpoint name unique
timestamp = int(time.time())
online_endpoint_name = "customize your endpoint name here" + str(timestamp)
# Create an online endpoint
endpoint = ManagedOnlineEndpoint(
name=online_endpoint_name,
auth_mode="key",
)
workspace_ml_client.begin_create_or_update(endpoint).wait()
Utwórz wdrożenie. Identyfikator modelu można znaleźć w wykazie modeli.
model_name = "azureml://registries/azureml/models/deepset-roberta-base-squad2/versions/16"
demo_deployment = ManagedOnlineDeployment(
name="demo",
endpoint_name=online_endpoint_name,
model=model_name,
instance_type="Standard_DS3_v2",
instance_count=2,
liveness_probe=ProbeSettings(
failure_threshold=30,
success_threshold=1,
timeout=2,
period=10,
initial_delay=1000,
),
readiness_probe=ProbeSettings(
failure_threshold=10,
success_threshold=1,
timeout=10,
period=10,
initial_delay=1000,
),
)
workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
endpoint.traffic = {"demo": 100}
workspace_ml_client.begin_create_or_update(endpoint).result()
Wnioskowanie wdrożenia
Do testowania wnioskowania potrzebne są przykładowe dane JSON. Utwórz sample_score.json przy użyciu poniższego przykładu.
{
"inputs": {
"question": [
"Where do I live?",
"Where do I live?",
"What's my name?",
"Which name is also used to describe the Amazon rainforest in English?"
],
"context": [
"My name is Wolfgang and I live in Berlin",
"My name is Sarah and I live in London",
"My name is Clara and I live in Berkeley.",
"The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
]
}
}
Wywnioskujmy sample_score.jsonz . Zmień lokalizację na podstawie miejsca zapisania przykładowego pliku json.
scoring_file = "./sample_score.json"
response = workspace_ml_client.online_endpoints.invoke(
endpoint_name=online_endpoint_name,
deployment_name="demo",
request_file=scoring_file,
)
response_json = json.loads(response)
print(json.dumps(response_json, indent=2))
Usuwanie punktu końcowego wdrożenia
Aby usunąć wdrożenia w programie AI Studio, wybierz przycisk Usuń na górnym panelu strony szczegółów wdrożenia.
Zagadnienia dotyczące limitu przydziału
Aby wdrożyć i przeprowadzić wnioskowanie za pomocą punktów końcowych czasu rzeczywistego, należy użyć limitu przydziału rdzeni maszyny wirtualnej przypisanego do subskrypcji dla poszczególnych regionów. Po zarejestrowaniu się w usłudze AI Studio otrzymasz domyślny limit przydziału maszyn wirtualnych dla kilku rodzin maszyn wirtualnych dostępnych w regionie. Wdrożenia można tworzyć nadal do momentu osiągnięcia limitu przydziału. Gdy tak się stanie, możesz zażądać zwiększenia limitu przydziału.