Megosztás a következőn keresztül:

Felügyelt számítási üzembe helyezés üzembe helyezése és következtetése kóddal

  • Cikk

Az AI Studio modellkatalógusa több mint 1600 modellt kínál, és a modellek üzembe helyezésének leggyakoribb módja a felügyelt számítási üzembe helyezési lehetőség használata, amelyet néha felügyelt online üzembe helyezésnek is neveznek.

A nagy nyelvi modell (LLM) üzembe helyezése lehetővé teszi a webhely, alkalmazás vagy más éles környezetben való használatra. Az üzembe helyezés általában magában foglalja a modell kiszolgálón vagy felhőben való üzemeltetését, valamint egy API vagy más felület létrehozását a felhasználók számára a modell használatához. Meghívhatja az üzembe helyezést a generatív AI-alkalmazások, például a csevegés és a copilot valós idejű következtetéséhez.

Ebből a cikkből megtudhatja, hogyan helyezhet üzembe modelleket az Azure Machine Learning SDK használatával. A cikk azt is ismerteti, hogyan hajthat végre következtetést az üzembe helyezett modellen.

A modellazonosító lekérése

A felügyelt számítási modelleket az Azure Machine Learning SDK-val helyezheti üzembe, de először tallózzunk a modellkatalógusban, és szerezzük be az üzembe helyezéshez szükséges modellazonosítót.

  1. Jelentkezzen be az AI Studióba, és nyissa meg a kezdőlapot.

  2. Válassza a Modellkatalógus lehetőséget a bal oldali oldalsávon.

  3. Az Üzembe helyezési beállítások szűrőben válassza a Felügyelt számítás lehetőséget.

    Képernyőkép arról, hogyan szűrhet felügyelt számítási modellek alapján a katalógusban.

  4. Válasszon ki egy modellt.

  5. Másolja ki a modellazonosítót a kiválasztott modell részleteinek oldaláról. A következőhöz hasonlóan néz ki: azureml://registries/azureml/models/deepset-roberta-base-squad2/versions/16

A modell üzembe helyezése

Helyezzük üzembe a modellt.

Először telepítenie kell az Azure Machine Learning SDK-t.

pip install azure-ai-ml
pip install azure-identity

Ezzel a kóddal hitelesítheti az Azure Machine Learninget, és létrehozhat egy ügyfélobjektumot. Cserélje le a helyőrzőket az előfizetés azonosítójára, az erőforráscsoport nevére és az AI Studio projektnevére.

from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential

client = MLClient(
    credential=InteractiveBrowserCredential,
    subscription_id="your subscription name goes here",
    resource_group_name="your resource group name goes here",
    workspace_name="your project name goes here",
)

A felügyelt számítási üzembe helyezési beállításhoz létre kell hoznia egy végpontot a modell üzembe helyezése előtt. A végpontok olyan tárolók, amelyek több modell üzembe helyezését is képesek létrehozni. A végpontneveknek egyedinek kell lenniük egy régióban, ezért ebben a példában az időbélyeget használjuk egy egyedi végpontnév létrehozásához.

import time, sys
from azure.ai.ml.entities import (
    ManagedOnlineEndpoint,
    ManagedOnlineDeployment,
    ProbeSettings,
)

# Make the endpoint name unique
timestamp = int(time.time())
online_endpoint_name = "customize your endpoint name here" + str(timestamp)

# Create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    auth_mode="key",
)
workspace_ml_client.begin_create_or_update(endpoint).wait()

Hozzon létre egy üzembe helyezést. A modellazonosító a modellkatalógusban található.

model_name = "azureml://registries/azureml/models/deepset-roberta-base-squad2/versions/16" 

demo_deployment = ManagedOnlineDeployment(
    name="demo",
    endpoint_name=online_endpoint_name,
    model=model_name,
    instance_type="Standard_DS3_v2",
    instance_count=2,
    liveness_probe=ProbeSettings(
        failure_threshold=30,
        success_threshold=1,
        timeout=2,
        period=10,
        initial_delay=1000,
    ),
    readiness_probe=ProbeSettings(
        failure_threshold=10,
        success_threshold=1,
        timeout=10,
        period=10,
        initial_delay=1000,
    ),
)
workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
endpoint.traffic = {"demo": 100}
workspace_ml_client.begin_create_or_update(endpoint).result()

Az üzembe helyezés következtetése

A következtetés teszteléséhez json-mintaadatokra van szükség. Létrehozás sample_score.json az alábbi példával.

{
  "inputs": {
    "question": [
      "Where do I live?",
      "Where do I live?",
      "What's my name?",
      "Which name is also used to describe the Amazon rainforest in English?"
    ],
    "context": [
      "My name is Wolfgang and I live in Berlin",
      "My name is Sarah and I live in London",
      "My name is Clara and I live in Berkeley.",
      "The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
    ]
  }
}

Következtetsünk a következőre sample_score.json: . Módosítsa a helyet a minta json-fájl mentési helyétől függően.

scoring_file = "./sample_score.json" 
response = workspace_ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="demo",
    request_file=scoring_file,
)
response_json = json.loads(response)
print(json.dumps(response_json, indent=2))

Az üzembehelyezési végpont törlése

Ha törölni szeretné az üzembe helyezéseket az AI Studióban, válassza a Törlés gombot az üzembe helyezés részletei lap felső panelén.

Kvótaokkal kapcsolatos szempontok

A valós idejű végpontokkal való üzembe helyezéshez és a következtetés végrehajtásához az előfizetéséhez régiónként hozzárendelt virtuálisgép-magkvótát kell használnia. Amikor regisztrál az AI Studióra, egy alapértelmezett virtuálisgép-kvótát kap a régióban elérhető több virtuálisgép-családhoz. Továbbra is létrehozhat üzembe helyezéseket, amíg el nem éri a kvótakorlátot. Ha ez megtörténik, kérheti a kvótanövelést.

Következő lépések