Modellek üzembe helyezése kiszolgáló nélküli API-végpontként

Ebből a cikkből megtudhatja, hogyan helyezhet üzembe egy modellt a modellkatalógusból kiszolgáló nélküli API-ként használatalapú jogkivonatalapú számlázással.

A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-ként használatalapú számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Előfeltételek

• Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .

• Azure Machine Tanulás munkaterület.

• Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. Az engedélyekről további információt az Azure Machine Tanulás szerepköralapú hozzáférés-vezérlésében talál.

• Az Azure Machine Tanulás használatához telepítenie kell a következő szoftvert:

  Studio

  Bármely kompatibilis webböngészővel navigálhat az Azure Machine Tanulás.

  Azure CLI

  Az Azure CLI és az Azure Machine ml-bővítménye Tanulás.

  az extension add -n ml
  

  Ha már telepítve van a bővítmény, győződjön meg arról, hogy a legújabb verzió van telepítve.

  az extension update -n ml
  

  A bővítmény telepítése után konfigurálja a következőt:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python

  Telepítse az Azure Machine Tanulás Pythonhoz készült SDK-t.

  pip install -U azure-ai-ml
  

  A telepítés után importálja a szükséges névtereket, és hozzon létre egy, a munkaterülethez csatlakoztatott ügyfelet:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  KAR

  Bármilyen kompatibilis webböngészővel üzembe helyezhet ARM-sablonokat a Microsoft Azure Portalon, vagy használhatja az üzembehelyezési eszközöket. Ez az oktatóanyag az Azure CLI-t használja.

A munkaterület előfizetése a modellajánlatra

Az Azure Marketplace-en keresztül kínált modellek esetében üzembe helyezheti őket kiszolgáló nélküli API-végpontokon az előrejelzéseik felhasználásához. Ha először helyezi üzembe a modellt a munkaterületen, elő kell fizetnie a munkaterületet az adott modellajánlatra az Azure Marketplace-ről. Minden munkaterület saját előfizetéssel rendelkezik a modell adott Azure Marketplace-ajánlatához, amely lehetővé teszi a költségek szabályozását és monitorozását.

Feljegyzés

Az Azure Marketplace-en keresztül kínált modellek a kiszolgáló nélküli API-végpontokon való üzembe helyezéshez érhetők el adott régiókban. Ellenőrizze a régiók rendelkezésre állását a kiszolgáló nélküli API-végpontok modelljeinél annak ellenőrzéséhez, hogy mely régiók érhetők el. Ha a szükséges nem szerepel a listában, egy támogatott régióban lévő munkaterületen telepítheti, majd használhat kiszolgáló nélküli API-végpontokat egy másik munkaterületről.

1. Bejelentkezés az Azure Machine Tanulás Studióba

2. Győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Developer szerepkör engedélyekkel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek.

3. Lépjen a munkaterülethez.

4. A bal oldali oldalsávon válassza a Modellkatalógus lehetőséget, és keresse meg az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy Meta-Llama-3-8B-Instruct modellt választ ki.

   1. Ha a modellt az Azure CLI, a Python SDK vagy az ARM használatával helyezi üzembe, másolja ki a modell azonosítóját.

   Fontos

   A modellazonosító másolásakor ne adja meg a verziót. A kiszolgáló nélküli API-végpontok mindig a modell legújabb elérhető verzióját telepítik. Például a modellazonosítóhoz azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3másolja a vágólapra azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

5. Hozza létre a modell marketplace-előfizetését. Előfizetés létrehozásakor elfogadja a modellajánlathoz tartozó feltételeket és feltételeket.

   Studio

   1. A modell Részletek lapján válassza az Üzembe helyezés lehetőséget, majd a Kiszolgáló nélküli API-taz üzembe helyezési varázsló megnyitásához.

   2. Jelölje be a jelölőnégyzetet a Microsoft vásárlási szabályzatának nyugtázásához.

      

   3. Ha azt a megjegyzést látja, hogy már rendelkezik Azure Marketplace-előfizetéssel ehhez a munkaterülethez, nem kell létrehoznia az előfizetést, mivel már rendelkezik ilyen előfizetéssel. Folytathatja a modell kiszolgáló nélküli API-végponton való üzembe helyezését.

   4. Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről. A kiválasztott modell díjszabásáról a Díjszabás és a feltételek lapon is tájékozódhat.

   5. Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást a használati feltételek további megismeréséhez. A Marketplace ajánlat részletei lapjára kattintva megismerheti a kiválasztott modell díjszabását.

   6. Válassza a Feliratkozás és üzembe helyezés lehetőséget.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Az előfizetés létrehozásához használja a subscription.yml fájlt:

   az ml marketplace-subscription create -f subscription.yml
   

   Python

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   KAR

   Modell-előfizetés létrehozásához használja az alábbi sablont:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

6. Miután regisztrálja a munkaterületet az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezése ugyanazon a munkaterületen nem igényel újra előfizetést.

7. Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a munkaterület jelenleg előfizetett:

   Studio

   1. Nyissa meg az Azure Portalt

   2. Lépjen arra az erőforráscsoportra, amelyhez a munkaterület tartozik.

   3. A Típus szűrőben válassza az SaaS lehetőséget.

   4. Láthatja az összes ajánlatot, amelyre jelenleg előfizetett.

   5. Válassza ki bármelyik erőforrást a részletek megtekintéséhez.

   Azure CLI

   az ml marketplace-subscription list
   

   Python

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   KAR

   Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

A modell üzembe helyezése kiszolgáló nélküli API-végponton

Miután létrehozta a modell előfizetését, üzembe helyezheti a társított modellt egy kiszolgáló nélküli API-végponton. A kiszolgáló nélküli API-végpont lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemeltetné őket, miközben a vállalati biztonsági és megfelelőségi szervezeteknek is szükségük van rájuk. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Ebben a cikkben egy meta-llama3-8b-qwerty nevű végpontot hoz létre.

1. Kiszolgáló nélküli végpont létrehozása

   Studio

   1. Az előző varázslóban válassza az Üzembe helyezés lehetőséget (ha az előző szakaszban előfizetett a munkaterületre a modellajánlatra), vagy válassza a Folytatás az üzembe helyezéshez lehetőséget (ha az üzembe helyezési varázslóban volt az a megjegyzés , hogy már rendelkezik Azure Marketplace-előfizetéssel ehhez a munkaterülethez).

      

   2. Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.

      

   3. Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés készen áll, és a rendszer átirányítja a Központi telepítések lapra.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   A végpont létrehozásához használja a endpoint.yml fájlt:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   KAR

   Hozzon létre egy végpontot a következő sablonnal:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Ezután hozza létre az üzembe helyezést:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Az Azure-beli üzembehelyezési sablon végrehajtása eltarthat néhány percig. Amikor befejeződik, megjelenik egy üzenet, amely tartalmazza az eredményt:

   "provisioningState": "Succeeded",
   

2. Bármikor láthatja a munkaterületen üzembe helyezett végpontokat:

   Studio

   1. Lépjen a munkaterülethez.

   2. Válassza a Végpontok lehetőséget.

   3. Válassza a Kiszolgáló nélküli végpontok lapot a kiszolgáló nélküli API-végpontok megjelenítéséhez.

   Azure CLI

   az ml serverless-endpoint list
   

   Python

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   KAR

   Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az alábbi lépésekkel lekérheti az adott végponthoz társított kulcsokat.

   Studio

   1. Az üzembe helyezés lapjára való visszatéréshez válassza ki a végpont nevét a kiszolgáló nélküli végpontok listájából.
   2. Figyelje meg a végpont cél URI-ját és kulcsát. Ezekkel meghívhatja az üzembe helyezést, és előrejelzéseket hozhat létre.

   Feljegyzés

   Az Azure Portal használatakor a kiszolgáló nélküli API-végpontok alapértelmezés szerint nem jelennek meg az erőforráscsoporton. A Rejtett típusok megjelenítése beállítással megjelenítheti őket az erőforráscsoportban.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   KAR

   A REST API-k használatával kérdezheti le ezeket az információkat.

4. Ezen a ponton a végpont készen áll a használatra.

5. Ha ezt az üzemelő példányt egy másik munkaterületről szeretné felhasználni, vagy intelligens alkalmazások létrehozásához parancssori folyamatot szeretne használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha tudni szeretné, hogyan konfigurálhat egy meglévő kiszolgáló nélküli API-végpontot egy új projekten vagy központon, olvassa el az üzembe helyezett kiszolgáló nélküli API-végpontok felhasználása egy másik munkaterületről vagy a parancssori folyamatból.

   Tipp.

   Ha a parancssori folyamatot ugyanabban a munkaterületen használja, ahol az üzembe helyezést üzembe helyezték, akkor is létre kell hoznia a kapcsolatot.

A kiszolgáló nélküli API-végpont használata

Az Azure Machine Tanulás és az Azure AI Studio kiszolgáló nélküli API-végpontjaiban üzembe helyezett modellek támogatják az Azure AI Model Inference API-t, amely az alapszintű modellek általános képességeit teszi elérhetővé, és amelyeket a fejlesztők különböző modellek előrejelzéseinek egységes és konzisztens felhasználására használhatnak fel.

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja azt alkalmazások létrehozásakor.

Végpontok és előfizetések törlése

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlésével a társított végpontok nem megfelelőek és használhatatlanok lesznek.

Studio

Kiszolgáló nélküli API-végpont törlése:

1. Nyissa meg az Azure Machine Tanulás Studiót.

2. Válassza a Végpontok lehetőséget a bal oldali oldalsávon.

3. Válassza a Kiszolgáló nélküli végpontok lapot a kiszolgáló nélküli API-végpontok megjelenítéséhez.

4. Nyissa meg a törölni kívánt végpontot.

5. Válassza a Törlés lehetőséget.

A társított modell-előfizetés törlése:

1. Nyissa meg az Azure Portalt

2. Lépjen arra az erőforráscsoportra, amelyhez a munkaterület tartozik.

3. A Típus szűrőben válassza az SaaS lehetőséget.

4. Válassza ki a törölni kívánt előfizetést.

5. Válassza a Törlés lehetőséget.

Azure CLI

Kiszolgáló nélküli API-végpont törlése:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

A társított modell-előfizetés törlése:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python

Kiszolgáló nélküli API-végpont törlése:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

A társított modell-előfizetés törlése:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

KAR

Az erőforrás-kezelési eszközökkel kezelheti az erőforrásokat. A következő kód az Azure CLI-t használja:

az resource delete --name <resource-name>

A kiszolgáló nélküli API-végpontként üzembe helyezett modellek költség- és kvótaalapú szempontjai

A kiszolgáló nélküli API-végpontként üzembe helyezett modellek az Azure Marketplace-en keresztül érhetők el, és az Azure Machine Tanulás integrálva használhatók. A modellek üzembe helyezésekor vagy finomhangolásakor megtalálhatja az Azure Marketplace díjszabását.

Minden alkalommal, amikor egy munkaterület előfizet egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanez az erőforrás a következtetéssel és finomhangolással kapcsolatos költségek nyomon követésére szolgál; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.

A költségek nyomon követéséről további információt az Azure Marketplace-en keresztül kínált modellek költségeinek monitorozása című témakörben talál.

A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként egy üzembe helyezést korlátozunk munkaterületenként. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

A modellajánlatokra való feliratkozáshoz szükséges engedélyek

Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure-előfizetés tulajdonosi, közreműködői vagy Azure AI-fejlesztői szerepkörét. Másik lehetőségként a fiókhoz a következő engedélyekkel rendelkező egyéni szerepkör rendelhető hozzá:

• Az Azure-előfizetésben – a munkaterületnek az Azure Marketplace-ajánlatra való előfizetése érdekében, munkaterületenként egyszer, ajánlatonként:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Az erőforráscsoporton – az SaaS-erőforrás létrehozása és használata érdekében:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• A munkaterületen – végpontok üzembe helyezése érdekében (az Azure gépi tanulás adattudós szerepkör már tartalmazza ezeket az engedélyeket):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Az engedélyekről további információt az Azure gépi tanulás munkaterülethez való hozzáférés kezelése témakörnél talál.

Kapcsolódó tartalom

• Modell katalógus és gyűjtemények
• Üzembe helyezett kiszolgáló nélküli API-végpontok felhasználása egy másik munkaterületről