Modellek üzembe helyezése kiszolgáló nélküli API-kként

Ebben a cikkben megtudhatja, hogyan helyezhet üzembe egy modellt a modellkatalógusból kiszolgáló nélküli API-ként használatalapú jogkivonatalapú számlázással.

Fontos

Az előzetes verzióban lévő modelleket a modellkatalógusban a modellkártyákon előnézetként jelölik meg.

A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-ként használatalapú számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Ez a cikk egy Meta Llama-modell üzembe helyezését használja illusztrációként. Ugyanezekkel a lépésekkel azonban üzembe helyezheti a modellkatalógusban a kiszolgáló nélküli API üzembe helyezéséhez elérhető modelleket.

Előfeltételek

• Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .

• Egy Azure AI Studio-központ.

• Egy Azure AI Studio-projekt.

• Az Azure szerepköralapú hozzáférés-vezérlései (Azure RBAC) az Azure AI Studióban végzett műveletekhez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. Az engedélyekről további információt az Azure AI Studio szerepköralapú hozzáférés-vezérlésében talál.

• Az Azure AI Studio használatához telepítenie kell a következő szoftvert:

  AI Studio

  Bármely kompatibilis webböngészővel navigálhat az Azure AI Studióban.

  Azure CLI

  Az Azure CLI és az Azure Machine Learning ml-bővítménye.

  az extension add -n ml
  

  Ha már telepítve van a bővítmény, győződjön meg arról, hogy a legújabb verzió van telepítve.

  az extension update -n ml
  

  A bővítmény telepítése után konfigurálja a következőt:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python

  Telepítse a Pythonhoz készült Azure Machine Learning SDK-t.

  pip install -U azure-ai-ml
  

  A telepítés után importálja a szükséges névtereket, és hozzon létre egy, a projekthez csatlakoztatott ügyfelet:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

  Bicep

  Telepítse az Azure CLI-t az Azure CLI-ben leírtak szerint.

  Konfigurálja a következő környezeti változókat a beállításoknak megfelelően:

  RESOURCE_GROUP="serverless-models-dev"
  LOCATION="eastus2" 
  

  KAR

  Bármilyen kompatibilis webböngészővel üzembe helyezhet ARM-sablonokat a Microsoft Azure Portalon, vagy használhatja az üzembehelyezési eszközöket. Ez az oktatóanyag az Azure CLI-t használja.

A modell és a modellazonosító megkeresése a modellkatalógusban

1. Jelentkezzen be az Azure AI Studióba.

2. Az Azure Marketplace-en keresztül kínált modellek esetében győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Developer szerepkörrel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek.

   A nem Microsoft-szolgáltatók által kínált modellek (például Láma- és Mistral-modellek) számlázása az Azure Marketplace-en keresztül történik. Ilyen modellek esetén elő kell fizetnie a projektet az adott modellajánlatra. A Microsoft által kínált modellek (például Phi-3 modellek) nem rendelkeznek ezzel a követelménysel, mivel a számlázás másképp történik. A modellek kiszolgáló nélküli üzembe helyezésének számlázásáról a modellkatalógusban a kiszolgáló nélküli API-k számlázása című témakörben olvashat.

3. A bal oldali oldalsávon válassza a Modellkatalógus lehetőséget, és keresse meg az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy Meta-Llama-3-8B-Instruct modellt választ ki.

   1. Ha a modellt az Azure CLI, a Python vagy az ARM használatával helyezi üzembe, másolja ki a modell azonosítóját.

      Fontos

      A modellazonosító másolásakor ne adja meg a verziót. A kiszolgáló nélküli API-végpontok mindig a modell legújabb elérhető verzióját telepítik. Például a modellazonosítóhoz azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3másolja a vágólapra azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

A következő szakasz a projekt modellajánlatra való felosztásának lépéseit ismerteti. Ha Microsoft-modellt helyez üzembe, kihagyhatja ezt a szakaszt, és a modell kiszolgáló nélküli API-végponton való üzembe helyezéséhez léphet.

A projekt előfizetése a modellajánlatra

A kiszolgáló nélküli API-végpontok a Microsoft és a nem Microsoft által kínált modelleket is üzembe helyezhetik. Microsoft-modellek (például Phi-3-modellek) esetében nem kell Azure Marketplace-előfizetést létrehoznia, és közvetlenül a kiszolgáló nélküli API-végpontokon is üzembe helyezheti őket az előrejelzések felhasználásához. Nem Microsoft-modellek esetén először létre kell hoznia az előfizetést. Ha először helyezi üzembe a modellt a projektben, az Azure Marketplace-ről elő kell fizetnie a projektet az adott modellajánlatra. Minden projekt saját előfizetéssel rendelkezik a modell adott Azure Marketplace-ajánlatához, amely lehetővé teszi a költségek szabályozását és monitorozását.

Tipp.

Hagyja ki ezt a lépést, ha modelleket helyez üzembe a Phi-3 modellcsaládból. A modell közvetlen üzembe helyezése kiszolgáló nélküli API-végponton.

Feljegyzés

Az Azure Marketplace-en keresztül kínált modellek a kiszolgáló nélküli API-végpontokon való üzembe helyezéshez érhetők el adott régiókban. Ellenőrizze a kiszolgáló nélküli API-üzemelő példányok modell- és régió-elérhetőségét annak ellenőrzéséhez, hogy mely modellek és régiók érhetők el. Ha a szükséges nem szerepel a listában, egy támogatott régióban lévő munkaterületen telepítheti, majd használhat kiszolgáló nélküli API-végpontokat egy másik munkaterületről.

1. Hozza létre a modell marketplace-előfizetését. Előfizetés létrehozásakor elfogadja a modellajánlathoz tartozó feltételeket és feltételeket.

   AI Studio

   1. A modell Részletek lapján válassza az Üzembe helyezés lehetőséget. Ekkor megnyílik egy üzembe helyezési lehetőségek ablaka, amely lehetővé teszi a kiszolgáló nélküli API üzembe helyezése és a felügyelt számítással történő üzembe helyezés közötti választást.

      Feljegyzés

      Az olyan modellek esetében, amelyek csak kiszolgáló nélküli API-telepítéssel telepíthetők, a kiszolgáló nélküli API központi telepítési varázslója közvetlenül azután nyílik meg, hogy a modell részletes lapján az Üzembe helyezés lehetőséget választja.

   2. Válassza a Kiszolgáló nélküli API-t az Azure AI Content Safety (előzetes verzió) használatával a kiszolgáló nélküli API üzembe helyezési varázslójának megnyitásához.

   3. Válassza ki azt a projektet, amelyben üzembe szeretné helyezni a modelleket. A kiszolgáló nélküli API-modell üzembe helyezési ajánlatának használatához a projektnek az adott modell kiszolgáló nélküli üzembe helyezéséhez támogatott régiók egyikéhez kell tartoznia.

      

   4. Ha azt a megjegyzést látja, hogy már rendelkezik Azure Marketplace-előfizetéssel ehhez a projekthez, nem kell létrehoznia az előfizetést, mivel már rendelkezik ilyen előfizetéssel. Folytathatja a modell kiszolgáló nélküli API-végponton való üzembe helyezését.

   5. Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről. A kiválasztott modell díjszabásáról a Díjszabás és a feltételek lapon is tájékozódhat.

   6. Válassza a Feliratkozás és üzembe helyezés lehetőséget.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Az előfizetés létrehozásához használja az előző fájlt:

   az ml marketplace-subscription create -f subscription.yml
   

   Python

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   Bicep

   Modell-előfizetés létrehozásához használja a következő bicep-konfigurációt:

   model-subscription.bicep

   param projectName string = 'my-project'
   param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   var subscriptionName = '${modelName}-subscription'
   
   resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
     modelId,
     'azureml://registries/azureml/'
   )) {
     name: '${projectName}/${subscriptionName}'
     properties: {
       modelId: modelId
     }
   }
   

   Ezután hozza létre az erőforrást az alábbiak szerint:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

   KAR

   Modell-előfizetés létrehozásához használja az alábbi sablont:

   model-subscription.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

   Az üzembe helyezés létrehozásához használja az Azure Portalt vagy az Azure CLI-t.

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.json
   

2. Miután előfizetett a projektre az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezése ugyanabban a projektben nem igényel újra előfizetést.

3. Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a projekt jelenleg előfizetett:

   AI Studio

   1. Nyissa meg az Azure Portalt.

   2. Lépjen arra az erőforráscsoportra, amelyhez a projekt tartozik.

   3. A Típus szűrőben válassza az SaaS lehetőséget.

   4. Láthatja az összes ajánlatot, amelyre jelenleg előfizetett.

   5. Válassza ki bármelyik erőforrást a részletek megtekintéséhez.

   Azure CLI

   az ml marketplace-subscription list
   

   Python

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   Bicep

   Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

   KAR

   Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

A modell üzembe helyezése kiszolgáló nélküli API-végponton

Miután létrehozott egy előfizetést egy nem Microsoft-modellhez, üzembe helyezheti a társított modellt egy kiszolgáló nélküli API-végponton. Microsoft-modellek (például Phi-3-modellek) esetén nem kell előfizetést létrehoznia.

A kiszolgáló nélküli API-végpont lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemeltetné őket, miközben a vállalati biztonsági és megfelelőségi szervezeteknek is szükségük van rájuk. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Ebben a szakaszban egy meta-llama3-8b-qwerty nevű végpontot hoz létre.

1. Kiszolgáló nélküli végpont létrehozása

   AI Studio

   1. Olyan Microsoft-modell üzembe helyezése, amely nem igényel előfizetést egy modellajánlatra:

      1. Válassza az Üzembe helyezés lehetőséget, majd válassza a Kiszolgáló nélküli API-t az Azure AI Content Safety (előzetes verzió) használatával az üzembe helyezési varázsló megnyitásához.
      2. Válassza ki azt a projektet, amelyben üzembe szeretné helyezni a modellt. Figyelje meg, hogy nem minden régió támogatott.

   2. Másik lehetőségként, ha nem Microsoft-modellhez van szükség modell-előfizetésre, ha az előző szakaszban előfizetett a projektre, válassza az Üzembe helyezés lehetőséget. Másik lehetőségként válassza az Üzembe helyezés folytatása lehetőséget (ha az üzembe helyezési varázslóban szerepel az a megjegyzés , hogy Már rendelkezik Azure Marketplace-előfizetéssel ehhez a projekthez).

      

   3. Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.

      

      Tipp.

      A Tartalomszűrő (előzetes verzió) beállítás alapértelmezés szerint engedélyezve van. Hagyja meg a szolgáltatás alapértelmezett beállítását olyan káros tartalmak észlelésére, mint a gyűlölet, az önkárosítás, a szexuális és az erőszakos tartalmak. A tartalomszűrésről (előzetes verzió) további információt az Azure AI Studio tartalomszűrésében talál.

   4. Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés készen áll, és a rendszer átirányítja a Központi telepítések lapra.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   A végpont létrehozásához használja a endpoint.yml fájlt:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   Bicep

   Hozzon létre egy végpontot a következő sablonnal:

   kiszolgáló nélküli-endpoint.bicep

   param projectName string = 'my-project'
   param endpointName string = 'myserverless-text-1234ss'
   param location string = resourceGroup().location
   param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   var subscriptionName = '${modelName}-subscription'
   
   resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
     name: '${projectName}/${endpointName}'
     location: location
     sku: {
       name: 'Consumption'
     }
     properties: {
       modelSettings: {
         modelId: modelId
       }
     }
     dependsOn: [
       projectName_subscription
     ]
   }
   
   output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
   

   Hozza létre az üzembe helyezést az alábbiak szerint:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

   KAR

   Hozzon létre egy végpontot a következő sablonnal:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Ezután hozza létre az üzembe helyezést:

   az deployment group create \
       --resource-group $RESOURCE_GROUP \
       --template-file template.json
   

   Az Azure-beli üzembehelyezési sablon végrehajtása eltarthat néhány percig. Amikor befejeződik, megjelenik egy üzenet, amely tartalmazza az eredményt:

   "provisioningState": "Succeeded",
   

2. Bármikor láthatja a projektben üzembe helyezett végpontokat:

   AI Studio

   1. Nyissa meg a projektet.

   2. Válassza ki az Üzemelő példányok szakaszt

   3. Kiszolgáló nélküli API-végpontok jelennek meg.

   Azure CLI

   az ml serverless-endpoint list
   

   Python

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   Bicep

   Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

   KAR

   Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az alábbi lépésekkel lekérheti az adott végponthoz társított kulcsokat.

   AI Studio

   Visszatérhet a Központi telepítések lapra, kiválaszthatja az üzembe helyezést, és megfigyelheti a végpont cél URI-ját és kulcsát. Ezekkel meghívhatja az üzembe helyezést, és előrejelzéseket hozhat létre.

   Feljegyzés

   Az Azure Portal használatakor a kiszolgáló nélküli API-végpontok alapértelmezés szerint nem jelennek meg az erőforráscsoporton. A Rejtett típusok megjelenítése beállítással megjelenítheti őket az erőforráscsoportban.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   Bicep

   A REST API-k használatával kérdezheti le ezeket az információkat.

   KAR

   A REST API-k használatával kérdezheti le ezeket az információkat.

4. Ezen a ponton a végpont készen áll a használatra.

5. Ha ezt az üzembe helyezést egy másik projektből vagy központból kell felhasználnia, vagy intelligens alkalmazások létrehozásához parancssori folyamatot szeretne használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha tudni szeretné, hogyan konfigurálhat meglévő kiszolgáló nélküli API-végpontot egy új projekten vagy központon, olvassa el az üzembe helyezett kiszolgáló nélküli API-végpontok felhasználása egy másik projektből vagy a parancssori folyamatból.

   Tipp.

   Ha a parancssori folyamatot ugyanabban a projektben vagy központban használja, ahol az üzembe helyezést üzembe helyezték, akkor is létre kell hoznia a kapcsolatot.

A kiszolgáló nélküli API-végpont használata

Az Azure Machine Learningben és az Azure AI Studióban kiszolgáló nélküli API-végpontokon üzembe helyezett modellek támogatják az Azure AI Model Inference API-t , amely az alapszintű modellek általános képességeit teszi elérhetővé, és amelyeket a fejlesztők különböző modellek előrejelzéseinek egységes és egységes felhasználására használhatnak fel.

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.

Hálózati elkülönítés

A kiszolgáló nélküli API-ként üzembe helyezett modellek végpontjai a központi telepítést tartalmazó AI Studio Hub nyilvános hálózati hozzáférési (PNA) jelölőbeállítását követik. A MaaS-végpont védelméhez tiltsa le a PNA jelzőt az AI Studio Hubon. Az ügyfél és a végpont közötti bejövő kommunikáció biztonságossá tételéhez használjon privát végpontot a központ számára.

Az Azure AI Studio Hub PNA-jelzőjének beállítása:

1. Nyissa meg az Azure Portalt.
2. Keresse meg azt az erőforráscsoportot, amelyhez a központ tartozik, és válassza ki az Azure AI Hubot az erőforráscsoporthoz tartozó erőforrások közül.
3. A bal oldali menü Központi áttekintés lapján válassza a Beállítások>hálózatkezelés lehetőséget.
4. A Nyilvános hozzáférés lapon konfigurálhatja a nyilvános hálózati hozzáférési jelző beállításait.
5. Mentse a módosításokat. A módosítások propagálása akár öt percet is igénybe vehet.

Végpontok és előfizetések törlése

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlése esetén a társított végpontok állapota nem megfelelő és használhatatlanná válik.

AI Studio

Kiszolgáló nélküli API-végpont törlése:

1. Nyissa meg az Azure AI Studiót.

2. Nyissa meg az Összetevők telepítések>elemet.

3. Nyissa meg a törölni kívánt üzembe helyezést.

4. Válassza a Törlés lehetőséget.

A társított modell-előfizetés törlése:

1. Nyissa meg az Azure Portalt

2. Lépjen arra az erőforráscsoportra, amelyhez a projekt tartozik.

3. A Típus szűrőben válassza az SaaS lehetőséget.

4. Válassza ki a törölni kívánt előfizetést.

5. Válassza a Törlés lehetőséget.

Azure CLI

Kiszolgáló nélküli API-végpont törlése:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

A társított modell-előfizetés törlése:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python

Kiszolgáló nélküli API-végpont törlése:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

A társított modell-előfizetés törlése:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Bicep

Az erőforrás-kezelési eszközökkel kezelheti az erőforrásokat. A következő kód az Azure CLI-t használja:

az resource delete --name <resource-name>

KAR

Az erőforrás-kezelési eszközökkel kezelheti az erőforrásokat. A következő kód az Azure CLI-t használja:

az resource delete --name <resource-name>

A kiszolgáló nélküli API-végpontként üzembe helyezett modellek költség- és kvótaalapú szempontjai

A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként és projektenként csak egy telepítésre van lehetőség. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

A Microsoft-modellek költsége

A microsoftos modellek (például Phi-3-modellek) kiszolgáló nélküli API-végpontokként való üzembe helyezésekor az üzembe helyezési varázsló Díjszabás és feltételek lapján találja meg a díjszabással kapcsolatos információkat.

Nem Microsoft-modellek költsége

A kiszolgáló nélküli API-végpontként üzembe helyezett nem Microsoft-modellek az Azure Marketplace-en keresztül érhetők el, és az Azure AI Studióval integrálva használhatók. A modellek üzembe helyezésekor vagy finomhangolásakor megtalálja az Azure Marketplace díjszabását.

Minden alkalommal, amikor egy projekt előfizet egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez és finomhangoláshoz kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.

A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.

A modellajánlatokra való feliratkozáshoz szükséges engedélyek

Az Azure szerepköralapú hozzáférés-vezérlései (Azure RBAC) az Azure AI Studióban végzett műveletekhez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure-előfizetés tulajdonosi, közreműködői vagy Azure AI-fejlesztői szerepkörét. Másik lehetőségként a fiókhoz a következő engedélyekkel rendelkező egyéni szerepkör rendelhető hozzá:

• Az Azure-előfizetésben – a munkaterületnek az Azure Marketplace-ajánlatra való előfizetése érdekében, munkaterületenként egyszer, ajánlatonként:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Az erőforráscsoporton – az SaaS-erőforrás létrehozása és használata érdekében:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• A munkaterületen – végpontok üzembe helyezése érdekében (az Azure gépi tanulás adattudós szerepkör már tartalmazza ezeket az engedélyeket):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Az engedélyekről további információt az Azure AI Studio szerepköralapú hozzáférés-vezérlésében talál.

Kapcsolódó tartalom

• Régió rendelkezésre állása modellekhez kiszolgáló nélküli API-végpontokon
• Meta Llama 2-modell finomhangolása az Azure AI Studióban