Modellek üzembe helyezése szervermentes API-telepítési módszerként

2025-06-21

Fontos

A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy bizonyos funkciók nem támogatottak, vagy korlátozott képességekkel rendelkeznek. További információkért lásd: Microsoft Azure Previews Kiegészítő Felhasználási Feltételek.

Ebből a cikkből megtudhatja, hogyan helyezhet üzembe egy Azure AI Foundry-modellt kiszolgáló nélküli API-üzemelő példányként. A modellkatalógus bizonyos modelljei kiszolgáló nélküli API-telepítésként telepíthetők. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

Bár a kiszolgáló nélküli API-telepítés az Azure AI Foundry-modellek üzembe helyezésének egyik lehetősége, javasoljuk, hogy telepítse az Öntödei modelleket az Azure AI Foundry-erőforrásokba.

Megjegyzés:

Javasoljuk, hogy az Azure AI Foundry-modelleket helyezze üzembe az Azure AI Foundry-erőforrásokban , hogy az erőforrásban lévő üzembe helyezéseket egyetlen végponton keresztül, ugyanazzal a hitelesítéssel és sémával használhassa fel a következtetés létrehozásához. A végpont az Azure AI Model Inference API-t követi, amelyet az összes Foundry-modell támogat. Ha tudni szeretné, hogyan helyezhet üzembe öntödei modellt az Azure AI Foundry-erőforrásokban, olvassa el a Modellek hozzáadása és konfigurálása az Azure AI Foundry-modellekhez című témakört.

Előfeltételek

Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .
Ha nem rendelkezik ilyen projektel, hozzon létre egy központi projektet.
Győződjön meg arról, hogy a Modellek üzembe helyezése az Azure AI Foundry-erőforrásokban (előzetes verzió) funkció ki van kapcsolva az Azure AI Foundry portálon. Ha ez a funkció be van kapcsolva, a szerver nélküli API-üzemelő példányok nem érhetők el a portálról.
A partnerektől és a közösségtől származó öntödei modelleknek hozzáférésre van szükségük az Azure Marketplace-hez, míg a közvetlenül az Azure által értékesített öntödei modellek nem rendelkeznek ezzel a követelménysel. Győződjön meg arról, hogy rendelkezik a modellajánlatokra való feliratkozáshoz szükséges engedélyekkel az Azure Marketplace-en.
Az Azure szerepköralapú hozzáférés-vezérlői (Azure RBAC) az Azure AI Foundry portálon végzett műveletekhez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. Az engedélyekről további információt az Azure AI Foundry portál szerepköralapú hozzáférés-vezérlésében talál.

Bármely kompatibilis webböngészővel navigálhat az Azure AI Foundryben.

A modell megkeresése a modellkatalógusban

Jelentkezzen be az Azure AI Foundrybe.
Ha még nem az adott projektben van, válassza ki.
Válassza a Modellkatalógus lehetőséget a bal oldali panelen.

Közvetlenül az Azure által értékesített modellek
Partnerektől és közösségtől származó modellek

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy DeepSeek-R1 modellt választ ki.
Válassza a Kiszolgáló nélküli API üzembe helyezési ablakának megnyitásához a Modell használata lehetőséget, ahol megtekintheti a Díjszabás és a Feltételek lapot.
Az üzembe helyezési varázslóban nevezze el az üzembe helyezést. A Tartalomszűrő (előzetes verzió) beállítás alapértelmezés szerint engedélyezve van. Hagyja meg a szolgáltatás alapértelmezett beállítását olyan káros tartalmak észlelésére, mint a gyűlölet, az önkárosítás, a szexuális és az erőszakos tartalmak. A tartalomszűrésről további információt az Azure AI Foundry portál tartalomszűrésében talál.

A modell üzembe helyezése kiszolgáló nélküli API-ra

Ebben a szakaszban egy végpontot hoz létre a modellhez.

Az üzembe helyezési varázslóban válassza az Üzembe helyezés lehetőséget. Várjon, amíg az üzembe helyezés készen áll, és a rendszer átirányítja a Telepítések oldalra.
A projektben üzembe helyezett végpontok megtekintéséhez a bal oldali panel Saját eszközök szakaszában válassza a Modellek + végpontok lehetőséget.
A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az adott végponthoz társított kulcsok lekéréséhez kövesse az alábbi lépéseket:
1. Válassza ki az üzembe helyezést, és jegyezze fel a végpont cél URI-ját és kulcsát.
2. Ezekkel a hitelesítő adatokkal meghívhatja az üzembe helyezést, és előrejelzéseket hozhat létre.
Ha ezt az üzembe helyezést egy másik projektből vagy központból kell felhasználnia, vagy intelligens alkalmazások létrehozásához a Prompt flow-t szeretné használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha meg szeretné tudni, hogyan konfigurálhat meglévő kiszolgáló nélküli API-üzemelő példányt egy új projekten vagy központban, olvassa el a Kiszolgáló nélküli API-üzemelő példány felhasználása másik projektből vagy a Prompt flow-ból.

Jótanács

Ha a Prompt flow-t ugyanabban a projektben vagy központban használja, ahol a telepítés megtörtént, akkor is létre kell hoznia a kapcsolatot.

Kiszolgáló nélküli API-telepítés használata

Az Azure Machine Learningben és az Azure AI Foundryben kiszolgáló nélküli API-környezetekben üzembe helyezett modellek támogatják az Azure AI Model Inference API-t , amely az alapszintű modellek általános képességeit teszi elérhetővé, és amelyeket a fejlesztők különböző modellek előrejelzéseinek egységes és konzisztens felhasználására használhatnak fel.

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.

Végpontok és előfizetések törlése

Jótanács

Mivel testre szabhatja a bal oldali panelt az Azure AI Foundry portálon, előfordulhat, hogy az alábbi lépéseknél eltérő elemek jelennek meg. Ha nem látja, hogy mit keres, válassza a ... Továbbiak a bal oldali panel alján.

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlése esetén a társított végpontok állapota nem megfelelő és használhatatlanná válik.

Kiszolgáló nélküli API-telepítés törlése:

Nyissa meg az Azure AI Foundryt.
Nyissa meg a projektet.
A Saját eszközök szakaszban válassza a Modellek + végpontok lehetőséget.
Nyissa meg a törölni kívánt üzembe helyezést.
Válassza a Törlés lehetőséget.

A társított modell-előfizetés törlése:

Nyissa meg a Azure Portal
Lépjen arra az erőforráscsoportra, amelyhez a projekt tartozik.
A Típus szűrőben válassza az SaaS lehetőséget.
Válassza ki a törölni kívánt előfizetést.
Válassza a Törlés lehetőséget.

Az Azure AI Foundry használatához telepítse az Azure CLI-t és az Azure Machine Learning ml-bővítményét.
```
az extension add -n ml
```
Ha már telepítve van a bővítmény, győződjön meg arról, hogy a legújabb verzió van telepítve.
```
az extension update -n ml
```
A bővítmény telepítése után konfigurálja a következőt:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```

A modell megkeresése a modellkatalógusban

Jelentkezzen be az Azure AI Foundrybe.
Ha még nem az adott projektben van, válassza ki.
Válassza a Modellkatalógus lehetőséget a bal oldali panelen.

Közvetlenül az Azure által értékesített modellek
Partnerektől és közösségtől származó modellek

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy DeepSeek-R1 modellt választ ki.
Másolja a modellazonosítót a modellverzió nélkül, mivel a kiszolgáló nélküli API-üzemelő példányok mindig a modell legújabb elérhető verzióját helyezik üzembe. Például a modellazonosítóhoz azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1 másolja azureml://registries/azureml-deepseek/models/DeepSeek-R1.

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben a Cohere-command-r-08-2024 lehetőséget választja.

Megjegyzés:

A partnerektől és a közösségtől származó modellek az Azure Marketplace-en keresztül érhetők el. Ezekben a modellekben győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Fejlesztői szerepkör engedélyeivel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek, mivel a projektnek elő kell fizetnie az adott modellajánlatra.
Másolja a modellazonosítót a modellverzió nélkül, mivel a kiszolgáló nélküli API-üzemelő példányok mindig a modell legújabb elérhető verzióját helyezik üzembe. Például a modellazonosítóhoz azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1 másolja azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

A partnerektől és a közösségtől származó modellekhez, például a Cohere-command-r-08-2024-hez, az üzembe helyezésük előtt létre kell hoznia egy előfizetést. Ha először helyezi üzembe a modellt a projektben, elő kell fizetnie a projektet az adott modellajánlatra az Azure Marketplace-ről. Minden projekt saját előfizetéssel rendelkezik a modell adott Azure Marketplace-ajánlatához, amely lehetővé teszi a költségek szabályozását és monitorozását. Miután előfizetett egy projektet az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezése ugyanabban a projektben nem igényel újra előfizetést.

Ezenkívül az Azure Marketplace-en keresztül kínált modellek elérhetők a kiszolgáló nélküli API-k adott régiókban történő üzembe helyezéséhez. Ellenőrizze a kiszolgáló nélküli üzembe helyezéshez támogatott régiókat az adott modell elérhető régióinak ellenőrzéséhez. Ha az a régió, amelyben a projekt található, nem szerepel a listán, üzembe helyezhet egy támogatott régióban lévő projektet, majd használhat kiszolgáló nélküli API-telepítést egy másik projektből.

Hozza létre a modell marketplace-előfizetését. Előfizetés létrehozásakor elfogadja a modellajánlathoz kapcsolódó feltételeket.

subscription.yml
```
name: Cohere-command-r-08-2024-qwerty
model_id: azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024
```
Az előfizetés létrehozásához használja az előző fájlt:
```
az ml marketplace-subscription create -f subscription.yml
```
(Nem kötelező) Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a projekt jelenleg előfizetett:
```
az ml marketplace-subscription list
```

A cikk jelen szakaszában szereplő lépések a DeepSeek-R1 modellt használják illusztrációként. A lépések ugyanazok, függetlenül attól, hogy az Azure által közvetlenül értékesített Foundry modelleket vagy a partnerektől és a közösségtől származó Foundry modelleket használja. Ha például a Cohere-command-r-08-2024 modell üzembe helyezését választja, a kódrészletekben szereplő modell hitelesítő adatait lecserélheti a Cohere hitelesítő adataira.

A modell üzembe helyezése kiszolgáló nélküli API-ra

Ebben a szakaszban egy végpontot hoz létre a modellhez. Adja a végpontnak a DeepSeek-R1-qwerty nevet.

Hozza létre a kiszolgáló nélküli végpontot.

endpoint.yml

name: DeepSeek-R1-qwerty
model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1

A végpont létrehozásához használja a endpoint.yml fájlt:

az ml serverless-endpoint create -f endpoint.yml

Bármikor láthatja a projektben üzembe helyezett végpontokat:
```
az ml serverless-endpoint list
```
A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az alábbi lépésekkel lekérheti az adott végponthoz társított kulcsokat.
```
az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty
```
Ha ezt az üzembe helyezést egy másik projektből vagy központból kell felhasználnia, vagy intelligens alkalmazások létrehozásához a Prompt flow-t szeretné használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha meg szeretné tudni, hogyan konfigurálhat meglévő kiszolgáló nélküli API-üzemelő példányt egy új projekten vagy központban, olvassa el a Kiszolgáló nélküli API-üzemelő példány felhasználása másik projektből vagy a Prompt flow-ból.

Jótanács

Ha a Prompt flow-t ugyanabban a projektben vagy központban használja, ahol a telepítés megtörtént, akkor is létre kell hoznia a kapcsolatot.

Kiszolgáló nélküli API-telepítés használata

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.

Végpontok és előfizetések törlése

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlése esetén a társított végpontok állapota nem megfelelő és használhatatlanná válik.

Kiszolgáló nélküli API-telepítés törlése:

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

A társított modell-előfizetés törlése:

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

Az Azure AI Foundry használatához telepítse a Pythonhoz készült Azure Machine Learning SDK-t.

pip install -U azure-ai-ml

A telepítés után importálja a szükséges névtereket, és hozzon létre egy, a projekthez csatlakoztatott ügyfelet:

from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)

A modell megkeresése a modellkatalógusban

Jelentkezzen be az Azure AI Foundrybe.
Ha még nem az adott projektben van, válassza ki.
Válassza a Modellkatalógus lehetőséget a bal oldali panelen.

Közvetlenül az Azure által értékesített modellek
Partnerektől és közösségtől származó modellek

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy DeepSeek-R1 modellt választ ki.
Másolja a modellazonosítót a modellverzió nélkül, mivel a kiszolgáló nélküli API-üzemelő példányok mindig a modell legújabb elérhető verzióját helyezik üzembe. Például a modellazonosítóhoz azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1 másolja azureml://registries/azureml-deepseek/models/DeepSeek-R1.

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben a Cohere-command-r-08-2024 lehetőséget választja.

Megjegyzés:

A partnerektől és a közösségtől származó modellek az Azure Marketplace-en keresztül érhetők el. Ezekben a modellekben győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Fejlesztői szerepkör engedélyeivel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek, mivel a projektnek elő kell fizetnie az adott modellajánlatra.
Másolja a modellazonosítót a modellverzió nélkül, mivel a kiszolgáló nélküli API-üzemelő példányok mindig a modell legújabb elérhető verzióját helyezik üzembe. Például a modellazonosítóhoz azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1 másolja azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

Hozza létre a modell marketplace-előfizetését. Előfizetés létrehozásakor elfogadja a modellajánlathoz kapcsolódó feltételeket.

model_id="azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024"
subscription_name="Cohere-command-r-08-2024"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

(Nem kötelező) Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a projekt jelenleg előfizetett:

marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())

A modell üzembe helyezése kiszolgáló nélküli API-ra

Ebben a szakaszban egy végpontot hoz létre a modellhez. Adja a végpontnak a DeepSeek-R1-qwerty nevet.

Hozza létre a kiszolgáló nélküli végpontot.

endpoint_name="DeepSeek-R1-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Bármikor láthatja a projektben üzembe helyezett végpontokat:

endpoint_name="DeepSeek-R1-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Az alábbi lépésekkel lekérheti az adott végponthoz társított kulcsokat.
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Ha ezt az üzembe helyezést egy másik projektből vagy központból kell felhasználnia, vagy intelligens alkalmazások létrehozásához a Prompt flow-t szeretné használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha meg szeretné tudni, hogyan konfigurálhat meglévő kiszolgáló nélküli API-üzemelő példányt egy új projekten vagy központban, olvassa el a Kiszolgáló nélküli API-üzemelő példány felhasználása másik projektből vagy a Prompt flow-ból.

Jótanács

Ha a Prompt flow-t ugyanabban a projektben vagy központban használja, ahol a telepítés megtörtént, akkor is létre kell hoznia a kapcsolatot.

Kiszolgáló nélküli API-telepítés használata

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.

Végpontok és előfizetések törlése

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlése esetén a társított végpontok állapota nem megfelelő és használhatatlanná válik.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

A társított modell-előfizetés törlése:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Az Azure AI Foundry használatához telepítse az Azure CLI-t az Azure CLI-ben leírtak szerint.

Konfigurálja a következő környezeti változókat a beállításoknak megfelelően:
```
RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2" 
```

A modell megkeresése a modellkatalógusban

Jelentkezzen be az Azure AI Foundrybe.
Ha még nem az adott projektben van, válassza ki.
Válassza a Modellkatalógus lehetőséget a bal oldali panelen.

Közvetlenül az Azure által értékesített modellek
Partnerektől és közösségtől származó modellek

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben egy DeepSeek-R1 modellt választ ki.
Másolja a modellazonosítót a modellverzió nélkül, mivel a kiszolgáló nélküli API-üzemelő példányok mindig a modell legújabb elérhető verzióját helyezik üzembe. Például a modellazonosítóhoz azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1 másolja azureml://registries/azureml-deepseek/models/DeepSeek-R1.

Válassza ki az üzembe helyezni kívánt modell modellkártyáját. Ebben a cikkben a Cohere-command-r-08-2024 lehetőséget választja.

Megjegyzés:

A partnerektől és a közösségtől származó modellek az Azure Marketplace-en keresztül érhetők el. Ezekben a modellekben győződjön meg arról, hogy a fiókja rendelkezik az Azure AI Fejlesztői szerepkör engedélyeivel az erőforráscsoporton, vagy hogy megfelel-e a modellajánlatokra való feliratkozáshoz szükséges engedélyeknek, mivel a projektnek elő kell fizetnie az adott modellajánlatra.
Másolja a modellazonosítót a modellverzió nélkül, mivel a kiszolgáló nélküli API-üzemelő példányok mindig a modell legújabb elérhető verzióját helyezik üzembe. Például a modellazonosítóhoz azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1 másolja azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

Modell-előfizetés létrehozásához használja az alábbi bicep-konfigurációt. Előfizetés létrehozásakor elfogadja a modellajánlathoz kapcsolódó feltételeket.

model-subscription.bicep

param projectName string = 'my-project'
param modelId string = 'azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
  modelId,
  'azureml://registries/azureml/'
)) {
  name: '${projectName}/${subscriptionName}'
  properties: {
    modelId: modelId
  }
}

Ezután hozza létre az erőforrást az alábbiak szerint:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

(Nem kötelező) Bármikor megtekintheti azokat a modellajánlatokat, amelyekre a projekt jelenleg előfizetett. Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

A modell üzembe helyezése kiszolgáló nélküli API-ra

Ebben a szakaszban egy végpontot hoz létre a modellhez. Nevezze el az myserverless-text-1234ss végpontot.

Hozza létre a kiszolgáló nélküli végpontot. Hozzon létre egy végpontot a következő sablonnal:

kiszolgáló nélküli endpoint.bicep

param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri

Hozza létre az üzembe helyezést az alábbiak szerint:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Bármikor láthatja a projektben üzembe helyezett végpontokat:

Az erőforrás-kezelési eszközökkel lekérdezheti az erőforrásokat. A következő kód az Azure CLI-t használja:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
A létrehozott végpont kulcshitelesítést használ az engedélyezéshez. Kérje le az adott végponthoz társított kulcsokat REST API-k használatával az információk lekérdezéséhez.
Ha ezt az üzembe helyezést egy másik projektből vagy központból kell felhasználnia, vagy intelligens alkalmazások létrehozásához a Prompt flow-t szeretné használni, létre kell hoznia egy kapcsolatot a kiszolgáló nélküli API-telepítéssel. Ha meg szeretné tudni, hogyan konfigurálhat meglévő kiszolgáló nélküli API-üzemelő példányt egy új projekten vagy központban, olvassa el a Kiszolgáló nélküli API-üzemelő példány felhasználása másik projektből vagy a Prompt flow-ból.

Jótanács

Ha a Prompt flow-t ugyanabban a projektben vagy központban használja, ahol a telepítés megtörtént, akkor is létre kell hoznia a kapcsolatot.

Kiszolgáló nélküli API-telepítés használata

Tudjon meg többet az API képességeiről, és arról, hogyan használhatja az alkalmazásokat az alkalmazások létrehozásakor.

Végpontok és előfizetések törlése

A modell-előfizetéseket és -végpontokat törölheti. A modell-előfizetés törlése esetén a társított végpontok állapota nem megfelelő és használhatatlanná válik.

Az erőforrás-kezelési eszközökkel kezelheti az erőforrásokat. A következő kód az Azure CLI-t használja:

az resource delete --name <resource-name>

Az Öntödei modellek költség- és kvótaalapú szempontjai a kiszolgáló nélküli API-alkalmazásként történő üzembe helyezéssel kapcsolatosan.

A kvóta kezelése újratelepítésenként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Emellett jelenleg modellenként egy üzembe helyezést korlátozunk projektenként. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

A közvetlenül az Azure által értékesített modellek díjszabási információi a Kiszolgáló nélküli API üzembe helyezésiablakÁnak Díjszabás és feltételek lapján találhatók.
A partnerektől és a közösségtől származó modellek az Azure Marketplace-en keresztül érhetők el, és az Azure AI Foundryvel integrálva használhatók. A modellek üzembe helyezésekor vagy finomhangolásakor megtalálja az Azure Marketplace díjszabását. Minden alkalommal, amikor egy projekt feliratkozik egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez és finomhangoláshoz kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez. A költségek nyomon követéséről további információt az Azure Marketplace-en keresztül kínált modellek költségeinek monitorozása című témakörben talál.

Az Azure szerepköralapú hozzáférés-vezérlői (Azure RBAC) az Azure AI Foundry portálon végzett műveletekhez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure-előfizetés tulajdonosi, közreműködői vagy Azure AI-fejlesztői szerepkörét. Másik lehetőségként a fiókhoz a következő engedélyekkel rendelkező egyéni szerepkör rendelhető hozzá:

Az Azure-előfizetés keretében – minden munkaterületet egyszer elő kell fizetni az Azure Marketplace kínálatára, ajánlatonként külön:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Az erőforráscsoporton – az SaaS-erőforrás létrehozása és használata érdekében:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
A munkaterületen – végpontok üzembe helyezése érdekében (az Azure gépi tanulás adattudós szerepkör már tartalmazza ezeket az engedélyeket):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Az engedélyekről további információt az Azure AI Foundry portál szerepköralapú hozzáférés-vezérlésében talál.

Megosztás a következőn keresztül:

Modellek üzembe helyezése szervermentes API-telepítési módszerként

Előfeltételek

A modell megkeresése a modellkatalógusban

A modell üzembe helyezése kiszolgáló nélküli API-ra

Kiszolgáló nélküli API-telepítés használata

Végpontok és előfizetések törlése

A modell megkeresése a modellkatalógusban

A modell üzembe helyezése kiszolgáló nélküli API-ra

Kiszolgáló nélküli API-telepítés használata

Végpontok és előfizetések törlése

A modell megkeresése a modellkatalógusban

A modell üzembe helyezése kiszolgáló nélküli API-ra

Kiszolgáló nélküli API-telepítés használata

Végpontok és előfizetések törlése

A modell megkeresése a modellkatalógusban

A modell üzembe helyezése kiszolgáló nélküli API-ra

Kiszolgáló nélküli API-telepítés használata

Végpontok és előfizetések törlése

Az Öntödei modellek költség- és kvótaalapú szempontjai a kiszolgáló nélküli API-alkalmazásként történő üzembe helyezéssel kapcsolatosan.

A modellajánlatokra való feliratkozáshoz szükséges engedélyek

Kapcsolódó tartalom

Visszajelzés

További források