Modellen implementeren als serverloze API-implementaties

2025-06-21

Belangrijk

Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Bepaalde functies worden mogelijk niet ondersteund of hebben mogelijk beperkte mogelijkheden. Voor meer informatie, zie Aanvullende Gebruiksvoorwaarden voor Microsoft Azure Previews.

In dit artikel leert u hoe u een Azure AI Foundry-model implementeert als een serverloze API-implementatie. Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als een serverloze API-implementatie. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

Hoewel serverloze API-implementatie één optie is voor het implementeren van Azure AI Foundry-modellen, raden we u aan Foundry-modellen te implementeren in Azure AI Foundry-resources.

Opmerking

U wordt aanbevolen Azure AI Foundry-modellen te implementeren in Azure AI Foundry-resources, zodat u uw implementaties in de resource kunt gebruiken via één eindpunt met dezelfde authenticatie en hetzelfde schema om inference te genereren. Het eindpunt volgt de Azure AI-modeldeductie-API die alle Foundry Models ondersteunt. Zie Modellen toevoegen en configureren voor Azure AI Foundry-modellen voor meer informatie over het implementeren van een Foundry-model in de Azure AI Foundry-resources.

Vereiste voorwaarden

Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .
Als u er nog geen hebt, maakt u een op een hub gebaseerd project.
Zorg ervoor dat de functie Modellen implementeren in Azure AI Foundry-resources (preview) is uitgeschakeld in de Azure AI Foundry-portal. Wanneer deze functie is ingeschakeld, zijn serverloze API-implementaties niet beschikbaar vanuit de portal.
Foundry-modellen van partners en community hebben toegang nodig tot Azure Marketplace, terwijl Foundry-modellen die rechtstreeks door Azure worden verkocht, niet deze vereiste hebben. Zorg ervoor dat u over de vereiste machtigingen beschikt om u te abonneren op modelaanbiedingen in Azure Marketplace.
Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in de Azure AI Foundry-portal. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de Azure AI Developer-rol voor de resourcegroep zijn toegewezen. Zie op rollen gebaseerd toegangsbeheer in de Azure AI Foundry-portal voor meer informatie over machtigingen.

U kunt elke compatibele webbrowser gebruiken om door Azure AI Foundry te navigeren.

Uw model zoeken in de modelcatalogus

Meld u aan bij Azure AI Foundry.
Als u nog niet in uw project bent, selecteert u het.
Selecteer modelcatalogus in het linkerdeelvenster.

Modellen die rechtstreeks door Azure worden verkocht
Modellen van Partners en Gemeenschap

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een DeepSeek-R1-model .
Selecteer Dit model gebruiken om het venster Serverloze API-implementatie te openen, waar u het tabblad Prijzen en voorwaarden kunt bekijken.
Geef in de implementatiewizard de naam van de implementatie. De optie Inhoudsfilter (preview) is standaard ingeschakeld. Laat de standaardinstelling voor de service staan om schadelijke inhoud te detecteren, zoals haat, zelfbeschadiging, seksuele en gewelddadige inhoud. Zie Inhoudsfiltering in de Azure AI Foundry-portal voor meer informatie over het filteren van inhoud.

Het model implementeren in een serverloze API

In deze sectie maakt u een eindpunt voor uw model.

Selecteer Implementeren in de implementatiewizard. Wacht totdat de implementatie gereed is en u wordt omgeleid naar de pagina Implementaties.
Als u de eindpunten wilt zien die in uw project zijn geïmplementeerd, selecteert u modellen en eindpunten in het gedeelte Mijn assets in het linkerdeelvenster.
Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Volg deze stappen om de sleutels op te halen die zijn gekoppeld aan een bepaald eindpunt:
1. Selecteer de implementatie en noteer de doel-URI en sleutel van het eindpunt.
2. Gebruik deze referenties om de implementatie aan te roepen en voorspellingen te genereren.
Als u deze implementatie wilt gebruiken vanuit een ander project of een andere hub, of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Voor meer informatie over het configureren van een bestaande serverloze API-implementatie op een nieuw project of een nieuwe hub, raadpleegt u Geïmplementeerde serverloze API-implementatie gebruiken vanuit een ander project of vanuit een promptstroom.

Hint

Als u de promptstroom gebruikt in hetzelfde project of dezelfde hub waar de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

De serverloze API-implementatie gebruiken

Modellen die zijn geïmplementeerd in Azure Machine Learning en Azure AI Foundry in serverloze API-implementaties ondersteunen de Azure AI-modeldeductie-API die een gemeenschappelijke set mogelijkheden voor basismodellen beschikbaar maakt en die door ontwikkelaars kan worden gebruikt om voorspellingen van een diverse set modellen op een uniforme en consistente manier te gebruiken.

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Eindpunten en abonnementen verwijderen

Hint

Omdat u het linkerdeelvenster in de Azure AI Foundry-portal kunt aanpassen, ziet u mogelijk andere items dan in deze stappen wordt weergegeven. Als u niet ziet wat u zoekt, selecteert u ... Meer onder aan het linkerdeelvenster.

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

Een serverloze API-implementatie verwijderen:

Ga naar Azure AI Foundry.
Ga naar uw project.
Selecteer modellen en eindpunten in de sectie Mijn assets.
Open de implementatie die u wilt verwijderen.
Selecteer verwijderen.

Het gekoppelde modelabonnement verwijderen:

Ga naar de Azure-portal
Navigeer naar de resourcegroep waartoe het project behoort.
Selecteer SaaS in het filter Type.
Selecteer het abonnement dat u wilt verwijderen.
Selecteer verwijderen.

Als u wilt werken met Azure AI Foundry, installeert u de Azure CLI en de ml-extensie voor Azure Machine Learning.
```
az extension add -n ml
```
Als u de extensie al hebt geïnstalleerd, controleert u of de nieuwste versie is geïnstalleerd.
```
az extension update -n ml
```
Zodra de extensie is geïnstalleerd, configureert u deze:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```

Uw model zoeken in de modelcatalogus

Meld u aan bij Azure AI Foundry.
Als u nog niet in uw project bent, selecteert u het.
Selecteer modelcatalogus in het linkerdeelvenster.

Modellen die rechtstreeks door Azure worden verkocht
Modellen van Partners en Gemeenschap

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een DeepSeek-R1-model .
Kopieer de model-id zonder de modelversie op te halen, omdat serverloze API-implementaties altijd de nieuwste versie van het model implementeren. Bijvoorbeeld, voor de model-id azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1, kopieer azureml://registries/azureml-deepseek/models/DeepSeek-R1.

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u Cohere-command-r-08-2024.

Opmerking

Modellen van partners en community's worden aangeboden via Azure Marketplace. Voor deze modellen moet u ervoor zorgen dat uw account de rolmachtigingen voor Azure AI Developer heeft voor de resourcegroep of dat u voldoet aan de machtigingen die zijn vereist om u te abonneren op modelaanbiedingen, omdat u uw project moet abonneren op het specifieke modelaanbod.
Kopieer de model-id zonder de modelversie op te halen, omdat serverloze API-implementaties altijd de nieuwste versie van het model implementeren. Bijvoorbeeld, voor de model-id azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1, kopieer azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

Voor modellen van partners en community's, bijvoorbeeld Cohere-command-r-08-2024, moet u een abonnement maken voordat u ze kunt implementeren. Als het de eerste keer is dat u het model in het project implementeert, moet u uw project abonneren op het specifieke modelaanbod van Azure Marketplace. Elk project heeft een eigen abonnement op de specifieke Azure Marketplace-aanbieding van het model, waarmee u uitgaven kunt beheren en bewaken. Nadat u een project hebt geabonneerd voor het specifieke Azure Marketplace-aanbod, hoeven volgende implementaties van dezelfde aanbieding in hetzelfde project niet opnieuw te worden geabonneerd.

Bovendien zijn modellen die via Azure Marketplace worden aangeboden, beschikbaar voor implementatie naar serverloze API-implementatie in specifieke regio's. Controleer de regio's die worden ondersteund voor serverloze implementatie om beschikbare regio's voor het specifieke model te controleren. Als de regio waarin uw project zich bevindt niet wordt vermeld, kunt u implementeren naar een project in een ondersteunde regio en vervolgens serverloze API-implementatie van een ander project gebruiken.

Maak het Marketplace-abonnement van het model. Wanneer u een abonnement maakt, accepteert u de voorwaarden die zijn gekoppeld aan de modelaanbieding.

subscription.yml
```
name: Cohere-command-r-08-2024-qwerty
model_id: azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024
```
Gebruik het vorige bestand om het abonnement te maken:
```
az ml marketplace-subscription create -f subscription.yml
```
(Optioneel) U kunt op elk gewenst moment de modelaanbiedingen zien waarop uw project momenteel is geabonneerd:
```
az ml marketplace-subscription list
```

In de stappen in dit gedeelte van het artikel wordt het DeepSeek-R1-model gebruikt voor illustratie. De stappen zijn hetzelfde, ongeacht of u Foundry-modellen gebruikt die rechtstreeks worden verkocht door Azure of Foundry Models van partners en community. Als u bijvoorbeeld het cohere-command-r-08-2024-model wilt implementeren, kunt u de modelreferenties in de codefragmenten vervangen door de referenties voor Cohere.

Het model implementeren in een serverloze API

In deze sectie maakt u een eindpunt voor uw model. Geef het eindpunt de naam DeepSeek-R1-qwerty.

Maak het serverloze eindpunt.

endpoint.yml

name: DeepSeek-R1-qwerty
model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1

Gebruik het endpoint.yml-bestand om het eindpunt te maken:

az ml serverless-endpoint create -f endpoint.yml

U kunt op elk gewenst moment de eindpunten zien die in uw project zijn geïmplementeerd:
```
az ml serverless-endpoint list
```
Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Gebruik de volgende stappen om de sleutels op te halen die zijn gekoppeld aan een bepaald eindpunt.
```
az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty
```
Als u deze implementatie wilt gebruiken vanuit een ander project of een andere hub, of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Voor meer informatie over het configureren van een bestaande serverloze API-implementatie op een nieuw project of een nieuwe hub, raadpleegt u Geïmplementeerde serverloze API-implementatie gebruiken vanuit een ander project of vanuit een promptstroom.

Hint

Als u de promptstroom gebruikt in hetzelfde project of dezelfde hub waar de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

De serverloze API-implementatie gebruiken

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Eindpunten en abonnementen verwijderen

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

Een serverloze API-implementatie verwijderen:

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

Het gekoppelde modelabonnement verwijderen:

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

Als u wilt werken met Azure AI Foundry, installeert u de Azure Machine Learning SDK voor Python.

pip install -U azure-ai-ml

Nadat de installatie is uitgevoerd, importeert u de benodigde naamruimten en maakt u een client die is verbonden met uw project:

from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)

Uw model zoeken in de modelcatalogus

Meld u aan bij Azure AI Foundry.
Als u nog niet in uw project bent, selecteert u het.
Selecteer modelcatalogus in het linkerdeelvenster.

Modellen die rechtstreeks door Azure worden verkocht
Modellen van Partners en Gemeenschap

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een DeepSeek-R1-model .
Kopieer de model-id zonder de modelversie op te halen, omdat serverloze API-implementaties altijd de nieuwste versie van het model implementeren. Bijvoorbeeld, voor de model-id azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1, kopieer azureml://registries/azureml-deepseek/models/DeepSeek-R1.

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u Cohere-command-r-08-2024.

Opmerking

Modellen van partners en community's worden aangeboden via Azure Marketplace. Voor deze modellen moet u ervoor zorgen dat uw account de rolmachtigingen voor Azure AI Developer heeft voor de resourcegroep of dat u voldoet aan de machtigingen die zijn vereist om u te abonneren op modelaanbiedingen, omdat u uw project moet abonneren op het specifieke modelaanbod.
Kopieer de model-id zonder de modelversie op te halen, omdat serverloze API-implementaties altijd de nieuwste versie van het model implementeren. Bijvoorbeeld, voor de model-id azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1, kopieer azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

Maak het Marketplace-abonnement van het model. Wanneer u een abonnement maakt, accepteert u de voorwaarden die zijn gekoppeld aan de modelaanbieding.

model_id="azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024"
subscription_name="Cohere-command-r-08-2024"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

(Optioneel) U kunt op elk gewenst moment de modelaanbiedingen zien waarop uw project momenteel is geabonneerd:

marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())

Het model implementeren in een serverloze API

In deze sectie maakt u een eindpunt voor uw model. Geef het eindpunt de naam DeepSeek-R1-qwerty.

Maak het serverloze eindpunt.

endpoint_name="DeepSeek-R1-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

U kunt op elk gewenst moment de eindpunten zien die in uw project zijn geïmplementeerd:

endpoint_name="DeepSeek-R1-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Gebruik de volgende stappen om de sleutels op te halen die zijn gekoppeld aan een bepaald eindpunt.
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Als u deze implementatie wilt gebruiken vanuit een ander project of een andere hub, of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Voor meer informatie over het configureren van een bestaande serverloze API-implementatie op een nieuw project of een nieuwe hub, raadpleegt u Geïmplementeerde serverloze API-implementatie gebruiken vanuit een ander project of vanuit een promptstroom.

Hint

Als u de promptstroom gebruikt in hetzelfde project of dezelfde hub waar de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

De serverloze API-implementatie gebruiken

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Eindpunten en abonnementen verwijderen

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Het gekoppelde modelabonnement verwijderen:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Als u met Azure AI Foundry wilt werken, installeert u de Azure CLI zoals beschreven in Azure CLI.

Configureer de volgende omgevingsvariabelen volgens uw instellingen:
```
RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2" 
```

Uw model zoeken in de modelcatalogus

Meld u aan bij Azure AI Foundry.
Als u nog niet in uw project bent, selecteert u het.
Selecteer modelcatalogus in het linkerdeelvenster.

Modellen die rechtstreeks door Azure worden verkocht
Modellen van Partners en Gemeenschap

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een DeepSeek-R1-model .
Kopieer de model-id zonder de modelversie op te halen, omdat serverloze API-implementaties altijd de nieuwste versie van het model implementeren. Bijvoorbeeld, voor de model-id azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1, kopieer azureml://registries/azureml-deepseek/models/DeepSeek-R1.

Selecteer de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u Cohere-command-r-08-2024.

Opmerking

Modellen van partners en community's worden aangeboden via Azure Marketplace. Voor deze modellen moet u ervoor zorgen dat uw account de rolmachtigingen voor Azure AI Developer heeft voor de resourcegroep of dat u voldoet aan de machtigingen die zijn vereist om u te abonneren op modelaanbiedingen, omdat u uw project moet abonneren op het specifieke modelaanbod.
Kopieer de model-id zonder de modelversie op te halen, omdat serverloze API-implementaties altijd de nieuwste versie van het model implementeren. Bijvoorbeeld, voor de model-id azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1, kopieer azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

Gebruik de volgende bicep-configuratie om een modelabonnement te maken. Wanneer u een abonnement maakt, accepteert u de voorwaarden die zijn gekoppeld aan de modelaanbieding.

model-subscription.bicep

param projectName string = 'my-project'
param modelId string = 'azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
  modelId,
  'azureml://registries/azureml/'
)) {
  name: '${projectName}/${subscriptionName}'
  properties: {
    modelId: modelId
  }
}

Maak vervolgens de resource als volgt:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

(Optioneel) U kunt op elk gewenst moment de modelaanbiedingen zien waarop uw project momenteel is geabonneerd. U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Het model implementeren in een serverloze API

In deze sectie maakt u een eindpunt voor uw model. Geef het eindpunt de naam myserverless-text-1234ss.

Maak het serverloze eindpunt. Gebruik de volgende sjabloon om een eindpunt te maken:

serverless-endpoint.bicep

param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri

Maak de implementatie als volgt:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

U kunt op elk gewenst moment de eindpunten zien die in uw project zijn geïmplementeerd:

U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Haal de sleutels op die zijn gekoppeld aan het opgegeven eindpunt met behulp van REST API's om deze informatie op te vragen.
Als u deze implementatie wilt gebruiken vanuit een ander project of een andere hub, of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Voor meer informatie over het configureren van een bestaande serverloze API-implementatie op een nieuw project of een nieuwe hub, raadpleegt u Geïmplementeerde serverloze API-implementatie gebruiken vanuit een ander project of vanuit een promptstroom.

Hint

Als u de promptstroom gebruikt in hetzelfde project of dezelfde hub waar de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

De serverloze API-implementatie gebruiken

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Eindpunten en abonnementen verwijderen

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

U kunt de hulpprogramma's voor resourcebeheer gebruiken om de resources te beheren. De volgende code maakt gebruik van Azure CLI:

az resource delete --name <resource-name>

Kosten- en quotumoverwegingen voor Foundry-modellen die zijn geïmplementeerd als een serverloze API-implementatie

Het quotum wordt beheerd per implementatie. Elke implementatie heeft een frequentielimiet van 200.000 tokens per minuut en 1000 API-aanvragen per minuut. Daarnaast beperken we momenteel één implementatie per model per project. Neem contact op met de ondersteuning voor Microsoft Azure als de huidige frequentielimieten niet voldoende zijn voor uw scenario's.

U vindt prijsinformatie voor modellen die rechtstreeks door Azure worden verkocht, op het tabblad Prijzen en voorwaarden van het venster Serverloze API-implementatie .
Modellen van partners en community's worden aangeboden via Azure Marketplace en geïntegreerd met Azure AI Foundry voor gebruik. U vindt prijzen van Azure Marketplace bij het implementeren of verfijnen van deze modellen. Telkens wanneer een project zich abonneert op een bepaalde aanbieding van Azure Marketplace, wordt er een nieuwe resource gemaakt om de kosten bij te houden die zijn gekoppeld aan het verbruik. Dezelfde resource wordt gebruikt om de kosten te traceren die zijn gekoppeld aan deductie en verfijning; er zijn echter meerdere meters beschikbaar om elk scenario onafhankelijk te traceren. Zie Kosten bewaken voor modellen die worden aangeboden via Azure Marketplace voor meer informatie over het bijhouden van kosten.

Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in de Azure AI Foundry-portal. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de rol Eigenaar, Inzender of Azure AI Developer voor het Azure-abonnement zijn toegewezen. U kunt ook een aangepaste rol aan uw account toewijzen met de volgende machtigingen:

In het Azure-abonnement: als u de werkruimte wilt abonneren op een Azure Marketplace-aanbieding, één keer voor elke werkruimte, per aanbieding:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Binnen de resourcegroep—om de SaaS-resource te maken en te gebruiken:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
In de werkruimte—als u eindpunten wilt implementeren (de azure Machine Learning-gegevenswetenschapperrol bevat deze machtigingen al):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Zie op rollen gebaseerd toegangsbeheer in de Azure AI Foundry-portal voor meer informatie over machtigingen.

Delen via

Modellen implementeren als serverloze API-implementaties

Vereiste voorwaarden

Uw model zoeken in de modelcatalogus

Het model implementeren in een serverloze API

De serverloze API-implementatie gebruiken

Eindpunten en abonnementen verwijderen

Uw model zoeken in de modelcatalogus

Het model implementeren in een serverloze API

De serverloze API-implementatie gebruiken

Eindpunten en abonnementen verwijderen

Uw model zoeken in de modelcatalogus

Het model implementeren in een serverloze API

De serverloze API-implementatie gebruiken

Eindpunten en abonnementen verwijderen

Uw model zoeken in de modelcatalogus

Het model implementeren in een serverloze API

De serverloze API-implementatie gebruiken

Eindpunten en abonnementen verwijderen

Kosten- en quotumoverwegingen voor Foundry-modellen die zijn geïmplementeerd als een serverloze API-implementatie

Vereiste machtigingen voor het abonneren op modelaanbiedingen

Verwante inhoud

Feedback

Aanvullende resources