Dela via

Lägga till och konfigurera modeller i Azure AI Foundry Models

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i din Azure AI Foundry-resurs. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI Foundry.

Förutsättningar

För att slutföra den här artikeln behöver du:

Lägga till en modell

Du kan lägga till modeller i slutpunkten Foundry Models med hjälp av följande steg:

  1. Gå till avsnittet Modellkatalog i Azure AI Foundry-portalen.

  2. Rulla till den modell som du är intresserad av och välj den.

    En animering som visar hur du söker efter modeller i modellkatalogen och väljer en för att visa dess information.

  3. Du kan granska informationen om modellen på modellkortet.

  4. Välj Distribuera.

  5. För modellleverantörer som kräver fler avtalsvillkor uppmanas du att godkänna dessa villkor. Detta är fallet för Mistral-modeller till exempel. Acceptera villkoren för dessa fall genom att välja Prenumerera och distribuera.

    Skärmbild som visar hur du godkänner villkoren för en Mistral-Large-modell.

  6. Du kan konfigurera distributionsinställningarna just nu. Som standard tar distributionen emot namnet på den modell som du distribuerar. Distributionsnamnet används i parametern model för begäran om att dirigera till just den här modelldistributionen. På så sätt kan du även konfigurera specifika namn för dina modeller när du kopplar specifika konfigurationer. Till exempel o1-preview-safe för en modell med ett strikt innehållsfilter.

    Tips/Råd

    Varje modell kan ha stöd för olika distributionstyper, vilket ger olika garantier för datahemvist eller dataflöde. Mer information finns i distributionstyper .

  7. Vi väljer automatiskt en Azure AI Foundry-anslutning beroende på ditt projekt. Använd alternativet Anpassa för att ändra anslutningen baserat på dina behov. Om du distribuerar under distributionstypen Serverlös API måste modellerna vara tillgängliga i regionen för Azure AI Foundry-resursen.

    Skärmbild som visar hur du anpassar distributionen om det behövs.

    Tips/Råd

    Om den önskade resursen inte visas kan du behöva skapa en anslutning till den. Se Konfigurera Azure AI Foundry Models i mitt projekt i Azure AI Foundry-portalen.

  8. Välj Distribuera.

  9. När distributionen är klar visas den nya modellen på sidan och den är redo att användas.

Hantera modeller

Du kan hantera befintliga modelldistributioner i resursen med hjälp av Azure AI Foundry-portalen.

  1. Gå till avsnittet Modeller + slutpunkter i Azure AI Foundry-portalen.

  2. Bläddra till anslutningen till din Azure AI Foundry-resurs. Modelldistributioner grupperas och visas per anslutning.

    Skärmbild som visar listan över modeller som är tillgängliga under en viss anslutning.

  3. Du ser en lista över tillgängliga modeller under varje anslutning. Välj den modelldistribution som du är intresserad av.

  4. Redigera eller ta bort distributionen efter behov.

Testa distributionen på lekplatsen

Du kan interagera med den nya modellen i Azure AI Foundry-portalen med hjälp av playground:

Anmärkning

Playground är endast tillgängligt när du arbetar med AI-projekt i Azure AI Foundry. Skapa ett AI-projekt för att få fullständig åtkomst till alla funktioner i Azure AI Foundry.

  1. Gå till avsnittet Lekplatser i Azure AI Foundry-portalen.

  2. Beroende på vilken typ av modell du distribuerade väljer du den lekplats som behövs. I det här fallet väljer vi Chattlekplats.

  3. I listrutan Distribution under Installation väljer du namnet på den modelldistribution som du har skapat.

    Skärmbild som visar hur du väljer en modelldistribution som ska användas i Playground.

  4. Skriv din uppmaning och se resultaten.

  5. Dessutom kan du använda Visa kod så att du kan se information om hur du kommer åt modelldistributionen programmatiskt.

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i din Azure AI Foundry-resurs. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI Foundry.

Förutsättningar

För att slutföra den här artikeln behöver du:

  • Installera Azure CLI och cognitiveservices tillägget för Azure AI Services:

    az extension add -n cognitiveservices

  • Vissa av kommandona i denna handledning använder jq-verktyget, som kanske inte är installerat på ditt system. Installationsinstruktioner finns i Ladda ned jq.

  • Identifiera följande information:

    • ditt prenumerations-ID för Azure

    • Ditt Azure AI Services-resursnamn.

    • Resursgruppen där Azure AI Services-resursen distribueras.

Lägg till modeller

Om du vill lägga till en modell måste du först identifiera den modell som du vill distribuera. Du kan fråga de tillgängliga modellerna på följande sätt:

  1. Logga in på din Azure-prenumeration:

    az login

  2. Om du har fler än en prenumeration väljer du den prenumeration där resursen finns:

    az account set --subscription $subscriptionId

  3. Ange följande miljövariabler med namnet på den Azure AI Services-resurs som du planerar att använda och resursgruppen.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"
location="eastus2"

  4. Om du inte har skapat ett Azure AI Services-konto ännu kan du skapa ett på följande sätt:

    az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0

  5. Låt oss först se vilka modeller som är tillgängliga för dig och under vilken SKU. SKU:er, även kallade distributionstyper, definierar hur Azure-infrastrukturen används för att bearbeta begäranden. Modeller kan erbjuda olika distributionstyper. Följande kommando visar alla tillgängliga modelldefinitioner:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. Utdata ser ut så här:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Identifiera den modell som du vill distribuera. Du behöver egenskaperna name, format, versionoch sku. Egenskapen format anger vilken leverantör som erbjuder modellen. Kapacitet kan också behövas beroende på typen av distribution.

  8. Lägg till modellimplementeringen i resursen. Följande exempel lägger till Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. Modellen är klar att användas.

Du kan distribuera samma modell flera gånger om det behövs så länge den är under ett annat distributionsnamn. Den här funktionen kan vara användbar om du vill testa olika konfigurationer för en viss modell, inklusive innehållsfilter.

Använd modellen

Distribuerade modeller kan användas med hjälp av Azure AI-modellens beräkningsslutpunkt för resursen. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du har skapat. Du kan programmatiskt hämta URI:n för slutpunkten för slutsatsdragning med hjälp av följande kod:

Slutpunkt för slutsatsdragning

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Om du vill göra begäranden till slutpunkten för Azure AI Foundry Models lägger du till routen models, till exempel https://<resource>.services.ai.azure.com/models. Du kan se API-referensen för slutpunkten på referenssidan för Azure AI Model Inference API.

Slutsatsdragningsnycklar

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Hantera utrullningar

Du kan se alla tillgängliga distributioner med hjälp av CLI:

  1. Kör följande kommando för att se alla aktiva distributioner:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Du kan se information om en viss distribution:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Du kan ta bort en viss distribution på följande sätt:

    az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Du kan bestämma och konfigurera vilka modeller som är tillgängliga för slutsatsdragning i din Azure AI Foundry-resurs. När en viss modell har konfigurerats kan du generera förutsägelser från den genom att ange dess modellnamn eller distributionsnamn på dina begäranden. Inga ytterligare ändringar krävs i koden för att använda den.

I den här artikeln får du lära dig hur du lägger till en ny modell i Azure AI Foundry.

Förutsättningar

För att slutföra den här artikeln behöver du:

  • Installera Azure CLI.

  • Identifiera följande information:

    • ditt prenumerations-ID för Azure

    • Ditt Azure AI Foundry-resursnamn (tidigare känt som Azure AI Services).

    • Resursgruppen där Azure AI Foundry-resursen distribueras.

    • Modellnamnet, providern, versionen och SKU:n som du vill distribuera. Du kan använda Azure AI Foundry-portalen eller Azure CLI för att identifiera den. I det här exemplet distribuerar vi följande modell:

      • Modellnamn:: Phi-3.5-vision-instruct
      • Provider: Microsoft
      • Version: 2
      • Distributionstyp: Global standard

Om den här självstudiekursen

Exemplet i den här artikeln baseras på kodexempel som finns i lagringsplatsen Azure-Samples/azureai-model-inference-bicep . Om du vill köra kommandona lokalt utan att behöva kopiera eller klistra in filinnehåll använder du följande kommandon för att klona lagringsplatsen och gå till mappen för kodningsspråket:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Filerna för det här exemplet finns i:

cd azureai-model-inference-bicep/infra

Behörigheter som krävs för att prenumerera på modeller från partner och community

Modeller från partner och community som är tillgängliga för distribution (till exempel cohere-modeller) kräver Azure Marketplace. Modellleverantörer definierar licensvillkoren och anger priset för användning av sina modeller med hjälp av Azure Marketplace.

När du distribuerar modeller från tredje part kontrollerar du att du har följande behörigheter i ditt konto:

  • På Azure-prenumerationen:
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action
  • I resursgruppen – för att skapa och använda SaaS-resursen:
    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write

Lägg till modellen

  1. Använd mallen ai-services-deployment-template.bicep för att beskriva modelldistributioner:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'DeepSeek'
  'xAI'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'DataZoneStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Kör utrullningen:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Använd modellen

Distribuerade modeller kan användas med hjälp av Azure AI-modellens slutsatsdragningsslutpunkt för resursen. När du skapar din begäran anger du parametern model och infogar det modelldistributionsnamn som du har skapat.

Nästa steg