Distribuera generativa AI-modeller

  • 2 minuter

Du måste först distribuera en modell för att chatta med eller göra API-anrop för att få svar på frågor. När du skapar en ny distribution måste du ange vilken basmodell som ska distribueras. Du kan distribuera valfritt antal distributioner i en eller flera Azure OpenAI-resurser så länge deras token per minut (TPM) ligger inom distributionskvoten.

Distribuera med Azure AI Studio

På sidan Distributioner i Azure AI Studio kan du skapa en ny distribution genom att välja ett modellnamn på menyn. De tillgängliga basmodellerna kommer från listan på modellsidan.

Skärmbild av distributionsguiden för Azure AI Studio-portalens modell.

På sidan Distributioner i Studio kan du också visa information om alla dina distributioner, inklusive distributionsnamn, modellnamn, modellversion, status, skapat datum med mera.

Distribuera med Azure CLI

Du kan också distribuera en modell med hjälp av konsolen. I det här exemplet ersätter du följande variabler med dina egna resursvärden:

  • OAIResourceGroup: ersätt med resursgruppens namn
  • MyOpenAIResource: ersätt med resursnamnet
  • MyModel: ersätt med ett unikt namn för din modell
  • gpt-35-turbo: ersätt med den basmodell som du vill distribuera
az cognitiveservices account deployment create \
   -g OAIResourceGroup \
   -n MyOpenAIResource \
   --deployment-name MyModel \
   --model-name gpt-35-turbo \
   --model-version "0301"  \
   --model-format OpenAI \
   --sku-name "Standard" \
   --sku-capacity 1

Distribuera med rest-API:et

Du kan distribuera en modell med hjälp av REST-API:et. I begärandetexten anger du den basmodell som du vill distribuera. Se ett exempel i Azure OpenAI-dokumentationen.