Arbeta med Azure OpenAI-modeller

  • Artikel

Azure OpenAI Service drivs av flera olika modeller med olika funktioner och priser. Modelltillgängligheten varierar beroende på region.

Du kan hämta en lista över modeller som är tillgängliga för både slutsatsdragning och finjustering av din Azure OpenAI-resurs med hjälp av API:et för modelllista.

Modelluppdateringar

Azure OpenAI har nu stöd för automatiska uppdateringar för utvalda modelldistributioner. På modeller där stöd för automatisk uppdatering är tillgängligt visas listrutan modellversion i Azure OpenAI Studio under Skapa ny distribution och Redigera distribution:

Screenshot of the deploy model UI of Azure OpenAI Studio.

Du kan lära dig mer om Azure OpenAI-modellversioner och hur de fungerar i artikeln Azure OpenAI-modellversioner .

Automatisk uppdatering till standard

När du ställer in distributionen på Automatisk uppdatering till standard uppdateras modelldistributionen automatiskt inom två veckor efter en ändring i standardversionen. För en förhandsversion uppdateras den automatiskt när en ny förhandsversion är tillgänglig från och med två veckor efter att den nya förhandsversionen har släppts.

Om du fortfarande är i de tidiga testfaserna för slutsatsdragningsmodeller rekommenderar vi att du distribuerar modeller med automatisk uppdatering till standarduppsättning när den är tillgänglig.

Specifik modellversion

När din användning av Azure OpenAI utvecklas och du börjar skapa och integrera med program kanske du vill styra modelluppdateringar manuellt. Du kan först testa och verifiera att programmets beteende är konsekvent för ditt användningsfall innan du uppgraderar.

När du väljer en specifik modellversion för en distribution förblir den här versionen markerad tills du antingen väljer att uppdatera dig själv manuellt eller när du når tillbakadragningsdatumet för modellen. När indragningsdatumet har nåtts uppgraderas modellen automatiskt till standardversionen vid tidpunkten för tillbakadragningen.

Visa datum för pensionering

För för närvarande distribuerade modeller väljer du Distributioner från Azure OpenAI Studio:

Screenshot of the deployment UI of Azure OpenAI Studio.

Om du vill visa tillbakadragningsdatum för alla tillgängliga modeller i en viss region från Azure OpenAI Studio väljer du Alternativ> för modellkolumner>Välj Utfasningsjustering och Inferens för utfasning:

Screenshot of the models UI of Azure OpenAI Studio.

Uppgraderingskonfiguration för modelldistribution

Du kan kontrollera vilka modelluppgraderingsalternativ som har angetts för tidigare distribuerade modeller i Azure OpenAI Studio. Välj Distributioner Under kolumnen distributionsnamn> väljer du ett av distributionsnamnen som är markerade i blått.

Screenshot of the deployments pane with a deployment name highlighted.

Om du väljer ett distributionsnamn öppnas egenskaperna för modelldistributionen. Du kan visa vilka uppgraderingsalternativ som har angetts för distributionen under Princip för versionsuppdatering:

Screenshot of the model deployments property UI.

Motsvarande egenskap kan också nås via REST, Azure PowerShell och Azure CLI.

Alternativ Läs Uppdatering
REST Ja. Om versionUpgradeOption inte returneras betyder det att det är null Ja
Azure PowerShell Ja.VersionUpgradeOption kan sökas efter $null Ja
Azure CLI Ja. Den visar null om versionUpgradeOption den inte har angetts. Nej. Det går för närvarande inte att uppdatera alternativet för versionsuppgradering.

Det finns tre olika uppgraderingsalternativ för modelldistribution:

Name beskrivning
OnceNewDefaultVersionAvailable När en ny version har angetts som standard uppgraderas modelldistributionen automatiskt till standardversionen inom två veckor efter att den beteckningsändringen har gjorts.
OnceCurrentVersionExpired När indragningsdatumet har nåtts uppgraderas modelldistributionen automatiskt till den aktuella standardversionen.
NoAutoUpgrade Modelldistributionen uppgraderas aldrig automatiskt. När tillbakadragningsdatumet har nåtts slutar modelldistributionen att fungera. Du måste uppdatera koden som refererar till distributionen så att den pekar på en icke-förbrukad modelldistribution.

Kommentar

null motsvarar AutoUpgradeWhenExpired. Om alternativet Versionsuppdateringsprincip inte finns i egenskaperna för en modell som stöder modelluppgraderingar anger detta att värdet för närvarande nullär . När du uttryckligen ändrar det här värdet visas egenskapen på sidan för studioegenskaper samt via REST-API:et.

Exempel

Läs kom igång-guiden för Azure PowerShell för att installera Azure PowerShell lokalt eller så kan du använda Azure Cloud Shell.

Stegen nedan visar hur du kontrollerar alternativegenskapen VersionUpgradeOption och uppdaterar den:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Uppdatera och distribuera modeller via API:et

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Sökvägsparametrar

Parameter Type Obligatorisk? beskrivning
acountname sträng Obligatoriskt Namnet på din Azure OpenAI-resurs.
deploymentName sträng Obligatoriskt Det distributionsnamn som du valde när du distribuerade en befintlig modell eller det namn som du vill att en ny modelldistribution ska ha.
resourceGroupName sträng Obligatoriskt Namnet på den associerade resursgruppen för den här modelldistributionen.
subscriptionId sträng Obligatoriskt Prenumerations-ID för den associerade prenumerationen.
api-version sträng Obligatoriskt Den API-version som ska användas för den här åtgärden. Formatet är ÅÅÅÅ-MM-DD.

Versioner som stöds

Begärandetext

Det här är bara en delmängd av de tillgängliga parametrarna för begärandetexten. En fullständig lista över parametrarna finns i REST API-referensdokumentationen.

Parameter Typ Beskrivning
versionUpgradeOption String Uppgraderingsalternativ för distributionsmodellversion:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
capacity integer Detta representerar den mängd kvot som du tilldelar den här distributionen. Ett värde på 1 är lika med 1 000 token per minut (TPM)

Exempelbegäranden

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Kommentar

Det finns flera sätt att generera en auktoriseringstoken. Den enklaste metoden för inledande testning är att starta Cloud Shell från Azure-portalen. Kör sedan az account get-access-token. Du kan använda den här token som din tillfälliga auktoriseringstoken för API-testning.

Exempelsvar

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Nästa steg