Sdílet prostřednictvím

Práce s modely Azure OpenAI

  • Článek

Služba Azure OpenAI Service využívá různorodou sadu modelů s různými možnostmi a cenovými body. Dostupnost modelu se liší podle oblasti.

Seznam modelů, které jsou k dispozici pro odvozování i vyladění, můžete získat pomocí rozhraní API pro seznam modelů.

Aktualizace modelu

Azure OpenAI teď podporuje automatické aktualizace pro výběr nasazení modelu. V modelech, ve kterých je dostupná podpora automatických aktualizací, se v nástroji Azure OpenAI Studio zobrazí rozevírací seznam verze modelu v části Vytvořit nové nasazení a upravit nasazení:

Snímek obrazovky s uživatelským rozhraním modelu nasazení sady Azure OpenAI Studio

Další informace o verzích modelů Azure OpenAI a jejich fungování najdete v článku o verzích modelů Azure OpenAI.

Automatická aktualizace na výchozí

Když nastavíte nasazení na automatické aktualizace na výchozí, nasazení modelu se automaticky aktualizuje během dvou týdnů od změny ve výchozí verzi. U verze Preview se aktualizuje automaticky, když je nová verze Preview dostupná od dvou týdnů od vydání nové verze Preview.

Pokud jste stále ve fázích prvotního testování pro odvozovací modely, doporučujeme nasadit modely s automatickou aktualizací do výchozího nastavení, kdykoli je k dispozici.

Konkrétní verze modelu

S tím, jak se vaše použití Azure OpenAI vyvíjí, a začnete sestavovat a integrovat s aplikacemi, které můžete chtít ručně řídit aktualizace modelu. Před upgradem můžete nejprve otestovat a ověřit, že chování aplikace je konzistentní pro váš případ použití.

Když pro nasazení vyberete konkrétní verzi modelu, zůstane tato verze vybraná, dokud se nerozhodnete provést ruční aktualizaci, nebo jakmile dosáhnete data vyřazení modelu z provozu. Po dosažení data vyřazení se model automaticky upgraduje na výchozí verzi v době vyřazení.

Zobrazení dat vyřazení

U aktuálně nasazených modelů v Azure OpenAI Studiu vyberte Nasazení:

Snímek obrazovky s uživatelským rozhraním nasazení nástroje Azure OpenAI Studio

Pokud chcete zobrazit data vyřazení všech dostupných modelů v dané oblasti ze sady Azure OpenAI Studio, vyberte možnosti >Sloupce modelů>a vyladit a odvozovat vyřazení:

Snímek obrazovky s uživatelským rozhraním modelů v nástroji Azure OpenAI Studio

Konfigurace upgradu nasazení modelu

Můžete zkontrolovat, jaké možnosti upgradu modelu jsou nastavené pro dříve nasazené modely v nástroji Azure OpenAI Studio. > Ve sloupci Název nasazení vyberte jeden z názvů nasazení, které jsou zvýrazněné modře.

Snímek obrazovky s podoknem nasazení se zvýrazněným názvem nasazení

Výběrem názvu nasazení se otevře vlastnosti pro nasazení modelu. Možnosti upgradu, které jsou pro vaše nasazení nastavené, můžete zobrazit v části Zásady aktualizace verzí:

Snímek obrazovky s uživatelským rozhraním vlastností nasazení modelu

K odpovídající vlastnosti je také možné přistupovat přes REST, Azure PowerShell a Azure CLI.

Možnost Čtení Aktualizace
REST Ano. Pokud versionUpgradeOption se nevrátí, znamená to, že se jedná o null Ano
Azure PowerShell Ano.VersionUpgradeOption lze zkontrolovat $null Ano
Azure CLI Ano. null Zobrazí se, pokud versionUpgradeOption není nastavená. Ne. V současné době není možné aktualizovat možnost upgradu verze.

Existují tři různé možnosti upgradu nasazení modelu:

Název Popis
OnceNewDefaultVersionAvailable Jakmile je nová verze označená jako výchozí, nasazení modelu se automaticky upgraduje na výchozí verzi do dvou týdnů od provedení této změny označení.
OnceCurrentVersionExpired Po dosažení data vyřazení modelu se nasazení modelu automaticky upgraduje na aktuální výchozí verzi.
NoAutoUpgrade Nasazení modelu se nikdy automaticky neupgraduje. Jakmile se dosáhne data vyřazení, nasazení modelu přestane fungovat. Je potřeba aktualizovat kód odkazující na toto nasazení tak, aby odkazoval na neprozkoušané nasazení modelu.

Poznámka:

null je ekvivalent OnceCurrentVersionExpired. Pokud ve vlastnostech modelu, který podporuje upgrady modelů, není k dispozici možnost zásady aktualizace verze, znamená to, že hodnota je aktuálně null. Jakmile tuto hodnotu explicitně upravíte, vlastnost se zobrazí na stránce vlastností studia a také prostřednictvím rozhraní REST API.

Příklady

Projděte si úvodní příručku k Azure PowerShellu pro místní instalaci Azure PowerShellu nebo můžete použít Azure Cloud Shell.

Následující postup ukazuje kontrolu VersionUpgradeOption vlastnosti možnosti a jeho aktualizace:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Aktualizace a nasazení modelů prostřednictvím rozhraní API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Parametry cesty

Parametr Typ Povinné? Popis
acountname string Požaduje se Název prostředku Azure OpenAI
deploymentName řetězec Požaduje se Název nasazení, který jste zvolili při nasazení existujícího modelu nebo názvu, který má mít nové nasazení modelu.
resourceGroupName řetězec Požaduje se Název přidružené skupiny prostředků pro toto nasazení modelu.
subscriptionId řetězec Požaduje se ID předplatného přidruženého předplatného.
api-version řetězec Požaduje se Verze rozhraní API, která se má použít pro tuto operaci. To má formát RRRR-MM-DD.

Podporované verze

Text požadavku

Jedná se pouze o podmnožinu dostupných parametrů textu požadavku. Úplný seznam parametrů najdete v referenční dokumentaci k rozhraní REST API.

Parametr Typ Popis
versionUpgradeOption String Možnosti upgradu verze modelu nasazení:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
capacity integer Představuje velikost kvóty , kterou k tomuto nasazení přiřazujete. Hodnota 1 se rovná 1 000 tokenů za minutu (TPM)

Příklad požadavku

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Poznámka:

Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Potom spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API.

Příklad odpovědi

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Další kroky