Работа с моделями Azure OpenAI

Статья
09/29/2024

Служба Azure OpenAI работает на платформе разнообразного набора моделей с разными возможностями и ценовыми категориями. Доступность модели зависит от региона.

Вы можете получить список моделей, доступных как для вывода, так и для тонкой настройки ресурсов Azure OpenAI с помощью API списка моделей.

Обновления модели

Azure OpenAI теперь поддерживает автоматическое обновление для развертываний моделей. В моделях, где доступна поддержка автоматического обновления, раскрывающийся список версий модели отображается в Azure OpenAI Studio в разделе "Развертывания и редактирование".

Дополнительные сведения о версиях модели Azure OpenAI и их работе см. в статье о версиях моделей Azure OpenAI.

Автоматическое обновление до значения по умолчанию

При настройке развертывания для автоматического обновления по умолчанию развертывание модели автоматически обновляется в течение двух недель после изменения в версии по умолчанию. Для предварительной версии она обновляется автоматически, когда новая предварительная версия доступна начиная с двух недель после выпуска новой предварительной версии.

Если вы все еще находитесь на ранних этапах тестирования для моделей вывода, рекомендуется развертывать модели с автоматическим обновлением до набора по умолчанию , когда оно доступно.

Определенная версия модели

По мере развития Azure OpenAI вы начинаете создавать и интегрироваться с приложениями, которые могут потребоваться вручную управлять обновлениями моделей. Перед обновлением вы можете сначала протестировать и убедиться, что поведение приложения согласовано с вашим вариантом использования.

При выборе конкретной версии модели для развертывания эта версия остается выбранной до тех пор, пока вы не решите вручную обновить себя или когда вы достигнете даты выхода на пенсию для модели. Когда дата выхода на пенсию достигается, модель автоматически обновляется до версии по умолчанию во время выхода на пенсию.

Просмотр дат выхода на пенсию

Для развернутых в настоящее время моделей в Azure OpenAI Studio выберите развертывания:

Конфигурация обновления развертывания модели

Вы можете проверить параметры обновления модели для ранее развернутых моделей в Azure OpenAI Studio. Выберите "Развертывания"> в столбце имени развертывания выберите одно из имен развертывания, выделенных синим цветом.

При выборе имени развертывания открывается свойство для развертывания модели. Вы можете просмотреть параметры обновления для развертывания в политике обновления версий:

Соответствующее свойство также можно получить через REST, Azure PowerShell и Azure CLI.

Вариант	Читать	Обновить
REST	Да. Если `versionUpgradeOption` не возвращается, это означает, что это `null`	Да
Azure PowerShell	Да.`VersionUpgradeOption` Можно проверить наличие `$null`	Да
Azure CLI	Да. В нем показано `null` , не `versionUpgradeOption` задано ли значение.	№ В настоящее время невозможно обновить параметр обновления версии.

Существует три различных варианта обновления модели:

Имя	Описание
`OnceNewDefaultVersionAvailable`	После того как новая версия будет назначена по умолчанию, развертывание модели автоматически обновляется до версии по умолчанию в течение двух недель после внесения изменений обозначения.
`OnceCurrentVersionExpired`	После достижения даты выхода на пенсию развертывание модели автоматически обновляется до текущей версии по умолчанию.
`NoAutoUpgrade`	Развертывание модели никогда не обновляется автоматически. После достижения даты выхода на пенсию развертывание модели перестанет работать. Необходимо обновить код, ссылающийся на это развертывание, чтобы указать на развертывание неэкспирированных моделей.

Примечание.

null эквивалентна OnceCurrentVersionExpired. Если параметр политики обновления версий отсутствует в свойствах модели, поддерживающей обновления модели, это означает, что значение в настоящее времяnull. После явного изменения этого значения свойство отображается на странице свойств студии, а также через REST API.

Ознакомьтесь с руководством по началу работы с Azure PowerShell, чтобы установить Azure PowerShell локально или использовать Azure Cloud Shell.

Ниже показано, как проверить VersionUpgradeOption свойство параметра, а также обновить его:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Запрос параметров развертывания текущей модели, включая конфигурацию обновления развертывания для данного ресурса Deployments List. Если значение равно NULL, свойство не отображается versionUpgradeOption .

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments?api-version=2023-05-01

Параметры пути

Параметр	Тип	Обязательное?	Description
`acountname`	строка	Обязательное поле	Имя ресурса Azure OpenAI.
`resourceGroupName`	строка	Обязательное поле	Имя связанной группы ресурсов для развертывания этой модели.
`subscriptionId`	строка	Обязательное поле	Идентификатор подписки для связанной подписки.
`api-version`	строка	Обязательное поле	Версия API, используемая для данной операции. Имеет формат ГГГГ-ММ-ДД.

Поддерживаемые версии

2023-05-01Спецификация Swagger

Пример отклика

{
  "value": [
    {
      "id": "/subscriptions/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeeb/resourceGroups/az-test-openai/providers/Microsoft.CognitiveServices/accounts/aztestopenai001/deployments/gpt-35-turbo",
      "type": "Microsoft.CognitiveServices/accounts/deployments",
      "name": "gpt-35-turbo",
      "sku": {
        "name": "Standard",
        "capacity": 80
      },
      "properties": {
        "model": {
          "format": "OpenAI",
          "name": "gpt-35-turbo",
          "version": "0301"
        },
        "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        "capabilities": {
          "completion": "true",
          "chatCompletion": "true"
        },
        "raiPolicyName": "Microsoft.Default",
        "provisioningState": "Succeeded",
        "rateLimits": [
          {
            "key": "request",
            "renewalPeriod": 10,
            "count": 80
          },
          {
            "key": "token",
            "renewalPeriod": 60,
            "count": 80000
          }
        ]
      },
      "systemData": {
        "createdBy": "docs@contoso.com",
        "createdByType": "User",
        "createdAt": "2023-07-31T16:45:32.622404Z",
        "lastModifiedBy": "docs@contoso.com",
        "lastModifiedByType": "User",
        "lastModifiedAt": "2023-10-31T13:59:34.4978286Z"
      },
      "etag": "\"aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee\""
    }
  ]
}

Затем можно использовать параметры из этого списка, чтобы создать вызов REST API модели обновления, как описано ниже, если вы хотите изменить конфигурацию обновления развертывания.

Обновление и развертывание моделей с помощью API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Параметры пути

Параметр	Тип	Обязательное?	Description
`acountname`	строка	Обязательное поле	Имя ресурса Azure OpenAI.
`deploymentName`	строка	Обязательное поле	Имя развертывания, выбранное при развертывании существующей модели или имя, которое будет иметь новое развертывание модели.
`resourceGroupName`	строка	Обязательное поле	Имя связанной группы ресурсов для развертывания этой модели.
`subscriptionId`	строка	Обязательное поле	Идентификатор подписки для связанной подписки.
`api-version`	строка	Обязательное поле	Версия API, используемая для данной операции. Имеет формат ГГГГ-ММ-ДД.

Поддерживаемые версии

2023-05-01Спецификация Swagger

Текст запроса

Это только подмножество доступных параметров текста запроса. Полный список параметров см. в справочной документации по REST API.

Параметр	Тип	Описание
versionUpgradeOption	Строка	Параметры обновления версии модели развертывания: `OnceNewDefaultVersionAvailable` `OnceCurrentVersionExpired` `NoAutoUpgrade`
Емкость	integer	Это означает объем квоты, которую вы назначаете этому развертыванию. Значение 1 равно 1000 токенов в минуту (TPM)

Пример запроса

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Примечание.

Существует несколько способов создания маркера авторизации. Самый простой способ начального тестирования — запустить Cloud Shell из портал Azure. Затем выполните az account get-access-token. Этот маркер можно использовать в качестве временного маркера авторизации для тестирования API.

Пример отклика

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Поделиться через

Работа с моделями Azure OpenAI

Обновления модели

Автоматическое обновление до значения по умолчанию

Определенная версия модели

Просмотр дат выхода на пенсию

Конфигурация обновления развертывания модели

Примеры

Пример отклика

Обновление и развертывание моделей с помощью API

Пример запроса

Пример отклика

Следующие шаги

Обратная связь

Дополнительные ресурсы