Praca z modelami usługi Azure OpenAI

  • Artykuł

Usługa Azure OpenAI Service jest obsługiwana przez zróżnicowany zestaw modeli z różnymi możliwościami i cenami. Dostępność modelu różni się w zależności od regionu.

Listę modeli, które są dostępne zarówno do wnioskowania, jak i dostrajania przez zasób usługi Azure OpenAI, można uzyskać przy użyciu interfejsu API listy modeli.

Aktualizacje modelu

Usługa Azure OpenAI obsługuje teraz aktualizacje automatyczne dla wybranych wdrożeń modelu. W modelach, w których jest dostępna obsługa aktualizacji automatycznych, lista rozwijana wersji modelu jest widoczna w programie Azure OpenAI Studio w obszarze Tworzenie nowego wdrożenia i Edytowanie wdrożenia:

Screenshot of the deploy model UI of Azure OpenAI Studio.

Więcej informacji na temat wersji modelu usługi Azure OpenAI i sposobu ich działania można uzyskać w artykule Wersje modelu usługi Azure OpenAI.

Automatyczna aktualizacja do domyślnej

Po ustawieniu wdrożenia na Wartość domyślna Automatyczna aktualizacja zostanie automatycznie zaktualizowana w ciągu dwóch tygodni od zmiany wersji domyślnej. W przypadku wersji zapoznawczej jest ona aktualizowana automatycznie, gdy nowa wersja zapoznawcza jest dostępna od dwóch tygodni po wydaniu nowej wersji zapoznawczej.

Jeśli nadal używasz wczesnych faz testowania dla modeli wnioskowania, zalecamy wdrażanie modeli z automatyczną aktualizacją do ustawienia domyślnego zawsze, gdy jest dostępna.

Określona wersja modelu

W miarę rozwoju korzystania z usługi Azure OpenAI i rozpoczynasz tworzenie i integrowanie z aplikacjami, możesz ręcznie kontrolować aktualizacje modelu. Przed uaktualnieniem można najpierw przetestować i sprawdzić, czy zachowanie aplikacji jest spójne dla twojego przypadku użycia.

Po wybraniu konkretnej wersji modelu dla wdrożenia ta wersja pozostaje wybrana do momentu wybrania opcji ręcznej aktualizacji lub po osiągnięciu daty wycofania modelu. Po osiągnięciu daty wycofania model zostanie automatycznie uaktualniony do domyślnej wersji w momencie wycofania.

Wyświetlanie dat wycofania

W przypadku aktualnie wdrożonych modeli w usłudze Azure OpenAI Studio wybierz pozycję Wdrożenia:

Screenshot of the deployment UI of Azure OpenAI Studio.

Aby wyświetlić daty wycofania dla wszystkich dostępnych modeli w danym regionie w usłudze Azure OpenAI Studio, wybierz pozycję Modele>Opcje> kolumny Wybierz opcję Wycofaj dostosowywanie i wnioskowanie o wycofaniu:

Screenshot of the models UI of Azure OpenAI Studio.

Konfiguracja uaktualniania wdrożenia modelu

Możesz sprawdzić, jakie opcje uaktualniania modelu są ustawione dla wcześniej wdrożonych modeli w programie Azure OpenAI Studio. Wybierz pozycję Wdrożenia> w kolumnie Nazwa wdrożenia wybierz jedną z nazw wdrożeń wyróżnioną kolorem niebieskim.

Screenshot of the deployments pane with a deployment name highlighted.

Wybranie nazwy wdrożenia powoduje otwarcie właściwości wdrożenia modelu. W obszarze Zasady aktualizacji wersji można wyświetlić, jakie opcje uaktualniania zostały ustawione dla wdrożenia:

Screenshot of the model deployments property UI.

Dostęp do odpowiedniej właściwości można również uzyskać za pośrednictwem interfejsu wiersza polecenia REST, programu Azure PowerShell i interfejsu wiersza polecenia platformy Azure.

Opcja Czytaj Zaktualizuj
REST Tak. Jeśli versionUpgradeOption nie zostanie zwrócona, oznacza to, że jest null Tak
Azure PowerShell Tak.VersionUpgradeOption można sprawdzić, czy $null Tak
Interfejs wiersza polecenia platformy Azure Tak. null Pokazuje, czy versionUpgradeOption nie jest ustawiona. L.p. Obecnie nie można zaktualizować opcji uaktualnienia wersji.

Istnieją trzy różne opcje uaktualniania wdrożenia modelu:

Nazwa/nazwisko opis
OnceNewDefaultVersionAvailable Po wyznaczeniu nowej wersji jako domyślnej wdrożenie modelu automatycznie uaktualnia do wersji domyślnej w ciągu dwóch tygodni od wprowadzenia tej zmiany oznaczenia.
OnceCurrentVersionExpired Po osiągnięciu daty wycofania wdrożenie modelu zostanie automatycznie uaktualnione do bieżącej wersji domyślnej.
NoAutoUpgrade Wdrożenie modelu nigdy nie jest automatycznie uaktualniane. Po osiągnięciu daty wycofania wdrożenie modelu przestanie działać. Należy zaktualizować kod odwołujący się do tego wdrożenia, aby wskazywał na nieistniejące wdrożenie modelu.

Uwaga

null jest równoważne z AutoUpgradeWhenExpired. Jeśli opcja Zasady aktualizacji wersji nie istnieje we właściwościach modelu obsługującego uaktualnienia modelu, oznacza to, że wartość jest obecnie nullwartością . Po jawnym zmodyfikowaniu tej wartości właściwość będzie widoczna na stronie właściwości studio, a także za pośrednictwem interfejsu API REST.

Przykłady

Zapoznaj się z przewodnikiem wprowadzenie do programu Azure PowerShell, aby zainstalować program Azure PowerShell lokalnie lub możesz użyć usługi Azure Cloud Shell.

W poniższych krokach pokazano sprawdzanie VersionUpgradeOption właściwości opcji, a także aktualizowanie jej:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Aktualizowanie i wdrażanie modeli za pośrednictwem interfejsu API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Parametry ścieżki

Parametr Type Wymagane? opis
acountname string Wymagania Nazwa zasobu usługi Azure OpenAI.
deploymentName string Wymagania Nazwa wdrożenia wybrana podczas wdrażania istniejącego modelu lub nazwa, którą ma mieć nowe wdrożenie modelu.
resourceGroupName string Wymagania Nazwa skojarzonej grupy zasobów dla tego wdrożenia modelu.
subscriptionId string Wymagania Identyfikator subskrypcji skojarzonej subskrypcji.
api-version string Wymagania Wersja interfejsu API do użycia dla tej operacji. Jest zgodna z formatem RRRR-MM-DD.

Obsługiwane wersje

Treść żądania

Jest to tylko podzestaw dostępnych parametrów treści żądania. Pełną listę parametrów można znaleźć w dokumentacji referencyjnej interfejsu API REST.

Parametr Type Opis
versionUpgradeOption String Opcje uaktualniania wersji modelu wdrażania:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
capacity integer Reprezentuje to ilość przydziału przypisywanego do tego wdrożenia. Wartość 1 równa 1000 tokenów na minutę (TPM)

Przykładowe żądanie

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Uwaga

Istnieje wiele sposobów generowania tokenu autoryzacji. Najprostszą metodą testowania początkowego jest uruchomienie usługi Cloud Shell w witrynie Azure Portal. Następnie należy uruchomić polecenie az account get-access-token. Możesz użyć tego tokenu jako tymczasowego tokenu autoryzacji na potrzeby testowania interfejsu API.

Przykładowa odpowiedź

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Następne kroki