Praca z modelami usługi Azure OpenAI
Usługa Azure OpenAI Service jest obsługiwana przez zróżnicowany zestaw modeli z różnymi możliwościami i cenami. Dostępność modelu różni się w zależności od regionu.
Listę modeli, które są dostępne zarówno do wnioskowania, jak i dostrajania przez zasób usługi Azure OpenAI, można uzyskać przy użyciu interfejsu API listy modeli.
Aktualizacje modelu
Usługa Azure OpenAI obsługuje teraz aktualizacje automatyczne dla wybranych wdrożeń modelu. W modelach, w których jest dostępna obsługa aktualizacji automatycznych, lista rozwijana wersji modelu jest widoczna w usłudze Azure OpenAI Studio w obszarze Wdrożenia i Edytuj:
Więcej informacji na temat wersji modelu usługi Azure OpenAI i sposobu ich działania można uzyskać w artykule Wersje modelu usługi Azure OpenAI.
Automatyczna aktualizacja do domyślnej
Po ustawieniu wdrożenia na Wartość domyślna Automatyczna aktualizacja zostanie automatycznie zaktualizowana w ciągu dwóch tygodni od zmiany wersji domyślnej. W przypadku wersji zapoznawczej jest ona aktualizowana automatycznie, gdy nowa wersja zapoznawcza jest dostępna od dwóch tygodni po wydaniu nowej wersji zapoznawczej.
Jeśli nadal używasz wczesnych faz testowania dla modeli wnioskowania, zalecamy wdrażanie modeli z automatyczną aktualizacją do ustawienia domyślnego zawsze, gdy jest dostępna.
Określona wersja modelu
W miarę rozwoju korzystania z usługi Azure OpenAI i rozpoczynasz tworzenie i integrowanie z aplikacjami, możesz ręcznie kontrolować aktualizacje modelu. Przed uaktualnieniem można najpierw przetestować i sprawdzić, czy zachowanie aplikacji jest spójne dla twojego przypadku użycia.
Po wybraniu konkretnej wersji modelu dla wdrożenia ta wersja pozostaje wybrana do momentu wybrania opcji ręcznej aktualizacji lub po osiągnięciu daty wycofania modelu. Po osiągnięciu daty wycofania model zostanie automatycznie uaktualniony do domyślnej wersji w momencie wycofania.
Wyświetlanie dat wycofania
W przypadku aktualnie wdrożonych modeli w usłudze Azure OpenAI Studio wybierz pozycję Wdrożenia:
Konfiguracja uaktualniania wdrożenia modelu
Możesz sprawdzić, jakie opcje uaktualniania modelu są ustawione dla wcześniej wdrożonych modeli w programie Azure OpenAI Studio. Wybierz pozycję Wdrożenia> w kolumnie Nazwa wdrożenia wybierz jedną z nazw wdrożeń wyróżnioną kolorem niebieskim.
Wybranie nazwy wdrożenia powoduje otwarcie właściwości wdrożenia modelu. W obszarze Zasady aktualizacji wersji można wyświetlić, jakie opcje uaktualniania zostały ustawione dla wdrożenia:
Dostęp do odpowiedniej właściwości można również uzyskać za pośrednictwem interfejsu wiersza polecenia REST, programu Azure PowerShell i interfejsu wiersza polecenia platformy Azure.
| Opcja | Czytaj | Zaktualizuj |
|---|---|---|
| REST | Tak. Jeśli versionUpgradeOption nie zostanie zwrócona, oznacza to, że jest null |
Tak |
| Azure PowerShell | Tak.VersionUpgradeOption można sprawdzić, czy $null |
Tak |
| Interfejs wiersza polecenia platformy Azure | Tak. null Pokazuje, czy versionUpgradeOption nie jest ustawiona. |
L.p. Obecnie nie można zaktualizować opcji uaktualnienia wersji. |
Istnieją trzy różne opcje uaktualniania wdrożenia modelu:
| Nazwa/nazwisko | opis |
|---|---|
OnceNewDefaultVersionAvailable |
Po wyznaczeniu nowej wersji jako domyślnej wdrożenie modelu automatycznie uaktualnia do wersji domyślnej w ciągu dwóch tygodni od wprowadzenia tej zmiany oznaczenia. |
OnceCurrentVersionExpired |
Po osiągnięciu daty wycofania wdrożenie modelu zostanie automatycznie uaktualnione do bieżącej wersji domyślnej. |
NoAutoUpgrade |
Wdrożenie modelu nigdy nie jest automatycznie uaktualniane. Po osiągnięciu daty wycofania wdrożenie modelu przestanie działać. Należy zaktualizować kod odwołujący się do tego wdrożenia, aby wskazywał na nieistniejące wdrożenie modelu. |
Uwaga
null jest równoważne z OnceCurrentVersionExpired. Jeśli opcja Zasady aktualizacji wersji nie istnieje we właściwościach modelu obsługującego uaktualnienia modelu, oznacza to, że wartość jest obecnie nullwartością . Po jawnym zmodyfikowaniu tej wartości właściwość będzie widoczna na stronie właściwości studio, a także za pośrednictwem interfejsu API REST.
Przykłady
Zapoznaj się z przewodnikiem wprowadzenie do programu Azure PowerShell, aby zainstalować program Azure PowerShell lokalnie lub możesz użyć usługi Azure Cloud Shell.
W poniższych krokach pokazano sprawdzanie VersionUpgradeOption właściwości opcji, a także aktualizowanie jej:
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}
// To update to a new model version
// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version
// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
// repeat step 1 and 2 to confirm the change.
Aktualizowanie i wdrażanie modeli za pośrednictwem interfejsu API
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01
Parametry ścieżki
| Parametr | Type | Wymagane? | opis |
|---|---|---|---|
acountname |
string | Wymagania | Nazwa zasobu usługi Azure OpenAI. |
deploymentName |
string | Wymagania | Nazwa wdrożenia wybrana podczas wdrażania istniejącego modelu lub nazwa, którą ma mieć nowe wdrożenie modelu. |
resourceGroupName |
string | Wymagania | Nazwa skojarzonej grupy zasobów dla tego wdrożenia modelu. |
subscriptionId |
string | Wymagania | Identyfikator subskrypcji skojarzonej subskrypcji. |
api-version |
string | Wymagania | Wersja interfejsu API do użycia dla tej operacji. Jest zgodna z formatem RRRR-MM-DD. |
Obsługiwane wersje
2023-05-01Specyfikacja struktury Swagger
Treść żądania
Jest to tylko podzestaw dostępnych parametrów treści żądania. Pełną listę parametrów można znaleźć w dokumentacji referencyjnej interfejsu API REST.
| Parametr | Type | Opis |
|---|---|---|
| versionUpgradeOption | String | Opcje uaktualniania wersji modelu wdrażania:OnceNewDefaultVersionAvailableOnceCurrentVersionExpiredNoAutoUpgrade |
| capacity | integer | Reprezentuje to ilość przydziału przypisywanego do tego wdrożenia. Wartość 1 równa 1000 tokenów na minutę (TPM) |
Przykładowe żądanie
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
-H "Content-Type: application/json" \
-H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
-d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'
Uwaga
Istnieje wiele sposobów generowania tokenu autoryzacji. Najprostszą metodą testowania początkowego jest uruchomienie usługi Cloud Shell w witrynie Azure Portal. Następnie należy uruchomić polecenie az account get-access-token. Możesz użyć tego tokenu jako tymczasowego tokenu autoryzacji na potrzeby testowania interfejsu API.
Przykładowa odpowiedź
{
"id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
"type": "Microsoft.CognitiveServices/accounts/deployments",
"name": "gpt-35-turbo",
"sku": {
"name": "Standard",
"capacity": 120
},
"properties": {
"model": {
"format": "OpenAI",
"name": "gpt-35-turbo",
"version": "0613"
},
"versionUpgradeOption": "OnceCurrentVersionExpired",
"capabilities": {
"chatCompletion": "true"
},
"provisioningState": "Succeeded",
"rateLimits": [
{
"key": "request",
"renewalPeriod": 10,
"count": 120
},
{
"key": "token",
"renewalPeriod": 60,
"count": 120000
}
]
},
"systemData": {
"createdBy": "docs@contoso.com",
"createdByType": "User",
"createdAt": "2023-02-28T02:57:15.8951706Z",
"lastModifiedBy": "docs@contoso.com",
"lastModifiedByType": "User",
"lastModifiedAt": "2023-10-31T15:35:53.082912Z"
},
"etag": "\"GUID\""
}