Bagikan melalui

Bekerja dengan model

Azure OpenAI di Microsoft Foundry Models didukung oleh beragam model dengan kemampuan dan titik harga yang berbeda. ketersediaan Model bervariasi menurut wilayah.

Anda bisa mendapatkan daftar model yang tersedia untuk inferensi dan penyempurnaan oleh sumber daya OpenAI Azure Anda dengan menggunakan Models List API.

Artikel ini memperlihatkan kepada Anda cara:

  • Mengonfigurasi pembaruan model otomatis.
  • Menampilkan dan memperbarui kebijakan peningkatan versi penyebaran.
  • Perbarui versi model yang disebarkan dengan menggunakan API Azure Resource Manager.
  • Migrasikan penyebaran yang disediakan ke versi model atau keluarga yang berbeda.

Prasyarat

  • Langganan Azure dengan berbagai model OpenAI Azure.

Pembaruan model

Azure OpenAI mendukung pembaruan otomatis untuk penyebaran model tertentu. Pada model yang mendukung pembaruan otomatis, tersedia opsi drop-down untuk kebijakan peningkatan versi model.

Anda dapat mempelajari selengkapnya tentang versi model OpenAI Azure dan cara kerjanya di artikel Azure versi model OpenAI.

Nota

Pembaruan model otomatis hanya didukung untuk jenis penyebaran Standar. Untuk informasi selengkapnya tentang cara mengelola pembaruan model dan migrasi pada jenis penyebaran yang disediakan, lihat bagian tentang mengelola model pada jenis penyebaran yang disediakan

Pembaruan otomatis ke default

Saat Anda mengatur penyebaran ke Pembaruan otomatis ke default, penyebaran model Anda secara otomatis diperbarui dalam waktu dua minggu setelah perubahan dalam versi default. Untuk versi pratinjau, pembaruan otomatis terjadi saat versi baru tersedia, dimulai dua minggu setelah versi tersebut dirilis.

Jika Anda masih dalam fase pengujian awal untuk model inferensi, sebaiknya sebarkan model dengan pembaruan otomatis ke set default setiap kali tersedia.

Versi model tertentu

Saat penggunaan Azure OpenAI berkembang, dan Anda mulai membangun dan berintegrasi dengan aplikasi, Anda mungkin ingin mengontrol pembaruan model secara manual. Anda dapat terlebih dahulu menguji dan memvalidasi bahwa perilaku aplikasi Anda konsisten untuk kasus penggunaan Anda sebelum meningkatkan.

Saat Anda memilih versi model tertentu untuk penyebaran, versi ini tetap dipilih hingga Anda memilih untuk memperbarui secara manual, atau setelah Anda mencapai tanggal pengakhiran model. Ketika tanggal penghentian tercapai, model akan secara otomatis ditingkatkan ke versi default pada saat penghentian.

Konfigurasi peningkatan penyebaran model

Anda dapat memeriksa opsi peningkatan model yang tersedia untuk model yang sudah disebarkan sebelumnya menggunakan REST, Azure CLI, dan Azure PowerShell, serta dengan portal Foundry.

Properti yang sesuai juga dapat diakses melalui REST, Azure PowerShell, dan Azure CLI.

Option Read Update
REST Ya. Jika versionUpgradeOption tidak dikembalikan, itu berarti itu null Yes
Azure PowerShell Ya. VersionUpgradeOption dapat diperiksa untuk $null Yes
Azure CLI Ya. Ini menunjukkan null jika versionUpgradeOption tidak diatur. Tidak. Saat ini tidak dimungkinkan untuk memperbarui opsi peningkatan versi.

Ada tiga opsi peningkatan penyebaran model yang berbeda:

Nama Deskripsi
OnceNewDefaultVersionAvailable Setelah versi baru ditetapkan sebagai default, penyebaran model secara otomatis ditingkatkan ke versi default dalam waktu dua minggu setelah perubahan penugasan tersebut dilakukan.
OnceCurrentVersionExpired Setelah tanggal penghentian tercapai, penyebaran model secara otomatis ditingkatkan ke versi default saat ini.
NoAutoUpgrade Penyebaran model tidak pernah ditingkatkan secara otomatis. Setelah tanggal penghentian tercapai, penyebaran model berhenti berfungsi. Anda perlu memperbarui kode yang mereferensikan penyebaran tersebut untuk menunjuk ke penyebaran model yang tidak ada.

Nota

null setara dengan OnceCurrentVersionExpired. Jika opsi Kebijakan pembaruan versi tidak ada di properti untuk model yang mendukung peningkatan model, ini menunjukkan nilainya saat ini null. Setelah Anda secara eksplisit memodifikasi nilai ini, properti terlihat di halaman properti studio serta melalui REST API.

Contoh

Tinjau panduan Azure PowerShell getting started untuk menginstal Azure PowerShell secara lokal atau Anda dapat menggunakan Azure Cloud Shell.

Langkah-langkah di bawah ini menunjukkan pemeriksaan VersionUpgradeOption properti opsi serta memperbaruinya:

# Step 1: Get deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
# Step 2: Show VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
# VersionUpgradeOption can be null. One way to check is:
$null -eq $deployment.Properties.VersionUpgradeOption
 
# Step 3: Update VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
# Repeat steps 1 and 2 to confirm the change.
# If you aren't sure about the deployment name, list all deployments under an account:
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

# Update to a new model version

# Step 1: Get deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

# Step 2: Show the current model version
$deployment.Properties.Model.Version

# Step 3: Update the model version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

# Repeat steps 1 and 2 to confirm the change.

Memperbarui & menyebarkan model melalui API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2025-06-01

Parameter jalur

Pengaturan Tipe Diperlukan? Deskripsi
accountName string Diperlukan Nama sumber daya OpenAI Azure Anda.
deploymentName string Diperlukan Nama penyebaran yang Anda pilih saat menyebarkan model yang sudah ada atau nama yang Anda inginkan untuk penyebaran model baru.
resourceGroupName string Diperlukan Nama grup sumber daya terkait untuk penyebaran model ini.
subscriptionId string Diperlukan ID Langganan untuk langganan terkait.
api-version string Diperlukan Versi API yang digunakan untuk operasi ini. Ini mengikuti format YYYY-MM-DD.

Versi yang didukung

Badan permintaan

Ini hanya subset dari parameter isi permintaan yang tersedia. Untuk daftar lengkap parameter, Anda dapat merujuk ke dokumentasi referensi REST API.

Pengaturan Tipe Deskripsi
opsiPembaruanVersi String Opsi peningkatan versi model penyebaran:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
kapasitas bilangan bulat Ini menunjukkan jumlah kuota yang Anda tetapkan untuk penyebaran ini. Nilai 1 sama dengan 1.000 Token per Menit (TPM)

Contoh permintaan

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2025-06-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Nota

Ada beberapa cara untuk menghasilkan token otorisasi. Metode term mudah untuk pengujian awal adalah meluncurkan Cloud Shell dari Azure portal. Kemudian jalankan az account get-access-token. Anda dapat menggunakan token ini sebagai token otorisasi sementara untuk pengujian API.

Contoh tanggapan

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Mengelola model pada jenis penyebaran yang sudah diatur

Penyebaran yang sudah disediakan mendukung praktik pengelolaan model yang berbeda. Praktik manajemen model penyebaran yang disediakan dimaksudkan untuk memberi Anda kontrol terbesar atas kapan dan bagaimana Anda bermigrasi antara versi model dan keluarga model. Saat ini, ada dua pendekatan yang tersedia untuk mengelola model pada penyebaran yang disediakan: (1) migrasi di tempat dan (2) migrasi multi-penyebaran.

Prasyarat

  • Validasi bahwa versi model target atau keluarga model didukung untuk jenis penyebaran yang sudah ada. Migrasi hanya dapat terjadi antara penyebaran yang telah disiapkan dari tipe penyebaran yang sama. Untuk informasi selengkapnya tentang jenis penyebaran, tinjau dokumentasi jenis penyebaran.
  • Validasi ketersediaan kapasitas untuk versi model target atau keluarga model Anda sebelum mencoba migrasi. Untuk informasi selengkapnya tentang menentukan ketersediaan kapasitas, tinjau dokumentasi transparansi kapasitas.
  • Untuk migrasi multi-penyebaran, validasi bahwa Anda memiliki kuota yang memadai untuk mendukung beberapa penyebaran secara bersamaan. Untuk informasi selengkapnya tentang cara memvalidasi kuota untuk setiap jenis penyebaran yang disediakan, tinjau dokumentasi biaya throughput yang disediakan.

Migrasi di tempat untuk penyebaran yang disediakan

Migrasi di tempat memungkinkan Anda mempertahankan nama dan ukuran penyebaran yang disediakan yang sama sambil mengubah versi model atau keluarga model yang ditetapkan ke penyebaran tersebut. Melalui migrasi langsung, Azure OpenAI mengelola pemindahan segala lalu lintas saat ini antara versi model atau keluarga model selama proses migrasi dalam jendela waktu 20-30 menit. Di seluruh jendela migrasi, penyebaran yang disediakan akan menampilkan status "memperbarui" yang disediakan. Anda dapat terus menggunakan pengaturan sistem yang disediakan seperti biasa. Setelah migrasi di tempat selesai, status yang disediakan akan diperbarui menjadi "berhasil", yang menunjukkan bahwa semua lalu lintas telah dimigrasikan ke versi model target atau keluarga model.

Migrasi langsung: pembaruan versi model

Migrasi di tempat yang menargetkan pembaruan penyebaran yang tersedia ke versi model baru dalam keluarga model yang sama didukung melalui Foundry, REST API, dan Azure CLI. Untuk melakukan migrasi di tempat yang menargetkan pembaruan versi model dalam Foundry, pilih Penyebaran> di bawah kolom nama penyebaran pilih nama penyebaran penyebaran yang disediakan yang ingin Anda migrasikan.

Memilih nama penyebaran akan membuka Properti untuk penyebaran model. Dari tampilan ini, pilih tombol edit , yang akan menampilkan kotak dialog Perbarui penyebaran . Pilih menu tarik-turun versi model untuk mengatur versi model yang baru untuk penyebaran yang telah disiapkan. Seperti yang disebutkan, status provisi akan berubah menjadi "memperbarui" selama migrasi dan akan kembali ke "berhasil" setelah migrasi selesai.

Migrasi di tempat: perubahan keluarga model

Migrasi di tempat yang menargetkan pembaruan penyebaran yang sudah disediakan ke keluarga model baru didukung melalui REST API dan Azure CLI. Untuk melakukan migrasi di tempat yang menargetkan perubahan keluarga model, gunakan contoh permintaan di bawah ini sebagai panduan. Dalam permintaan, Anda harus memperbarui nama model dan versi model untuk model target yang Anda migrasikan.

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment?api-version=2024-10-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"GlobalProvisionedManaged","capacity":100},"properties": {"model": {"format": "OpenAI","name": "gpt-4o-mini","version": "2024-07-18"}}}'

Contoh tanggapan

{
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-4o-ptu-deployment",
  "sku": {
    "name": "GlobalProvisionedManaged",
    "capacity": 100
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-4o-mini",
      "version": "2024-07-18"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "currentCapacity": 100,
    "capabilities": {
      "area": "EUR",
      "chatCompletion": "true",
      "jsonObjectResponse": "true",
      "maxContextToken": "128000",
      "maxOutputToken": "16834",
      "assistants": "true"
    },
    "provisioningState": "Updating",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 300
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2025-01-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2025-01-29T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Nota

Ada beberapa cara untuk menghasilkan token otorisasi. Metode term mudah untuk pengujian awal adalah meluncurkan Cloud Shell dari Azure portal. Kemudian jalankan az account get-access-token. Anda dapat menggunakan token ini sebagai token otorisasi sementara untuk pengujian API.

Migrasi multi-penyebaran untuk penyebaran yang dipersiapkan

Migrasi multi-penyebaran memungkinkan Anda untuk memiliki kontrol lebih besar atas proses migrasi model. Dengan migrasi multi-penerapan, Anda dapat menentukan seberapa cepat Anda ingin memigrasikan lalu lintas yang ada ke versi model target atau keluarga model pada penerapan baru yang disediakan. Proses untuk bermigrasi ke versi model baru atau keluarga model dengan menggunakan pendekatan migrasi multi-penyebaran adalah sebagai berikut:

  • Buat penyebaran baru yang diatur. Untuk penyebaran baru ini, Anda dapat memilih untuk mempertahankan jenis penyebaran yang disediakan yang sama dengan penyebaran yang ada atau memilih jenis penyebaran baru jika diinginkan.
  • Transisikan lalu lintas dari penyebaran yang ada ke penyebaran baru yang telah disiapkan dengan versi model target atau keluarga model Anda sampai semua lalu lintas dialihkan dari penyebaran asli.
  • Setelah lalu lintas dimigrasikan ke penyebaran baru, validasi bahwa tidak ada permintaan inferensi yang diproses pada penyebaran yang disediakan sebelumnya dengan memastikan metrik Permintaan OpenAI Azure tidak menampilkan panggilan API apa pun yang dilakukan dalam waktu 5-10 menit setelah lalu lintas inferensi dimigrasikan ke penyebaran baru. Untuk informasi selengkapnya tentang metrik ini, lihat dokumentasi Monitor Azure OpenAI.
  • Setelah Anda mengonfirmasi bahwa tidak ada panggilan inferensi yang dilakukan, hapus penyebaran asli yang disediakan.

Troubleshooting

Anda mendapatkan respons 401 atau 403 dari API Azure Resource Manager

  • Konfirmasikan token access Anda valid dan tidak kedaluwarsa.
  • Pastikan Anda memiliki izin untuk membaca dan memperbarui implementasi untuk sumber daya.
  • Last updated on