Hanya berlaku untuk:
Portal Foundry (klasik). Artikel ini tidak tersedia untuk portal Foundry baru.
Pelajari selengkapnya tentang portal baru.
Catatan
Tautan dalam artikel ini mungkin membuka konten dalam dokumentasi Microsoft Foundry baru alih-alih dokumentasi Foundry (klasik) yang Anda lihat sekarang.
Setelah menyempurnakan model, Anda mungkin ingin menguji kualitasnya melalui API Penyelesaian Obrolan atau layanan Evaluasi .
Penyebaran Tingkat Pengembang memungkinkan Anda untuk menyebarkan model baru Anda tanpa biaya hosting per jam yang dikeluarkan oleh penyebaran Standar atau Global. Biaya yang dikeluarkan hanya berdasarkan jumlah token. Lihat halaman harga untuk harga terbaru.
Penting
Tingkat Pengembang tidak menjamin ketersediaan SLA dan tidak memberikan jaminan residensi data. Jika Anda memerlukan SLA atau residensi data, pilih jenis penyebaran alternatif untuk menguji model Anda.
Penyebaran Tingkat Pengembang memiliki masa pakai tetap 24 jam. Pelajari selengkapnya di bawah ini tentang siklus hidup penyebaran.
Menyebarkan model yang dioptimalkan
Untuk menyebarkan kandidat model Anda, pilih model yang disempurnakan untuk disebarkan, lalu pilih Sebarkan.
Kotak dialog Sebarkan model terbuka. Dalam kotak dialog, masukkan Nama penyebaran Anda lalu pilih Pengembang dari menu drop-down jenis penyebaran. Pilih Buat untuk memulai penyebaran model kustom Anda.
Anda dapat memantau kemajuan penyebaran baru Anda di panel Deployments di portal Microsoft Foundry.
import json
import os
import requests
token = os.getenv("<TOKEN>")
subscription = "<YOUR_SUBSCRIPTION_ID>"
resource_group = "<YOUR_RESOURCE_GROUP_NAME>"
resource_name = "<YOUR_AZURE_OPENAI_RESOURCE_NAME>"
model_deployment_name = "gpt41-mini-candidate-01" # custom deployment name that you will use to reference the model when making inference calls.
deploy_params = {'api-version': "2025-07-01-preview"}
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}
deploy_data = {
"sku": {"name": "developertier", "capacity": 50},
"properties": {
"model": {
"format": "OpenAI",
"name": <"fine_tuned_model">, #retrieve this value from the previous call, it will look like gpt41-mini-candidate-01.ft-b044a9d3cf9c4228b5d393567f693b83
"version": "1"
}
}
}
deploy_data = json.dumps(deploy_data)
request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'
print('Creating a new deployment...')
r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)
print(r)
print(r.reason)
print(r.json())
| variabel |
Definisi |
| token |
Ada beberapa cara untuk menghasilkan token otorisasi. Metode term mudah untuk pengujian awal adalah meluncurkan Cloud Shell dari portal Azure. Kemudian jalankan az account get-access-token. Anda dapat menggunakan token ini sebagai token otorisasi sementara untuk pengujian API. Sebaiknya simpan ini dalam variabel lingkungan baru. |
| langganan |
ID langganan untuk sumber daya OpenAI Azure terkait. |
| kelompok_sumber_daya |
Nama grup sumber daya untuk sumber daya OpenAI Azure Anda. |
| nama_sumber_daya |
Nama sumber daya Azure OpenAI. |
| model_deployment_name |
Nama kustom untuk penyebaran model baru yang telah disesuaikan. Ini adalah nama yang akan direferensikan dalam kode Anda saat melakukan panggilan penyelesaian obrolan. |
| model yang telah disesuaikan |
Ambil nilai ini dari hasil pekerjaan penyesuaian Anda pada langkah sebelumnya. Ini akan terlihat seperti gpt41-mini-candidate-01.ft-b044a9d3cf9c4228b5d393567f693b83. Anda harus menambahkan nilai tersebut ke json deploy_data. Atau Anda juga dapat menggunakan titik pemeriksaan, dengan memasukkan ID titik pemeriksaan yang muncul dalam format ftchkpt-e559c011ecc04fc68eaa339d8227d02d |
Contoh berikut menunjukkan cara menggunakan REST API untuk membuat penyebaran model untuk model yang disesuaikan. API REST menghasilkan nama untuk penyebaran model yang disesuaikan.
curl -X POST "https://management.azure.com/subscriptions/<SUBSCRIPTION>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.CognitiveServices/accounts/<RESOURCE_NAME>/deployments/<MODEL_DEPLOYMENT_NAME>?api-version=2025-07-01-preview" \
-H "Authorization: Bearer <TOKEN>" \
-H "Content-Type: application/json" \
-d '{
"sku": {"name": "developertier", "capacity": 50},
"properties": {
"model": {
"format": "OpenAI",
"name": "<FINE_TUNED_MODEL>",
"version": "1"
}
}
}'
| variabel |
Definisi |
| token |
Ada beberapa cara untuk menghasilkan token otorisasi. Metode term mudah untuk pengujian awal adalah meluncurkan Cloud Shell dari portal Azure. Kemudian jalankan az account get-access-token. Anda dapat menggunakan token ini sebagai token otorisasi sementara untuk pengujian API. Sebaiknya simpan ini dalam variabel lingkungan baru. |
| langganan |
ID langganan untuk sumber daya OpenAI Azure terkait. |
| kelompok_sumber_daya |
Nama grup sumber daya untuk sumber daya OpenAI Azure Anda. |
| nama_sumber_daya |
Nama sumber daya Azure OpenAI. |
| model_deployment_name |
Nama kustom untuk penyebaran model baru yang telah disesuaikan. Ini adalah nama yang akan direferensikan dalam kode Anda saat melakukan panggilan penyelesaian obrolan. |
| model yang telah disesuaikan |
Ambil nilai ini dari hasil pekerjaan penyesuaian Anda pada langkah sebelumnya. Ini akan terlihat seperti gpt-4.1-mini-2025-04-14.ft-b044a9d3cf9c4228b5d393567f693b83. Anda harus menambahkan nilai tersebut ke json deploy_data. Atau Anda juga dapat menggunakan titik pemeriksaan, dengan memasukkan ID titik pemeriksaan yang muncul dalam format ftchkpt-e559c011ecc04fc68eaa339d8227d02d |
Menyebarkan model dengan Azure CLI
Contoh berikut menunjukkan cara menggunakan Azure CLI untuk menyebarkan model yang disesuaikan. Dengan Azure CLI, Anda harus menentukan nama untuk penyebaran model yang disesuaikan. Untuk informasi selengkapnya tentang cara menggunakan Azure CLI untuk menyebarkan model yang disesuaikan, lihat az cognitiveservices account deployment.
Untuk menjalankan perintah Azure CLI ini di jendela konsol, Anda harus mengganti <placeholders> dengan nilai yang sesuai untuk model yang telah dikustomisasi:
| Placeholder |
Nilai |
|
<YOUR_AZURE_SUBSCRIPTION> |
Nama atau ID langganan Azure Anda. |
|
<YOUR_RESOURCE_GROUP> |
Nama grup sumber daya Azure Anda. |
|
<YOUR_RESOURCE_NAME> |
Nama sumber daya OpenAI Azure Anda. |
|
<YOUR_DEPLOYMENT_NAME> |
Nama yang ingin Anda gunakan untuk penyebaran model Anda. |
|
<YOUR_FINE_TUNED_MODEL_ID> |
Nama model kustom Anda. |
az cognitiveservices account deployment create
--resource-group <YOUR_RESOURCE_GROUP>
--name <YOUR_RESOURCE_NAME>
--deployment-name <YOUR_DEPLOYMENT_NAME>
--model-name <YOUR_FINE_TUNED_MODEL_ID>
--model-version "1"
--model-format OpenAI
--sku-capacity "50"
--sku-name "Developer"
Gunakan model yang sudah di-deploy dan dioptimalkan
Setelah model kustom Anda disebarkan, Anda dapat menggunakannya seperti model lain yang disebarkan. Anda dapat menggunakan Playgrounds di dalam portal Foundry untuk bereksperimen dengan penyebaran baru Anda. Anda dapat terus menggunakan parameter yang sama dengan model kustom Anda, seperti temperature dan max_tokens, sebagaimana Anda bisa dengan model lain yang telah disebarkan.
Anda juga dapat menggunakan layanan Evaluasi untuk membuat dan menjalankan evaluasi model terhadap kandidat model yang Anda sebarkan serta versi model lainnya.
import os
from openai import OpenAI
client = OpenAI(
base_url = "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
api_key=os.getenv("AZURE_OPENAI_API_KEY"),
)
response = client.chat.completions.create(
model="gpt41-mini-candidate-01", # model = "Custom deployment name you chose for your fine-tuning model"
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
{"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
{"role": "user", "content": "Do other Foundry Tools support this too?"}
]
)
print(response.choices[0].message.content)
curl $AZURE_OPENAI_ENDPOINT/openai/v1/chat/completions \
-H "Content-Type: application/json" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
-d '"model": "YOUR_MODEL_DEPLOYMENT_NAME", {"messages":[{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},{"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},{"role": "user", "content": "Do other Foundry Tools support this too?"}]}'
Bersihkan deployment Anda
Penyebaran pengembang akan dihapus secara otomatis sendiri terlepas dari aktivitasnya. Setiap penyebaran memiliki masa pakai tetap 24 jam setelah itu dapat dihapus. Penghapusan penyebaran tidak menghapus atau memengaruhi model yang disesuaikan yang mendasar dan model yang disesuaikan dapat disebarkan ulang kapan saja.
Untuk menghapus penyebaran secara manual, Anda dapat menggunakan portal Foundry atau menggunakan Azure CLI.
Untuk menggunakan Deployments - Delete REST API , kirim HTTP DELETE ke sumber daya penyebaran. Seperti halnya membuat penyebaran, Anda harus menyertakan parameter berikut:
- ID langganan Azure
- nama grup sumber daya Azure
- Nama sumber daya Azure OpenAI
- Nama penyebaran yang akan dihapus
Di bawah ini adalah contoh REST API untuk menghapus penyebaran:
curl -X DELETE "https://management.azure.com/subscriptions/<SUBSCRIPTION>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.CognitiveServices/accounts/<RESOURCE_NAME>/deployments/<MODEL_DEPLOYMENT_NAME>?api-version=2025-07-01-preview" \
-H "Authorization: Bearer <TOKEN>"
Langkah berikutnya
