Mulai cepat: Membuat penyebaran throughput yang disediakan

Sedang menampilkan:Versi portal Foundry baru - Beralih ke versi portal Foundry klasik

Dalam panduan mulai cepat ini, Anda membuat deployment throughput yang diprovisikan di Microsoft Foundry, melakukan panggilan inferensi untuk memastikan deployment tersebut berfungsi, dan melihat metrik pemanfaatannya.

Penerapan throughput yang diprovisikan memberikan throughput pemrosesan model khusus untuk aplikasi Anda dengan latensi yang dapat diprediksi. Penagihan dilakukan per unit throughput yang disediakan (PTU) per jam. Untuk beban kerja jangka panjang, reservasi Azure menawarkan diskon keuangan dibandingkan dengan penagihan per jam. Untuk penjelasan konseptual lengkap, lihat Apa itu throughput yang diprovisikan untuk Foundry Models?.

Prasyarat

  • Langganan Azure dengan metode pembayaran yang valid. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai.
  • peran Kontributor Azure atau Kontributor Layanan Kognitif pada langganan atau grup sumber daya tempat Anda berencana membuat penyebaran.
  • Proyek Microsoft Foundry di wilayah tempat Anda memiliki kuota PTU. Proyek Foundry dikelola di bawah sumber daya Foundry.
  • Secara opsional, untuk penyebaran menggunakan Azure CLI, instal Azure CLI.

Memeriksa ketersediaan model dan wilayah

Sebelum membuat penyebaran, konfirmasikan bahwa model Anda mendukung throughput yang disediakan di wilayah target Anda.

  1. Buka tabel ketersediaan model dan wilayah untuk melihat apakah model Anda mendukung penyebaran throughput yang disediakan di wilayah target Anda.
  2. Filter berdasarkan wilayah Anda dan pastikan bahwa model tersebut muncul dalam jenis deployment Provisioned.

Perhatikan juga jumlah minimum PTU model, karena Anda memerlukan informasi ini saat mengonfigurasi deployment. Minimum bervariasi menurut model dan tercantum dalam Parameter penyebaran dan nilai throughput berdasarkan model.

Periksa kuota PTU

Sebelum mengikuti mulai cepat ini, periksa apakah Anda memiliki kuota untuk wilayah target dan jenis penyebaran Anda. Untuk memeriksa kuota Anda:

  1. Masuk ke Microsoft Foundry. Pastikan tombol New Foundry aktif. Langkah-langkah ini mengacu pada Foundry (baru).

  2. Pilih langganan dan sumber daya Foundry di wilayah tempat Anda memiliki kuota PTU.

  3. Pilih Kelola di navigasi kanan atas, lalu pilih Kuota di panel kiri.

  4. Pilih Unit throughput yang disediakan untuk melihat kuota yang tersedia. Jika Anda tidak memiliki kuota, pilih Minta Kuota dan lengkapi formulir. Persetujuan kuota dapat memakan waktu beberapa hari, dan Anda menerima pemberitahuan email saat permintaan disetujui.

    Tip

    Anda juga dapat mengikuti tautan langsung ini ke formulir permintaan kuota.

Buat deployment yang diprovisikan

Di bagian ini, Anda membuat penyebaran yang disediakan menggunakan portal Foundry atau Azure CLI.

Menggunakan portal Foundry untuk penyebaran

  1. Pilih Temukan di navigasi kanan atas, lalu pilih Model di panel kiri.

  2. Pilih model yang ingin Anda sebarkan untuk membuka kartu modelnya, seperti gpt-5.1.

  3. Pilih Sebarkan>Pengaturan kustom.

  4. Di menu dropdown Jenis penyebaran , pilih jenis penyebaran yang disediakan: Throughput Yang Disediakan Global, Throughput yang Disediakan Zona Data, atau Throughput yang Disediakan Regional.

  5. Isi bidang penyebaran:

    Ladang Description
    Nama penempatan Nama yang Anda pilih. Gunakan nama ini dalam kode Anda untuk memanggil model.
    Model Model yang akan di-deploy, misalnya gpt-5.1.
    Versi model Versi dari model tersebut.
    Unit throughput yang disediakan Jumlah PTU yang akan dialokasikan. Harus memenuhi minimum model, misalnya, 50.

  6. Pilih Konfirmasi harga untuk meninjau tarif per jam untuk penyebaran. Penagihan dimulai segera setelah deployment dibuat, bahkan ketika tidak ada request yang dikirim. Anda menghentikan penagihan dengan menghapus deployment Anda. Jika Anda tidak yakin dengan biaya, pilih Batalkan dan tinjau penagihan PTU dan manajemen biaya sebelum melanjutkan.

  7. Konfirmasikan dan buat penerapan.

(Opsional) Menggunakan Azure CLI untuk penyebaran

Atau, Anda dapat membuat penyebaran dengan menggunakan Azure CLI.

  1. Buat deployment yang diprovisikan untuk GPT-5.1 dengan jumlah 50 PTU.

    az cognitiveservices account deployment create \
--name <myResourceName> \
--resource-group <myResourceGroupName> \
--deployment-name <myDeploymentName> \
--model-name GPT-5.1 \
--model-version "2025-11-13" \
--model-format OpenAI \
--sku-capacity 50 \
--sku-name GlobalProvisionedManaged

    • Ganti <myResourceName>, <myResourceGroupName>, <myDeploymentName> dengan nilai Anda.

    • --sku-name menentukan jenis penyebaran: GlobalProvisionedManaged, , DataZoneProvisionedManagedatau ProvisionedManaged.

    • --sku-capacity adalah jumlah PTU. Di sini, disetel ke 50.

    Referensi: penyebaran akun az cognitiveservices

  2. Konfirmasikan bahwa penyebaran berhasil diselesaikan:

    az cognitiveservices account deployment show \
    --deployment-name <myDeploymentName> \
    --name <myResourceName> \
    --resource-group <myResourceGroupName> \
    --query "properties.provisioningState" -o tsv

    Hasilnya harus menampilkan Succeeded. Model siap digunakan setelah provisi selesai.

    Perintah: az cognitiveservices account deployment show

REST, template ARM, Bicep, dan Terraform juga dapat digunakan untuk membuat penerapan. Lihat Mengotomatiskan penyebaran dan mengganti sku.name dengan GlobalProvisionedManaged, , DataZoneProvisionedManagedatau ProvisionedManaged.

Melakukan panggilan inferensi

Kode inferensi untuk penyebaran yang disediakan sama dengan untuk jenis penyebaran lainnya. Gunakan nama deployment Anda (bukan nama model) sebagai nilai parameter model.

Kode di bagian ini menggunakan autentikasi kunci API. Anda juga dapat menggunakan autentikasi Entra ID. Untuk detail tentang menggunakan autentikasi Entra ID saat melakukan panggilan inferensi, lihat Cara menghasilkan respons teks dengan Model Foundry Microsoft.

Sebelum menjalankan sampel, atur variabel lingkungan berikut:

  • AZURE_OPENAI_API_KEY: kunci API sumber daya Anda.

Important

Jangan mengodekan kredensial secara permanen di aplikasi Anda. Untuk beban kerja produksi, gunakan penyimpanan kredensial aman seperti Azure Key Vault. Lihat fitur Keamanan untuk Layanan Azure AI.

  1. Instal OpenAI SDK:

    pip install openai

  2. Konfigurasikan klien OpenAI, tentukan penyebaran Anda, dan hasilkan respons. Ganti <myResourceName> dengan nama sumber daya Foundry Anda.

    import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),
    base_url="https://<myResourceName>.openai.azure.com/openai/v1/",
)

response = client.responses.create(
    model="<myDeploymentName>",  # Your deployment name, not the model name
    input="What is provisioned throughput?",
    max_output_tokens=100,
)

print(response.output_text)

Melihat pemanfaatan penyebaran

Setelah melakukan panggilan, konfirmasikan bahwa lalu lintas mencapai penyebaran Anda dengan memeriksa pemanfaatannya di portal Azure.

  1. Masuk ke portal Azure.
  2. Navigasi ke sumber daya Foundry Anda dan pilih Metrik di navigasi kiri.
  3. Pilih metrik Pemanfaatan terkelola yang diprovisikan V2.
  4. Jika Anda memiliki lebih dari satu deployment dalam resource, filter berdasarkan nama deployment untuk melihat utilisasi tiap deployment.

Nilai penggunaan yang mendekati 0% segera setelah panggilan uji Anda adalah hal yang normal — metrik diperbarui dalam jangka waktu pemantauan.

Cuplikan layar Azure Metrics yang menampilkan bagan Provisioned-managed Utilization V2 yang difilter berdasarkan nama deployment.

Untuk penjelasan lengkap tentang bagaimana pemanfaatan dihitung dan apa yang harus dilakukan ketika mencapai 100%, lihat Mengoperasikan penyebaran yang disediakan dalam produksi.

Pertimbangkan untuk menyiapkan luapan

Spillover secara otomatis merutekan permintaan luapan dari penyebaran yang Anda sediakan ke penyebaran standar di sumber daya Foundry yang sama. Ketika deployment yang diprovisikan digunakan sepenuhnya dan mengembalikan kode 429, spillover mengalihkan permintaan berlebih tersebut ke deployment standar, bukannya gagal, sehingga membantu mengurangi gangguan selama lonjakan lalu lintas. Untuk mempelajari selengkapnya tentang mengaktifkan permintaan spillover dan pemantauan spillover, lihat Mengelola lalu lintas dengan spillover untuk penyebaran yang disediakan.

Pertimbangkan untuk membeli reservasi

Deployment Anda dikenakan biaya per jam. Jika Anda berencana untuk tetap menjalankannya selama lebih dari beberapa hari, membeli Azure Reservation akan mengurangi biaya efektif $/PTU/jam dibandingkan penagihan per jam.

Jika Anda berencana membeli reservasi setelah membuat penyebaran, pastikan bahwa Anda memiliki peran pemilik atau peran pembeli reservasi pada langganan Azure. Peran yang diperlukan untuk membeli reservasi berbeda dari peran yang diperlukan untuk membuat penyebaran. Lihat Reservasi Throughput yang Disediakan untuk persyaratan peran.

Important

Selalu buat dan konfirmasikan deployment Anda sebelum membeli reservasi. Reservasi harus sesuai dengan jenis penyebaran Anda (Global, Zona Data, atau Regional) dan cakupan langganan. Untuk penyebaran Zona Data dan Regional, wilayah reservasi juga harus cocok. Untuk penyebaran Global, satu reservasi Global dapat mencakup penyebaran PTU Global di beberapa wilayah. Berkomitmen pada reservasi untuk kapasitas yang belum Anda konfirmasi tersedia dapat mengakibatkan komitmen keuangan yang tidak dapat Anda gunakan.

Untuk panduan penentuan ukuran, langkah pembelian, dan pengelolaan, lihat Azure Reservations for provisioned throughput.

Membersihkan sumber daya

Menghapus sumber daya Foundry tidak secara otomatis menghapus penyebarannya. Selalu hapus semua deployment sebelum menghapus sumber daya, karena biaya untuk deployment pada sumber daya yang telah dihapus akan terus dikenakan hingga sumber daya tersebut dihapus sepenuhnya. Lihat Membersihkan sumber daya.

Note

Menghapus penyebaran tidak membatalkan Reservasi Azure. Jika Anda membelinya, batalkan atau tukarkan secara terpisah di halaman Reservations di portal Azure. Pembatalan mungkin dikenakan biaya penghentian awal.

Ikuti langkah-langkah ini untuk menghentikan penagihan per jam dengan menghapus deployment.

Menghapus penyebaran di portal Foundry

  1. Di Portal Foundry, buka deployment Anda.
  2. Pilih penerapan, lalu pilih Hapus dan konfirmasikan.

(Opsional) Menghapus penyebaran dengan Azure CLI

az cognitiveservices account deployment delete \
    --deployment-name <myDeploymentName> \
    --name <myResourceName> \
    --resource-group <myResourceGroupName>

Referensi: az cognitiveservices account deployment delete

Langkah selanjutnya

  • Terakhir diperbarui pada