Komputasi terkelola di Microsoft Foundry (pratinjau)

Note

Komputasi terkelola di Foundry saat ini masih dalam pratinjau. Pratinjau ini disediakan tanpa adanya perjanjian tingkat layanan, dan kami tidak menyarankan penggunaannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Supplemental Terms of Use for Microsoft Azure Previews.

Komputasi terkelola (pratinjau) adalah jenis penyebaran di Microsoft Foundry yang menghosting model sumber terbuka pada kapasitas GPU khusus tanpa mengharuskan Anda untuk menyediakan komputer virtual, mengoperasikan kluster Kubernetes, membangun gambar kontainer, atau memiliki runtime penyajian model. Microsoft mengelola topologi GPU, runtime, image kontainer, dan penambalan keamanan. Anda memilih model, templat penyebaran, keluarga akselerator, dan perilaku penskalaan yang sesuai dengan beban kerja Anda.

Komputasi terkelola menggunakan sumber daya, proyek, titik akhir, autentikasi, konfigurasi jaringan, SDK, pengamatan, dan permukaan penagihan yang sama dengan jenis penyebaran lainnya di Foundry. Setelah Anda menyebarkan model dengan komputasi terkelola, kode aplikasi Anda sama dengan model Foundry lainnya; hanya perubahan nama penyebaran.

Artikel ini menjelaskan jenis penyebaran komputasi terkelola di Foundry, konsep yang Anda kerjakan (instans model, templat penyebaran, keluarga akselerator, runtime), katalog yang dapat Anda sebarkan dari, titik akhir inferensi, penskalaan, penagihan dan kuota, kontrol akses, dan batasan saat ini. Untuk instruksi penyebaran langkah demi langkah, lihat Menyebarkan model sumber terbuka dengan komputasi terkelola.

Jika komputasi terkelola cocok di Foundry

Foundry menawarkan tiga jenis penerapan. Komputasi terkelola adalah jenis penyebaran yang digunakan untuk model sumber terbuka pada kapasitas GPU khusus.

Jenis penyebaran	Apa yang disajikannya	Billing	Paling cocok untuk
Pembayaran standar per token	Model Azure Foundry yang dijual oleh Azure	Per token input dan output	Cara paling mudah untuk memulai; lonjakan lalu lintas pada model yang dihosting tanpa perencanaan kapasitas.
Throughput yang disediakan	Model Foundry yang dijual oleh Azure	Unit throughput yang dicadangkan	Beban yang dapat diprediksi dan berkelanjutan pada Model Foundry tertentu yang dijual oleh Azure dengan latensi yang konsisten.
Pengelolaan Komputasi	Model sumber terbuka dan komunitas dari katalog Foundry	Per jam untuk setiap keluarga akselerator	Hosting model sumber terbuka pada GPU khusus dengan runtime yang dikelola Foundry, jaringan privat, dan SDK yang sama dengan jenis penyebaran lainnya.

Ketiga jenis deployment menggunakan satu endpoint Foundry, pola autentikasi yang sama (Microsoft Entra ID dan kunci akses), SDK yang sama, permukaan observabilitas yang sama, dan satu tagihan. Anda dapat mencampur ketiga jenis penyebaran dalam satu proyek Foundry dan memanggilnya dari kode klien yang sama.

Konsep Utama

Bagian ini mencakup konsep utama yang perlu dipahami sebelum menggunakan penyebaran komputasi terkelola di Foundry.

Instans model

Instans model adalah unit penyebaran dalam komputasi terkelola. Anda tidak memilih SKU komputer virtual atau mengukur simpul; sebagai gantinya, Anda menjelaskan beban kerja dalam istilah model, dan Foundry memilih topologi GPU di bawahnya. Instans mungkin menggunakan satu akselerator atau beberapa, tergantung pada model dan templat penyebaran yang Anda pilih. Anda menskalakan penyebaran dengan mengubah jumlah instans model ( capacity nilai pada SKU penyebaran).

Templat penyebaran

Templat penyebaran adalah aset berversi bernama yang mengodekan bagaimana model tertentu harus berjalan. Pin templat:

Runtime penyajian (misalnya, vLLM atau SGLang).
Keluarga akselerator dan jumlah per instans (misalnya, satu H100 80 GB, atau dua A100 80 GB).
Panjang konteks yang didukung serta pilihan kuantisasi yang tersedia.
Penyetelan khusus runtime seperti pengurai panggilan alat dan penalaran, jalur penilaian, pemeriksaan kesehatan, konkurensi permintaan, dan pengaturan ekstensi konteks khusus model apa pun.

Saat Anda membuat skrip penyebaran, Anda mereferensikan ID templat dan Foundry menangani sisanya. Setiap model dalam katalog biasanya disertai beberapa templat yang menyeimbangkan kompromi antara keluarga akselerator, panjang konteks, serta latensi dan throughput. Misalnya, qwen3-32b model mengekspos empat templat secara berdampingan:

Template	Runtime	Akselerator	Context
`qwen--qwen3-32b--40k-nvidia-a100`	vLLM	1 × A100 80 GB	40 K
`qwen--qwen3-32b--40k-nvidia-h100`	vLLM	1 × H100 80 GB	40 K
`qwen--qwen3-32b--128k-nvidia-2xa100`	vLLM	2 × A100 80 GB	128 K
`qwen--qwen3-32b--128k-nvidia-2xh100`	vLLM	2 × H100 80 GB	128 K

Memilih templat adalah satu-satunya kenop yang Anda ubah untuk cara model berjalan.

Keluarga akselerator

Penyebaran komputasi terkelola menargetkan keluarga akselerator, bukan SKU komputer virtual tertentu. Keluarga yang didukung adalah:

NVIDIA A100 80 GB (A100_80GB)
NVIDIA H100 80 GB (H100_80GB)
AMD MI300X 192 GB (MI300_192GB)

Kuota diberikan per keluarga akselerator per wilayah.

Runtime model

Komputasi terkelola menjalankan setiap model pada runtime penyajian yang dibangun, dipindai, ditandatangani, dan ditambal oleh Microsoft. Anda tidak mengoperasikan atau membangun kembali kontainer. Portofolio runtime dipilih berdasarkan arsitektur model:

Runtime	Gunakan untuk	Catatan
vLLM	Layanan LLM dengan throughput tinggi	Batching berkelanjutan, PagedAttention, paralelisme tensor, pertukaran panas LoRA. Default untuk sebagian besar model bahasa besar.
SGLang	Penyajian LLM dengan keluaran terstruktur	JSON, regex, dan generasi yang dibatasi oleh tata bahasa untuk beban kerja agentik dan yang menggunakan alat.
TensorRT-LLM	Layanan LLM yang dioptimalkan untuk NVIDIA	Inferensi NVIDIA berlatensi rendah untuk keluarga model yang TRT-LLM ungguli dalam latensi atau throughput.
NVIDIA NIM	Layanan Mikro Inferensi NVIDIA	Backend TensorRT-LLM yang kompatibel dengan API NIM untuk model yang dipublikasikan oleh NVIDIA.
Inferensi Penyematan Teks (TEI)	Penyematan, pemeringkat ulang, pengklasifikasi	Kernel khusus akselerator untuk menyematkan dan mengambil jalur panas.
llama.cpp	Penyajian CPU dan GPU kecil	Model yang terkuantisasi GGUF melalui API yang sama dan kompatibel dengan OpenAI.
hf-serve	visi, audio, segmentasi, dan alur kerja native Transformer lainnya	Memeluk server multi-model Face untuk modalitas di luar LLM dan menyematkan jalur cepat.

Pemutakhiran runtime dan patch CVE diterapkan secara otomatis ke deployment pelanggan yang sedang aktif. Anda tidak perlu melakukan deployment ulang model Anda untuk mendapatkan pembaruan runtime.

Model yang didukung

Anda dapat menggunakan komputasi terkelola di Foundry untuk menyebarkan model dari Hugging Face Collection di katalog model Foundry, yang disajikan dari azure-huggingface registri. Model ini memiliki atribut berikut:

Dikurasi dan diperbarui setiap minggu. Model yang sedang tren dari ekosistem Hugging Face ditambahkan terus menerus saat komunitas menerbitkannya. Katalog mencakup model teks, visi, audio, dan multimodal (LLM dan model bahasa visi untuk obrolan dan agen), pengenalan ucapan otomatis (ASR), terjemahan ucapan, penyematan, segmentasi, dan pembuatan gambar.
SafeTensors saja, tidak ada kode yang tidak tepercaya. Setiap model dalam Koleksi ditinjau. Repositori yang memerlukan eksekusi Python pihak ketiga pada waktu muat (pola trust_remote_code) diremadiasi atau dikecualikan.
Bobot yang dipersiapkan sebelumnya. Bobot model diambil dari Hugging Face satu kali, divalidasi, dan disimpan di penyimpanan Azure yang dikelola Microsoft di wilayah tempat model tersedia. Gambar kontainer hidup di registri yang dikelola Microsoft. Akibatnya, penyebaran komputasi terkelola tidak memerlukan akses jaringan keluar ke Hugging Face Hub — Anda dapat menyebarkan ke jaringan yang sepenuhnya privat tanpa keluar.
Metadata lisensi dipertahankan. Setiap kartu model katalog mengambil dan menampilkan lisensi hulu. Peninjauan lisensi berdasarkan kebijakan distribusi perusahaan Microsoft dilakukan selama proses kurasi.

Alur kurasi model

Setiap model dalam koleksi Hugging Face melewati alur kurasi lima tahap sebelum muncul di katalog:

Identifikasi model yang sedang tren: Microsoft mengidentifikasi model yang sedang tren berdasarkan sinyal komunitas, permintaan mitra, dan permintaan pelanggan.
Layar untuk kepatuhan dan keamanan: Setiap model menjalani tinjauan lisensi dan inspeksi untuk trust_remote_code pola dan kode kustom yang dapat dieksekusi.
Membangun, memindai, dan menerbitkan image kontainer runtime: Dibangun oleh Microsoft, dipindai untuk mendeteksi CVE, ditandatangani, dan diterbitkan ke registri yang dikelola oleh Microsoft.
Unggah bobot ke penyimpanan Azure yang aman: Divalidasi berdasarkan kartu model dan disimpan di wilayah tempat model tersedia.
Validasi dan terbitkan: Setiap kombinasi model, runtime, dan akselerator diuji untuk kesamaan dan performa API, lalu diterbitkan ke katalog dengan jalur penyebaran satu klik.

Titik akhir inferensi

Menyebarkan model ke komputasi terkelola membuat model tersedia untuk inferensi pada titik akhir proyek Foundry terpadu yang sama yang digunakan oleh penyebaran throughput berbayar per token dan yang disediakan. Titik akhir dasar memiliki pola https://<account>.services.ai.azure.com.

Rute titik akhir

Penyebaran komputasi terkelola dapat dipanggil melalui dua keluarga rute pada titik akhir terpadu. Rute yang Anda pilih tergantung pada apakah model dan runtime yang mendasari mengekspos API yang kompatibel dengan OpenAI.

Rute	Jalur	Berlaku pada	Behavior
Jalur penyebaran terkelola (OSS)	`<endpoint>/managed-deployments/<deployment-name>/`	Semua penyebaran komputasi terkelola	Berfungsi untuk setiap model yang diterapkan pada lingkungan komputasi terkelola, termasuk model kustom yang dilengkapi dengan SDK-nya sendiri. Model yang mengekspos `/chat/completions` juga dapat dipanggil melalui rute ini dengan OpenAI SDK dengan mengarahkan klien `base_url` ke jalur ini.
Rute yang kompatibel dengan OpenAI	`<endpoint>/openai/v1/`	Penyebaran komputasi terkelola yang runtimenya mengekspos API yang kompatibel dengan OpenAI (misalnya, vLLM, SGLang, TensorRT-LLM, llama.cpp melayani obrolan atau penyematan)	SDK OpenAI dapat memanggil deployment dengan menetapkan `base_url` ke jalur ini dan menyertakan nama deployment di kolom `model` pada payload permintaan. Jika suatu permintaan ditujukan ke rute ini dengan nama deployment yang model atau runtime dasarnya tidak mendukung antarmuka yang kompatibel dengan OpenAI, runtime akan mengembalikan HTTP 404.

Kesimpulan utama:

Setiap penyebaran komputasi terkelola dapat dijangkau pada https://<account>.services.ai.azure.com/managed-deployments/<deployment-name>/ rute
Setiap deployment dengan runtime yang kompatibel dengan OpenAI juga dapat dijangkau melalui rute https://<account>.services.ai.azure.com/openai/v1/.
Gunakan rute OpenAI saat Anda ingin berbagi kode klien dengan penyebaran Foundry lainnya.
Gunakan rute penyebaran terkelola untuk model yang mengirimkan SDK kustom atau API non-OpenAI.

Tip

Penyebaran komputasi terkelola penyelesaian obrolan juga dapat ditambahkan ke Agen Foundry sebagai model yang terhubung dengan admin dan dipanggil melalui FOUNDRY Responses API dengan OpenAI SDK yang sama, menggunakan autentikasi, titik akhir, dan pengamatan yang sama dengan model Foundry lainnya.

Autentikasi titik akhir

Penyebaran komputasi terkelola menggunakan pola autentikasi yang sama dengan titik akhir Foundry lainnya:

Microsoft Entra ID (disarankan). Dapatkan token untuk scope https://ai.azure.com/.default dan sertakan sebagai token bearer di header Authorization. Untuk memanggil penyebaran komputasi terkelola dengan Entra ID, identitas panggilan memerlukan peran pengguna Foundry pada cakupan akun Foundry. OpenAI SDK dalam mode berbasis token dan DefaultAzureCredential berfungsi tanpa konfigurasi khusus komputasi terkelola.
Kunci API akun. Berikan kunci akun Foundry sebagai Authorization: Bearer <key>. OpenAI SDK mengirimkan kunci dalam formulir ini secara otomatis saat Anda mengatur api_key argumen. Kunci memberikan akses yang sama pada penyebaran komputasi terkelola seperti yang dilakukan pada penyebaran bayar per token dan PTU pada akun yang sama.

Kedua opsi autentikasi berfungsi pada kedua rute titik akhir. Untuk sampel kode klien end-to-end (OpenAI SDK dengan Entra ID atau kunci API), lihat Kirim permintaan pengujian.

Scaling

Anda meningkatkan skala penerapan komputasi terkelola dengan mengubah jumlah instans model. Saat Anda menetapkan nilai capacity pada SKU deployment, Foundry menyesuaikan jumlah GPU secara otomatis. Total GPU sama dengan jumlah instans model yang dikalikan dengan GPU per instans yang ditentukan oleh templat penyebaran yang Anda pilih. Foundry tidak meminta Anda untuk mengukur node atau memilih keluarga VM.

Cakupan penagihan, kuota, dan penyebaran

Komputasi terkelola ditagih per jam per akselerator. Tidak seperti infrastruktur berbasis VM, di mana Anda menyewa seluruh server GPU dan membayar setiap GPU di server tersebut, चाहे model Anda menggunakannya atau tidak, komputasi terkelola mengenakan biaya berdasarkan instans model. Foundry menyesuaikan setiap model dengan jumlah GPU yang benar-benar dibutuhkannya (satu, dua, empat, atau delapan), sehingga Anda tidak perlu membayar akselerator menganggur yang tidak digunakan oleh beban kerja Anda. Biaya penerapan adalah:

Akselerator per instans model × jumlah instans model × jam operasi × tarif per jam

Tarif per jam bervariasi menurut keluarga akselerator (A100, H100, MI300X) dan berdasarkan cakupan penyebaran. Untuk harga saat ini, lihat kalkulator harga Azure.

Cakupan penerapan

Komputasi terkelola (pratinjau) saat ini mendukung penyebaran Global, yang diatur melalui nama SKU deployment GlobalManagedCompute. Penyebaran global memberi Anda kapasitas akselerator terluas pada tingkat terendah.

Quota

Kuota komputasi terkelola diberikan untuk setiap keluarga akselerator di setiap wilayah melalui proses kuota Foundry. Kuota komputasi terkelola pisahkan dari kuota VM Azure. Meskipun kuota Azure VM merupakan alokasi infrastruktur sebagai layanan yang terikat pada SKU VM regional tertentu, komputasi terkelola adalah penawaran PaaS terkelola. Kuota VM Azure yang ada tidak dapat diterapkan ke penyebaran komputasi terkelola.

Untuk detail selengkapnya tentang cara melihat penggunaan, mengaitkan biaya ke proyek, dan meminta kuota, lihat Merencanakan dan mengelola biaya untuk Microsoft Foundry dan Mengelola dan meningkatkan kuota.

Kontrol akses

Komputasi terkelola menggunakan model kontrol akses berbasis peran (RBAC) Foundry. Kumpulan operasi penyedia sumber daya Azure yang diperlukan untuk membuat, membaca, memperbarui, dan menghapus penyebaran komputasi terkelola didokumentasikan dalam kontrol akses berbasis Role untuk Microsoft Foundry — operasi sarana kontrol komputasi terkelola, bersama dengan peran bawaan yang memberikan setiap operasi.

Sekilas:

Kontributor Cognitive Services (atau Pemilik Foundry / Pemilik Akun Foundry) memberikan izin penuh untuk membuat / membaca / memperbarui / menghapus pada deployment komputasi terkelola.
Pengguna Cognitive Services dan Pengguna Foundry memiliki akses baca-saja ke deployment.
Foundry Project Manager memberikan akses baca ke penyebaran dan ke data penggunaan akselerator, tetapi tidak membuat atau menghapus.

Inferensi (lapisan data) pada endpoint Foundry terpadu mengikuti pola standar Foundry dengan menetapkan peran Foundry User pada cakupan akun Foundry untuk memanggil deployment dengan Microsoft Entra ID.

Keterbatasan

Komputasi terkelola berada dalam pratinjau publik. Perhatikan hal-hal berikut sebelum menyebarkan beban kerja produksi:

Pemfilteran konten: Filter bawaan Keamanan Konten Azure AI bukan bagian dari jalur data komputasi terkelola dalam pratinjau publik. Jika Anda memerlukan pemfilteran tingkat permintaan atau tingkat respons, panggil API Keamanan Konten Azure AI langsung dari aplikasi Anda.
Ketersediaan wilayah: Komputasi terkelola diluncurkan dengan Cakupan Global. Penyebaran Zona Data dan wilayah tambahan diluncurkan — lihat matriks ketersediaan umum untuk cakupan saat ini.
Harga: Tarif per jam berdasarkan keluarga akselerator dan wilayah, kapasitas terpesan, serta diskon komitmen untuk penerapan komputasi terkelola yang masih dalam pratinjau terus diperbarui. Untuk tarif saat ini, lihat kalkulator harga Azure.

Sajikan adaptor LoRA yang disempurnakan (pratinjau)

Important

Item yang ditandai sebagai pratinjau dalam artikel ini saat ini masih dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan Microsoft tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Supplemental Terms of Use for Microsoft Azure Previews.

Dalam pengalaman Foundry saat ini, penyebaran dasar dengan templat yang mendukung LoRA yang kompatibel dapat menghosting satu atau beberapa adaptor. Adaptor harus cocok dengan model dasar dan versinya; dukungan penyebaran model dasar saja tidak berarti ada dukungan adaptor. Lihat Menyebarkan model yang disempurnakan dengan komputasi terkelola (pratinjau).

Saran dan Komentar

Apakah halaman ini membantu?

Terakhir diperbarui pada 2026-06-03