Menyebarkan Model Azure AI Foundry ke komputasi terkelola dengan penagihan bayar sesuai penggunaan

2025-06-24

Model Foundry Azure AI menyertakan katalog model komprehensif yang diatur ke dalam dua kategori—Model yang dijual langsung oleh Azure, dan Model dari mitra dan komunitas. Model-model ini dari mitra dan komunitas, yang tersedia untuk penyebaran pada komputasi terkelola, adalah model yang terbuka atau dilindungi. Dalam artikel ini, Anda mempelajari cara menggunakan model yang dilindungi dari mitra dan komunitas, yang ditawarkan melalui Azure Marketplace untuk penyebaran pada komputasi terkelola dengan penagihan bayar sesuai penggunaan.

Prasyarat

Langganan Azure dengan metode pembayaran yang valid. Langganan Azure gratis atau uji coba tidak akan berfungsi. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai.
Jika Anda tidak memilikinya, buat proyek berbasis hub.
Pembelian Azure Marketplace diaktifkan untuk langganan Azure Anda.
Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di portal Azure AI Foundry. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran kustom dengan izin berikut. Akun pengguna yang diberi peran Pemilik atau Kontributor untuk langganan Azure juga dapat membuat penyebaran. Untuk informasi selengkapnya tentang izin, lihat Kontrol akses berbasis peran di portal Azure AI Foundry.
Pada langganan Azure— untuk berlangganan ruang kerja/proyek ke penawaran Azure Marketplace:
- Microsoft.MarketplacePemesanan/perjanjian/penawaran/paket/baca
- Microsoft.MarketplaceOrdering/perjanjian/penawaran/rencana/menandatangani/tindakan
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Pada grup sumber daya— untuk membuat dan menggunakan sumber daya SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/sumber daya/tulis
Di ruang kerja— untuk menerapkan titik akhir:
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*

Cakupan langganan dan unit pengukuran untuk penawaran Marketplace Azure

Azure AI Foundry memungkinkan pengalaman langganan dan transaksi yang mulus untuk model yang dilindungi saat Anda membuat dan menggunakan penyebaran model khusus Anda dalam skala besar. Penyebaran model yang dilindungi pada komputasi terkelola melibatkan penagihan bayar sesuai pemakaian untuk pelanggan dalam dua dimensi:

Penagihan biaya komputasi Azure Machine Learning per-jam untuk mesin virtual yang digunakan dalam penyebaran.
Penagihan biaya tambahan untuk model sebagaimana ditetapkan oleh penerbit model pada penawaran Marketplace Azure.

Penagihan bayar sesuai pemakaian untuk sumber daya komputasi Azure dan biaya tambahan untuk model dihitung secara prorata per menit berdasarkan waktu aktif dari penyebaran online yang dikelola. Biaya tambahan untuk model adalah harga berdasarkan penggunaan per jam per GPU, yang ditetapkan oleh mitra (atau penerbit model) di Azure Marketplace, untuk semua GPU yang didukung yang dapat digunakan untuk menyebarkan model pada layanan komputasi yang dikelola Azure AI Foundry.

Langganan pengguna untuk penawaran Marketplace Azure dilingkupkan ke sumber daya proyek dalam Azure AI Foundry. Jika langganan ke penawaran Azure Marketplace untuk model tertentu sudah ada dalam proyek, pengguna diberi tahu dalam wizard penyebaran bahwa langganan tersebut sudah ada dalam proyek.

Nota

Untuk layanan mikro inferensi NVIDIA (NIM), beberapa model dikaitkan dengan satu penawaran di marketplace, jadi Anda hanya perlu berlangganan penawaran NIM sekali dalam satu proyek untuk dapat menyebarkan semua NIM yang ditawarkan oleh NVIDIA dalam katalog model AI Foundry. Jika Anda ingin menyebarkan NIM dalam proyek yang berbeda tanpa langganan SaaS yang ada, Anda perlu berlangganan kembali pada penawaran.

Untuk menemukan semua langganan SaaS yang ada di langganan Azure:

Masuk ke portal Microsoft Azure dan buka langganan Azure Anda.
Pilih Langganan lalu pilih langganan Azure Anda untuk membuka halaman gambaran umumnya.
PilihSumber Daya> untuk melihat daftar sumber daya.
Gunakan filter Jenis untuk memilih jenis sumber daya SaaS.

Biaya tambahan berbasis konsumsi diakumulasikan ke langganan SaaS terkait dan ditagihkan kepada pengguna melalui Azure Marketplace. Anda dapat melihat faktur di tab Gambaran Umum dari langganan SaaS masing-masing.

Petunjuk / Saran

Karena Anda bisa mengkustomisasi panel kiri di portal Azure AI Foundry, Anda mungkin melihat item yang berbeda dari yang diperlihatkan dalam langkah-langkah ini. Jika Anda tidak melihat apa yang Anda cari, pilih ... Lainnya di bagian bawah panel kiri.

Masuk ke Azure AI Foundry.
Jika Anda belum berada di proyek Anda, pilihlah proyek tersebut.
Pilih Katalog model dari panel kiri.
Pilih filter Opsi penyebaran di katalog model dan pilih Komputasi terkelola.
Filter daftar lebih lanjut dengan memilih Koleksi dan model pilihan Anda. Dalam artikel ini, kami menggunakan Cohere Command A dari daftar model yang didukung untuk ilustrasi.
Dari halaman model, pilih Gunakan model ini untuk membuka panduan penyebaran.
Pilih dari salah satu SKU VM yang didukung untuk model. Anda harus memiliki kuota Komputasi Azure Machine Learning untuk SKU tersebut di langganan Azure Anda.
Pilih Sesuaikan untuk menentukan konfigurasi penyebaran Anda untuk parameter seperti jumlah instans. Anda juga dapat memilih titik akhir yang ada untuk penyebaran atau membuat yang baru. Untuk contoh ini, kami menentukan jumlah instans 1 dan membuat titik akhir baru untuk penyebaran.
Pilih Berikutnya untuk melanjutkan ke halaman perincian harga .
Tinjau perincian harga untuk penyebaran, ketentuan penggunaan, dan perjanjian lisensi yang terkait dengan penawaran model di Azure Marketplace. Perincian harga memberi tahu Anda harga agregat untuk model yang disebarkan, di mana biaya tambahan untuk model adalah fungsi dari jumlah GPU dalam instans VM yang dipilih di langkah-langkah sebelumnya. Selain biaya tambahan yang berlaku untuk model, biaya komputasi Azure juga berlaku, berdasarkan konfigurasi penyebaran Anda. Jika Anda memiliki reservasi atau paket penghematan Azure yang sudah ada, faktur untuk biaya komputasi mematuhi dan mencerminkan harga VM yang didiskon.
Pilih kotak centang untuk mengakui bahwa Anda memahami dan menyetujui ketentuan penggunaan. Lalu, pilih Sebarkan. Azure AI Foundry membuat langganan pengguna ke penawaran marketplace lalu membuat penyebaran model pada komputasi terkelola. Dibutuhkan sekitar 15-20 menit agar penyebaran selesai.

Memanfaatkan penyebaran

Setelah penyebaran berhasil dibuat, Anda dapat mengikuti langkah-langkah berikut untuk menggunakannya:

Pilih Model + Titik Akhir di bawah Aset saya di proyek Azure AI Foundry Anda.
Pilih penerapan Anda dari tab Penerapan Model.
Navigasi ke tab Uji untuk inferensi sampel ke titik akhir.
Kembali ke tab Detail untuk menyalin "Target URI" penyebaran, yang dapat Anda gunakan untuk menjalankan inferensi dengan kode.
Buka tab penyebaran Konsumsi untuk menemukan sampel kode yang dapat digunakan.

Isolasi jaringan pada penerapan

Koleksi dalam katalog model dapat disebarkan dalam jaringan terisolasi Anda menggunakan jaringan virtual yang dikelola ruang kerja. Untuk informasi selengkapnya tentang cara mengonfigurasi jaringan terkelola ruang kerja Anda, lihat Mengonfigurasi jaringan virtual terkelola untuk mengizinkan internet keluar.

Batasan

Proyek Azure AI Foundry dengan Akses Jaringan Publik masuk yang dinonaktifkan hanya dapat mendukung satu penyebaran aktif dari salah satu model terlindungi dalam katalog. Upaya untuk membuat penyebaran yang lebih aktif mengakibatkan kegagalan pembuatan penyebaran.

Model yang didukung

Bagian berikut mencantumkan model yang didukung untuk penyebaran komputasi yang dikelola dengan penagihan bayar sesuai pemakaian, dikelompokkan menurut kategori.

Paige AI

Modél	Tugas
Virchow2G	Ekstraksi Fitur Gambar
Virchow2G-Mini	Ekstraksi Fitur Gambar

Cohere

Modél	Tugas
Perintah A	Penyelesaian percakapan
Sematkan v4	Pemadatan
Rerank v3.5	Klasifikasi teks

NVIDIA

Layanan mikro inferensi NVIDIA (NIM) adalah container berisi model AI yang telah dilatih dan disesuaikan yang dioptimalkan untuk dilayani menggunakan GPU NVIDIA. NVIDIA NIC yang tersedia di katalog model Azure AI Foundry dapat disebarkan dengan langganan Standar ke penawaran NVIDIA NIM SaaS di Marketplace Azure.

Beberapa hal khusus yang perlu diperhatikan tentang NIM adalah:

NIM mencakup uji coba 90 hari. Uji coba berlaku untuk semua NIC yang terkait dengan langganan SaaS tertentu, dan dimulai sejak langganan SaaS dibuat.
Cakupan langganan SaaS ke proyek Azure AI Foundry. Karena beberapa model dikaitkan dengan satu penawaran Azure Marketplace, Anda hanya perlu berlangganan sekali ke penawaran NIM dalam proyek, maka Anda dapat menyebarkan semua NIC yang ditawarkan oleh NVIDIA dalam katalog model AI Foundry. Jika Anda ingin menyebarkan NIM dalam proyek yang berbeda tanpa langganan SaaS yang ada, Anda perlu berlangganan kembali pada penawaran.

Modél	Tugas
Llama-3.3-Nemotron-Super-49B-v1-NIM-microservice	Penyelesaian percakapan
Llama-3.1-Nemotron-Nano-8B-v1-NIM-microservice	Penyelesaian percakapan
Deepseek-R1-Distill-Llama-8B-NIM-microservice	Penyelesaian percakapan
Llama-3.3-70B-Instruct-NIM-microservice	Penyelesaian percakapan
Llama-3.1-8B-Instruct-NIM-microservice	Penyelesaian percakapan
Mistral-7B-Instruct-v0.3-NIM-microservice	Penyelesaian percakapan
Mixtral-8x7B-Instruct-v0.1-NIM-microservice	Penyelesaian percakapan
Llama-3.2-NV-embedqa-1b-v2-NIM-microservice	Pemadatan
Llama-3.2-NV-rerankqa-1b-v2-NIM-microservice	Klasifikasi teks
Openfold2-NIM-microservice	Pengikat Protein
ProteinMPNN-NIM-microservice	Pengikat Protein
Layanan mikro MSA-search-NIM	Pengikat Protein
Layanan mikro Rfdiffusion-NIM	Pengikat Protein

Menggunakan implementasi NVIDIA NIM

Setelah deployment Anda berhasil dibuat, Anda dapat mengikuti langkah-langkah dalam Mengonsumsi deployment untuk menggunakannya.

NIC NVIDIA di Azure AI Foundry mengekspos API yang kompatibel dengan OpenAI. Lihat referensi API untuk mempelajari selengkapnya tentang payload yang didukung. Parameter model untuk NIM di Azure AI Foundry diatur ke nilai default dalam kontainer dan tidak perlu diteruskan pada payload permintaan ke titik akhir online Anda. Tab Konsumsi penerapan NIM di Azure AI Foundry menyertakan URL target penerapan Anda untuk inferensi serta sampel kode.

Anda juga dapat memanfaatkan penyebaran NIM dengan Azure AI Foundry Models SDK, dengan batasan yang mencakup:

Tidak ada dukungan untuk membuat dan mengautentikasi klien menggunakan load_client.
Anda harus memanggil metode get_model_info klien untuk mengambil informasi model.

Mengembangkan dan menjalankan agen dengan titik akhir NIM

NVIDIA NIC berikut jenis tugas penyelesaian obrolan dalam katalog model dapat digunakan untuk membuat dan menjalankan agen menggunakan Layanan Agen menggunakan berbagai alat yang didukung, dengan dua persyaratan tambahan berikut:

Buat Koneksi Tanpa Server ke proyek menggunakan titik akhir NIM dan Kunci. URL target untuk titik akhir NIM dalam koneksi harus https://<endpoint-name>.region.inference.ml.azure.com/v1/.
Atur parameter model dalam badan permintaan dalam bentuk https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below> saat membuat dan menjalankan agen.

NVIDIA NIM	`model` nilai parameter
Llama-3.3-70B-Instruct-NIM-microservice	meta/llama-3.3-70b-instruct
Llama-3.1-8B-Instruct-NIM-microservice	meta/llama-3.1-8b-instruct
Mistral-7B-Instruct-v0.3-NIM-microservice	mistralai/mistral-7b-instruct-v0.3

Pemindaian keamanan

NVIDIA memastikan keamanan dan keandalan gambar kontainer NVIDIA NIM melalui pemindaian kerentanan terbaik di kelasnya, manajemen patch yang ketat, dan proses transparan. Untuk mempelajari selengkapnya tentang pemindaian keamanan, lihat halaman keamanan. Microsoft bekerja sama dengan NVIDIA untuk mendapatkan patch terbaru NIC untuk memberikan perangkat lunak tingkat produksi yang aman, stabil, dan andal dalam Azure AI Foundry.

Anda dapat merujuk ke waktu terakhir yang diperbarui untuk NIM di panel kanan halaman gambaran umum model. Anda dapat menyebarluaskan kembali untuk menggunakan versi terbaru NIM dari NVIDIA di Azure AI Foundry.

Bagikan melalui