Gambaran umum Microsoft Foundry Models (klasik)

Sedang menampilkan:Versi portal Foundry (klasik) - Beralih ke versi portal Foundry yang baru

Microsoft Foundry Models adalah tujuan layanan lengkap Anda untuk menemukan, mengevaluasi, dan menyebarkan model AI yang kuat—baik Anda membangun asisten kustom, agen, pengembangan aplikasi yang ada, atau menjelajahi kemampuan AI baru.

Dengan Model Foundry, Anda dapat:

Jelajahi katalog model canggih yang kaya dari Microsoft, OpenAI, DeepSeek, Hugging Face, Meta, dan banyak lagi.
Bandingkan dan evaluasi model secara berdampingan menggunakan tugas dunia nyata dan data Anda sendiri.
Sebarkan dengan percaya diri, berkat alat yang terintegrasi untuk penyempurnaan, pemantauan, dan kecerdasan buatan yang bertanggung jawab.
Pilih jalur Anda—bawa model Anda sendiri, gunakan model yang dihosting, atau integrasikan dengan mulus dengan layanan Azure.

Baik Anda seorang pengembang, data scientist, atau arsitek perusahaan, Foundry Models memberi Anda fleksibilitas dan kontrol untuk membangun solusi AI yang menskalakan—dengan aman, bertanggung jawab, dan cepat.

Foundry menawarkan katalog model AI yang komprehensif. Ada lebih dari 1.900 model yang berkisar dari model dasar, model penalaran, model bahasa kecil, model multimodal, model khusus domain, dan model industri.

Katalog model diatur ke dalam dua kategori utama:

Models dijual langsung oleh Azure
Model dari Mitra dan Komunitas

Memahami perbedaan antara kategori ini membantu Anda memilih model yang tepat untuk persyaratan spesifik dan tujuan strategis Anda.

Nota

Untuk semua model, pelanggan tetap bertanggung jawab untuk:

Mematuhi hukum dalam penggunaan model atau sistem apa pun
Meninjau deskripsi model dalam katalog model, kartu model yang disediakan oleh penyedia model, dan dokumentasi relevan lainnya
Memilih model yang sesuai untuk kasus penggunaannya
Menerapkan langkah-langkah yang sesuai (termasuk penggunaan Azure AI Content Safety) untuk memastikan penggunaan Alat Foundry oleh pelanggan mematuhi Kebijakan Penggunaan yang Dapat Diterima dalam Ketentuan Produk Microsoft dan Kode Etik Layanan Microsoft Enterprise AI.

Model yang dijual langsung oleh Azure

Juga disebut sebagai model Azure Direct atau Direct dari model Azure, model ini dihosting dan dijual oleh Microsoft di bawah Ketentuan Produk Microsoft. Microsoft telah mengevaluasi model ini, dan terintegrasi secara mendalam ke dalam ekosistem AI Azure. Model ini berasal dari berbagai penyedia dan menawarkan integrasi yang ditingkatkan, performa yang dioptimalkan, dan Microsoft support langsung, termasuk perjanjian tingkat layanan (SLA) tingkat perusahaan.

Karakteristik model yang dijual langsung oleh Azure:

Dukungan tersedia dari Microsoft.
Integrasi tingkat tinggi dengan layanan dan infrastruktur Azure.
Tunduk pada tinjauan internal berdasarkan standar AI Bertanggung Jawab Microsoft.
Dokumentasi model dan laporan transparansi memberikan visibilitas pelanggan terhadap risiko model, mitigasi, dan batasan.
Skalabilitas, keandalan, dan keamanan tingkat perusahaan.

Beberapa model ini juga menawarkan throughput yang dapat diproyeksikan secara fungible, yang berarti Anda dapat secara fleksibel menggunakan kuota dan reservasi Anda di antara model-model ini. Untuk mempelajari cara Foundry menangani data yang Anda berikan ke Model Foundry yang dijual langsung oleh Azure, lihat Data, privasi, dan keamanan untuk Model Langsung Azure di Microsoft Foundry (klasik).

Model dari mitra dan komunitas

Model-model ini merupakan sebagian besar Model Foundry dan disediakan oleh organisasi pihak ketiga tepercaya, mitra, laboratorium penelitian, dan kontributor komunitas. Model-model ini menawarkan kemampuan AI khusus dan beragam, mencakup berbagai skenario, industri, dan inovasi. Contoh model dari Mitra dan komunitas adalah keluarga model bahasa besar yang dikembangkan oleh Anthropic dan Open models dari hub Hugging Face.

Antropis mencakup keluarga Claude dari model bahasa besar canggih yang mendukung input teks dan gambar, output teks, kemampuan multibahasa, dan visi. Untuk bantuan terkait model Antropik, gunakan Microsoft Support. Untuk mempelajari selengkapnya tentang privasi, lihat Data, privasi, dan keamanan untuk model Claude di Microsoft Foundry (pratinjau) dan kebijakan privasi Antropik. Untuk ketentuan layanan, lihat Ketentuan Layanan Komersial. Untuk mempelajari cara bekerja dengan model Antropik, lihat Menyebarkan dan menggunakan model Claude di Microsoft Foundry.

Hugging Face hub mencakup ratusan model untuk inferensi real time dengan komputasi terkelola. Hugging Face membuat dan memelihara model yang tercantum dalam koleksi ini. Untuk bantuan terkait model Hugging Face, gunakan forum Hugging Face atau dukungan Hugging Face. Pelajari cara menyebarkan model Hugging Face di Cara menyebarkan dan menyimpulkan dengan penyebaran komputasi terkelola (klasik).

Penting

Untuk bekerja dengan model yang dapat disebarkan pada komputasi terkelola, seperti model Hugging Face, gunakan project berbasis hub di portal Foundry (klasik). Untuk mempelajari selengkapnya tentang portal Foundry yang tersedia dan perbedaan antara dua jenis proyek di Foundry (Foundry project dan project berbasis hub), lihat Apa itu Microsoft Foundry? (klasik).

Karakteristik model dari mitra dan komunitas:

Dikembangkan dan didukung oleh mitra eksternal dan kontributor komunitas
Beragam model khusus yang melayani ceruk atau kasus penggunaan luas
Biasanya divalidasi oleh penyedia itu sendiri, dengan panduan integrasi yang disediakan oleh Azure
Inovasi berbasis komunitas dan ketersediaan model mutakhir yang cepat
Integrasi AI Azure standar, dengan dukungan dan pemeliharaan yang dikelola oleh masing-masing penyedia

Model dari mitra dan komunitas dapat disebarkan menggunakan opsi komputasi terkelola atau penyebaran tanpa server . Penyedia model memilih bagaimana model dapat disebarkan. Untuk mempelajari tentang jenis penyebaran yang tersedia di bawah opsi penyebaran tanpa server, lihat Jenis penyebaran untuk Model Microsoft Foundry (klasik).

Meminta model untuk disertakan dalam katalog model

Minta agar kami menambahkan model ke katalog model langsung dari halaman katalog model di portal Foundry.

Buka halaman katalog model.
Di bilah pencarian, cari model yang tidak ada di katalog, seperti mymodel.
Pilih Minta model untuk berbagi detail tentang model yang ingin Anda minta.

Memilih antara model yang dijual langsung oleh Azure dan model dari mitra dan komunitas

Saat memilih Model Foundry mana yang akan digunakan, pertimbangkan hal berikut:

Gunakan kasus dan persyaratan: Model yang dijual langsung oleh Azure sangat ideal untuk skenario yang memerlukan integrasi Azure mendalam, dukungan terjamin, dan SLA perusahaan. Model dari mitra dan komunitas unggul dalam kasus penggunaan khusus dan skenario yang dipimpin inovasi.
Ekspektasi dukungan: Model yang dijual langsung oleh Azure dilengkapi dengan dukungan dan pemeliharaan yang kuat yang disediakan Microsoft. Model mitra dan komunitas didukung oleh penyedianya, dengan berbagai tingkat SLA dan struktur dukungan.
Innovasi dan spesialisasi: Model dari mitra dan komunitas menawarkan access yang cepat hingga inovasi dan kemampuan niche khusus, sering dikembangkan oleh laboratorium penelitian terkemuka dan penyedia AI yang muncul.

Gambaran umum kemampuan katalog model

Katalog model di portal Foundry adalah hub untuk menemukan dan menggunakan berbagai model untuk membangun aplikasi AI generatif. Katalog model ini menampilkan ratusan model di seluruh penyedia model seperti Azure OpenAI, Mistral, Meta, Cohere, NVIDIA, dan Hugging Face, termasuk model yang dilatih Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft seperti yang didefinisikan dalam Ketentuan Produk Microsoft dan tunduk pada persyaratan yang disediakan dengan model.

Cari dan temukan model yang memenuhi kebutuhan Anda melalui pencarian dan filter kata kunci. Katalog model juga menawarkan papan peringkat performa model dan metrik tolok ukur untuk model tertentu. Akses mereka dengan memilih Tampilkan papan peringkat dan Bandingkan model. Data tolok ukur juga tersedia dari tab Benchmark pada kartu model.

Beberapa filter yang tersedia dalam katalog model adalah:

Koleksi: Memfilter model berdasarkan koleksi penyedia model.
Industri: Filter untuk model yang dilatih pada himpunan data khusus industri.
Kemampuan: Filter untuk fitur model unik seperti penalaran dan panggilan alat.
Tugas inferensi: Memfilter model berdasarkan jenis tugas inferensi.

Beberapa detail yang tersedia dalam kartu model adalah:

Fakta cepat: Informasi utama tentang model sekilas
Tab Detail: Informasi terperinci tentang model, seperti deskripsi, info versi, dan jenis data yang didukung
Tab Tolok ukur : Metrik tolok ukur performa untuk model tertentu
Tab Penyebaran: Daftar penyebaran yang ada untuk model
Tab Lisensi : Informasi hukum yang terkait dengan lisensi model

Opsi penyebaran model: komputasi terkelola dan penyebaran tanpa server

Katalog model menawarkan dua opsi berbeda untuk menyebarkan model untuk penggunaan Anda: komputasi terkelola dan penyebaran tanpa server. Untuk mempelajari tentang pemrosesan data dengan opsi penyebaran, lihat Data, privasi, dan keamanan untuk penggunaan model melalui katalog model di portal Microsoft Foundry (klasik). Untuk mempelajari cara Foundry menangani data yang Anda berikan ke Model Foundry yang dijual langsung oleh Azure, lihat Data, privasi, dan keamanan untuk Model Langsung Azure di Microsoft Foundry (klasik).

Kemampuan opsi penyebaran model

Opsi penyebaran dan fitur yang tersedia untuk setiap model bervariasi, seperti yang dijelaskan dalam tabel berikut:

Features	Pengolahan terkelola	Penyebaran tanpa server
Pengalaman penyebaran dan penagihan	Bobot model diimplementasikan pada mesin virtual khusus dengan komputasi yang dikelola. Komputasi terkelola, yang dapat memiliki satu atau beberapa penyebaran, menyediakan REST API untuk inferensi. Anda ditagih untuk jam inti komputer virtual yang digunakan penyebaran.	Akses model melalui penyebaran yang menyediakan API. API menyediakan access ke model yang dihosting dan dikelola Microsoft untuk inferensi. Anda ditagih untuk input dan output ke API, biasanya dalam token. Informasi harga disediakan sebelum Anda menggunakan.
Pengesahan API	Kunci dan autentikasi Microsoft Entra.	Kunci dan autentikasi Microsoft Entra.
Keamanan konten	Gunakan API layanan Azure AI Content Safety.	Filter Azure AI Content Safety tersedia yang terintegrasi dengan API inferensi. Penyaringan Azure AI Content Safety ditagih secara terpisah.
Isolasi jaringan	Mengonfigurasi jaringan terkelola untuk hub Microsoft Foundry (klasik).	Jaringan terkelola mengikuti pengaturan akses jaringan publik (PNA) untuk sumber daya Foundry Anda. Untuk informasi selengkapnya, lihat bagian Isolasi jaringan untuk model yang disebarkan melalui penyebaran tanpa server nanti di artikel ini.

Model yang tersedia untuk opsi penyebaran yang didukung

Lihat daftar model yang didukung untuk penyebaran tanpa server atau komputasi terkelola dari project hub di katalog model.

Buka portal Foundry dan pilih project berbasis hub.
Pilih Katalog model untuk membuka halaman berandanya.
Gunakan filter Opsi penyebaran untuk memilih penyebaran API Tanpa Server atau Komputasi terkelola.

Pengolahan terkelola

Kemampuan untuk menyebarkan model sebagai komputasi terkelola dibangun pada kemampuan platform Azure Machine Learning untuk memungkinkan integrasi yang mulus dari berbagai koleksi model dalam katalog model di seluruh siklus hidup operasi model bahasa besar (LLM).

Penting

Ketersediaan model untuk implementasi sebagai komputasi yang dikelola

Model tersedia melalui registri Azure Machine Learning. Registri ini memungkinkan pendekatan yang mengutamakan machine learning untuk hosting dan distribusi aset Azure Machine Learning. Aset ini mencakup bobot model, runtime kontainer untuk menjalankan model, jalur pemrosesan untuk mengevaluasi dan menyempurnakan model, dan himpunan data untuk contoh dan tolok ukur.

Registri dibangun di atas infrastruktur yang sangat dapat diskalakan dan siap untuk skala perusahaan yang:

Memberikan access latensi rendah untuk memodelkan artifacts di semua wilayah Azure dengan replikasi geografis bawaan.
Mendukung persyaratan keamanan perusahaan, seperti membatasi akses ke model dengan menggunakan Azure Policy, serta penyebaran yang aman dengan menggunakan jaringan virtual terkelola.

Penyebaran model untuk inferensi dengan komputasi terkelola

Model yang tersedia untuk penyebaran ke komputasi terkelola Azure Machine Learning dapat digunakan untuk inferensi real-time. Untuk menyebarkan ke komputasi terkelola, Anda memerlukan kuota komputer virtual dalam langganan Azure Anda agar produk tertentu dapat menjalankan model secara optimal. Beberapa model memungkinkan Anda menggunakan kuota yang dibagikan sementara untuk pengujian model.

Pelajari selengkapnya tentang menyebarkan model:

Untuk menyebarkan model terbuka ke komputasi terkelola, lihat Cara menyebarkan dan menyimpulkan dengan penyebaran komputasi terkelola (klasik).
Untuk menyebarkan Model Foundry yang dilindungi ke komputasi terkelola dengan penagihan bayar sesuai penggunaan, lihat Menyebarkan Model Microsoft Foundry ke komputasi terkelola dengan tagihan bayar sesuai pemakaian (klasik).

Membangun aplikasi AI generatif dengan komputasi terkelola

Fitur prompt flow di Azure Machine Learning menawarkan pengalaman hebat untuk membuat prototipe. Gunakan model yang disebarkan dengan komputasi terkelola dalam alur perintah menggunakan alat Open Model LLM. Anda juga dapat menggunakan REST API yang diekspos oleh komputasi terkelola di alat LLM populer seperti LangChain dengan ekstensi Azure Machine Learning.

Keamanan konten untuk model yang disebarkan sebagai komputasi terkelola

Layanan Azure AI Content Safety tersedia untuk digunakan dengan komputasi terkelola untuk menyaring berbagai kategori konten berbahaya, seperti konten seksual, kekerasan, kebencian, dan bahaya diri. Anda juga dapat menggunakan layanan untuk menyaring ancaman tingkat lanjut seperti deteksi risiko jailbreak dan deteksi teks material yang dilindungi.

Untuk referensi integrasi dengan Azure AI Content Safety untuk Llama 2, lihat notebook ini. Atau gunakan alat Content Safety (Text) dalam alur perintah untuk meneruskan respons dari model ke Azure AI Content Safety untuk penyaringan. Anda ditagih secara terpisah untuk penggunaan tersebut, seperti yang dijelaskan dalam harga Azure AI Content Safety.

Penyebaran tanpa server

Penyebaran tanpa server menyediakan cara untuk menggunakan Model Foundry sebagai API tanpa menghostingnya di langganan Anda. Model dihosting dalam infrastruktur yang dikelola Microsoft, yang memungkinkan akses berbasis API ke model dari penyedia tersebut. access berbasis API dapat secara dramatis mengurangi biaya akses model dan menyederhanakan pengalaman penyiapan.

Model yang tersedia untuk penyebaran tanpa server ditawarkan oleh penyedia model, tetapi dihosting dalam infrastruktur Azure yang dikelola Microsoft dan diakses melalui API. Penyedia model menentukan persyaratan lisensi dan menetapkan harga untuk penggunaan model mereka. Layanan Azure Machine Learning:

Mengelola infrastruktur hosting.
Membuat API inferensi tersedia.
Bertindak sebagai pemroses data untuk permintaan yang dikirimkan dan output konten untuk penyebaran tanpa server.

Jenis penyebaran tanpa server

Opsi penyebaran tanpa server untuk Model Foundry menawarkan dua kategori penyebaran utama: standar (dibayar per token) dan provisioned (kapasitas yang dicadangkan). Dalam setiap kategori, Anda dapat memilih pemrosesan global, zona data, atau regional berdasarkan persyaratan kepatuhan Anda.

Jenis penyebaran tanpa server yang tersedia meliputi: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned, dan Developer. Untuk mempelajari selengkapnya tentang jenis penyebaran ini dan cara memilih yang tepat untuk penggunaan Anda, lihat Jenis penyebaran untuk Model Microsoft Foundry (klasik).

Penagihan untuk penyebaran tanpa server

Pengalaman penemuan, langganan, dan konsumsi untuk model yang disebarkan sebagai penyebaran tanpa server tersedia di portal Foundry dan Azure Machine Learning Studio. Pengguna menerima ketentuan lisensi untuk penggunaan model. Informasi harga untuk penggunaan tersedia pada waktu penerapan.

Foundry Model dari mitra dan komunitas ditagihkan melalui Azure Marketplace, sesuai dengan Syarat Penggunaan Marketplace Komersial Microsoft.

Model Foundry yang dijual langsung oleh Azure ditagih melalui Azure meter sebagai Layanan Konsumsi Pihak Pertama. Seperti yang dijelaskan dalam ketentuan Product, Anda membeli Layanan Konsumsi Pihak Pertama dengan menggunakan pengukur Azure, tetapi tidak tunduk pada ketentuan layanan Azure. Penggunaan model ini tunduk pada ketentuan lisensi yang disediakan.

Menyempurnakan model

Model tertentu juga mendukung penyempurnaan yang lebih rinci. Untuk model ini, Anda dapat menggunakan komputasi terkelola atau penyebaran tanpa server untuk melakukan penyetelan guna menyesuaikan model menggunakan data yang Anda sediakan. Untuk informasi selengkapnya, lihat Menyempurnakan model dengan Microsoft Foundry (klasik).

RAG dengan model yang disebarkan sebagai penyebaran tanpa server

Di portal Foundry, gunakan indeks vektor dan retrieval-augmented generation (RAG) dengan model yang disebarkan melalui penyebaran tanpa server untuk menghasilkan penyematan dan inferensi berdasarkan data kustom. Penyematan dan inferensi ini kemudian dapat menghasilkan jawaban khusus untuk kasus penggunaan Anda. Untuk informasi selengkapnya, lihat Membangun dan menggunakan indeks vektor di portal Microsoft Foundry (klasik).

Ketersediaan penawaran dan model regional

Penagihan bayar per token hanya tersedia untuk pengguna yang langganan Azure-nya termasuk dalam akun pembayaran di negara atau wilayah di mana penyedia model telah menawarkan layanan tersebut. Jika penawaran tersedia di wilayah yang relevan, pengguna harus memiliki sumber daya project di wilayah Azure tempat model tersedia untuk penyebaran atau penyempurnaan, sebagaimana berlaku. Lihat Ketersediaan wilayah untuk model dalam penyebaran tanpa server (klasik) untuk informasi terperinci.

Keamanan konten untuk model yang disebarkan melalui penyebaran tanpa server

Untuk model bahasa yang disebarkan melalui API tanpa server, Azure AI menerapkan konfigurasi default Azure AI Content Safety filter moderasi teks yang mendeteksi konten berbahaya seperti kebencian, bahaya diri, seksual, dan konten kekerasan. Untuk mempelajari selengkapnya tentang pemfilteran konten, lihat Rambu Pembatas & pengendalian untuk Model yang Dijual Langsung oleh Azure.

Petunjuk / Saran

Pemfilteran konten tidak tersedia untuk jenis model tertentu yang disebarkan melalui API tanpa server. Jenis model ini termasuk menyematkan model dan model rangkaian waktu.

Pemfilteran konten terjadi secara sinkron saat layanan memproses permintaan untuk menghasilkan konten. Anda mungkin ditagih secara terpisah sesuai dengan harga Azure AI Content Safety untuk penggunaan tersebut. Anda dapat menonaktifkan pemfilteran konten untuk titik akhir tanpa server individual:

Pada saat Anda pertama kali menyebarkan model bahasa
Kemudian, dengan memilih tombol pemfilteran konten pada halaman detail penyebaran

Misalkan Anda memutuskan untuk menggunakan API selain api Model Inference API untuk bekerja dengan model yang disebarkan melalui API tanpa server. Dalam situasi seperti itu, pemfilteran konten tidak diaktifkan kecuali Anda menerapkannya secara terpisah dengan menggunakan Azure AI Content Safety.

Untuk memulai dengan Azure AI Content Safety, lihat Quickstart: Menganalisis konten teks. Jika Anda tidak menggunakan pemfilteran konten saat bekerja dengan model yang disebarkan melalui API tanpa server, Anda menjalankan risiko yang lebih tinggi untuk mengekspos pengguna ke konten berbahaya.

Isolasi jaringan untuk model yang disebarkan melalui penyebaran tanpa server

Titik akhir untuk model yang disebarkan sebagai penyebaran tanpa server mengikuti pengaturan akses jaringan publik dari hub Foundry yang mencakup proyek tempat penyebaran tersebut berada. Untuk membantu mengamankan penyebaran tanpa server Anda, nonaktifkan bendera access jaringan publik di hub Foundry Anda. Anda dapat membantu mengamankan komunikasi masuk dari klien ke titik akhir Anda dengan menggunakan titik akhir privat untuk hub.

Untuk mengatur pengaturan akses jaringan publik untuk hub Foundry:

Buka Azure portal.
Cari grup sumber daya tempat hub berada, dan pilih hub Foundry Anda dari sumber daya yang tercantum untuk grup sumber daya ini.
Pada halaman gambaran umum hub, di panel kiri, buka Pengaturan>Jaringan.
Pada tab Public access, konfigurasikan pengaturan untuk tanda akses jaringan publik.
Simpan perubahan Anda. Perubahan mungkin memakan waktu hingga lima menit untuk disebarluaskan.

Keterbatasan

Jika Anda memiliki hub Foundry dengan titik akhir privat yang dibuat sebelum 11 Juli 2024, penyebaran tanpa server yang ditambahkan ke proyek di hub ini tidak akan mengikuti konfigurasi jaringan hub. Sebagai gantinya, buat titik akhir privat baru untuk hub dan penyebaran tanpa server baru di proyek sehingga penyebaran baru dapat mengikuti konfigurasi jaringan hub.
Jika Anda memiliki hub Foundry dengan penyebaran tanpa server yang dibuat sebelum 11 Juli 2024, dan Anda mengaktifkan titik akhir privat di hub ini, penyebaran tanpa server yang ada tidak akan mengikuti konfigurasi jaringan hub. Agar penyebaran tanpa server di hub mengikuti konfigurasi jaringan hub, buat penyebaran lagi.
Saat ini, dukungan Azure OpenAI On Your Data tidak tersedia untuk penyebaran tanpa server di hub privat, karena akses jaringan publik di hub privat dinonaktifkan.
Setiap perubahan konfigurasi jaringan (misalnya, mengaktifkan atau menonaktifkan bendera access jaringan publik) mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.

Siklus hidup model: depresiasi dan pengentian

Model AI berkembang dengan cepat, dan ketika versi baru atau model baru dengan kemampuan yang diperbarui dalam keluarga model yang sama tersedia, model lama mungkin dikeluarkan dari katalog model Foundry. Untuk memungkinkan transisi yang lancar ke versi model yang lebih baru, beberapa model memungkinkan pengguna mengaktifkan pembaruan otomatis. Untuk mempelajari tentang siklus hidup model dari model yang berbeda, tanggal penghentian model mendatang, dan model dan versi pengganti yang disarankan, lihat:

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2026-03-05