Katalog model dan koleksi di portal Azure AI Foundry
Penting
Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Katalog model di portal Azure AI Foundry adalah hub untuk menemukan dan menggunakan berbagai model untuk membangun aplikasi AI generatif. Katalog model ini menampilkan ratusan model di seluruh penyedia model seperti Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA, dan Hugging Face, termasuk model yang dilatih Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft seperti yang didefinisikan dalam Ketentuan Produk Microsoft dan tunduk pada persyaratan yang disediakan dengan model.
Koleksi model
Katalog model mengatur model ke dalam koleksi yang berbeda:
Dikurasi oleh Azure AI: Model berbobot terbuka dan kepemilikan non-Microsoft paling populer yang dikemas dan dioptimalkan untuk bekerja dengan mulus di platform Azure AI. Penggunaan model ini tunduk pada ketentuan lisensi penyedia model. Saat Anda menyebarkan model ini di portal Azure AI Foundry, ketersediaannya tunduk pada perjanjian tingkat layanan (SLA) Azure yang berlaku, dan Microsoft menyediakan dukungan untuk masalah penyebaran.
Model dari mitra seperti Meta, NVIDIA, dan Mistral AI adalah contoh model yang tersedia dalam koleksi ini pada katalog. Anda dapat mengidentifikasi model ini dengan mencari tanda centang hijau pada petak peta model di katalog. Atau Anda dapat memfilter menurut koleksi Curated by Azure AI .
Model Azure OpenAI tersedia secara eksklusif di Azure: Model Azure OpenAI unggulan tersedia melalui integrasi dengan Azure OpenAI Service. Microsoft mendukung model ini dan penggunaannya sesuai dengan ketentuan produk dan SLA untuk Layanan Azure OpenAI.
Buka model dari hub Hugging Face: Ratusan model dari hub Hugging Face untuk inferensi real time dengan komputasi terkelola. Memeluk Wajah membuat dan memelihara model yang tercantum dalam koleksi ini. Untuk bantuan, gunakan forum Hugging Face atau dukungan Hugging Face. Pelajari selengkapnya di Menyebarkan model terbuka dengan Azure AI Foundry.
Anda dapat mengirimkan permintaan untuk menambahkan model ke katalog model dengan menggunakan formulir ini.
Gambaran umum kemampuan katalog model
Anda dapat mencari dan menemukan model yang memenuhi kebutuhan Anda melalui keyword search dan filters. Katalog model juga menawarkan metrik tolok ukur performa model untuk model tertentu. Anda dapat mengakses tolok ukur dengan mengklik Compare Models atau dari tab Tolok Ukur kartu model.
Pada kartu model, Anda akan menemukan:
- Fakta cepat: Anda akan melihat informasi utama tentang model sekilas.
- Detail: halaman ini berisi informasi terperinci tentang model, termasuk deskripsi, info versi, jenis data yang didukung, dll.
- Tolok ukur: Anda akan menemukan metrik tolok ukur performa untuk model tertentu.
- Penyebaran yang ada: jika Anda telah menyebarkan model, Anda dapat menemukannya di bawah tab Penyebaran yang ada.
- Sampel kode: Anda akan menemukan sampel kode dasar untuk memulai pengembangan aplikasi AI.
- Lisensi: Anda akan menemukan informasi hukum yang terkait dengan lisensi model.
- Artefak: tab ini hanya akan ditampilkan untuk model terbuka. Anda dapat melihat aset model dan mengunduhnya melalui antarmuka pengguna.
Penyebaran model: Azure OpenAI
Untuk informasi selengkapnya tentang model Azure OpenAI, lihat Apa itu Azure OpenAI Service?.
Penyebaran model: API komputasi terkelola dan tanpa server
Selain model Azure OpenAI Service, katalog model menawarkan dua cara berbeda untuk menyebarkan model untuk penggunaan Anda: komputasi terkelola dan API tanpa server.
Opsi penyebaran dan fitur yang tersedia untuk setiap model bervariasi, seperti yang dijelaskan dalam tabel berikut. Pelajari selengkapnya tentang pemrosesan data dengan opsi penyebaran.
Kemampuan opsi penyebaran model
| Fitur | Komputasi terkelola | API tanpa server (bayar per token) |
|---|---|---|
| Pengalaman penyebaran dan penagihan | Bobot model disebarkan ke komputer virtual khusus dengan komputasi terkelola. Komputasi terkelola, yang dapat memiliki satu atau beberapa penyebaran, menyediakan REST API untuk inferensi. Anda ditagih untuk jam inti komputer virtual yang digunakan penyebaran. | Akses ke model adalah melalui penyebaran yang menyediakan API untuk mengakses model. API menyediakan akses ke model yang dihosting dan dikelola Microsoft, untuk inferensi. Anda ditagih untuk input dan output ke API, biasanya dalam token. Informasi harga disediakan sebelum Anda menyebarkan. |
| Autentikasi API | Kunci dan autentikasi Microsoft Entra. | Kunci saja. |
| Keamanan konten | Gunakan API layanan Azure AI Content Safety. | Filter Azure AI Content Safety tersedia terintegrasi dengan API inferensi. Filter Keamanan Konten Azure AI ditagih secara terpisah. |
| Isolasi jaringan | Mengonfigurasi jaringan terkelola untuk hub Azure AI Foundry. | Komputasi terkelola mengikuti pengaturan bendera akses jaringan publik (PNA) hub Anda. Untuk informasi selengkapnya, lihat bagian Isolasi jaringan untuk model yang disebarkan melalui API Tanpa Server nanti di artikel ini. |
Model yang tersedia untuk opsi penyebaran yang didukung
Daftar berikut berisi model API Tanpa Server. Untuk model Azure OpenAI, lihat Model Layanan Azure OpenAI.
| Model | Komputasi terkelola | API tanpa server (bayar per token) |
|---|---|---|
| Model keluarga AI21 | Tidak tersedia | Jamba-1.5-Mini Jamba-1.5-Besar |
| Model keluarga Cohere | Tidak tersedia | Cohere-command-r-plus-08-2024 Kohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-v3-english Cohere-rerank-v3-multibahasa |
| Model DeepSeek dari Microsoft | Tidak tersedia | DeepSeek-R1 |
| Gretel | Tidak tersedia | Gretel-Navigator |
| Model keluarga AI Perawatan Kesehatan | MedImageParse MedImageInsight CxrReportGen Virchow Virchow2 Prism BiomedCLIP-PubMedBERT microsoft-llava-med-v1.5 m42-health-llama3-med4 biomistral-biomistral-7b microsoft-biogpt-large-pub microsoft-biomednlp-pub stanford-crfm-biomedlm medicalai-clinicalbert microsoft-biogpt microsoft-biogpt-large microsoft-biomednlp-pub |
Tidak Tersedia |
| JAIS | Tidak tersedia | jais-30b-chat |
| Model keluarga Meta Llama | Llama-3.3-70B-Instruct Llama-3.2-3B-Instruct Llama-3.2-1B-Instruct Llama-3.2-1B Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-8B Llama-3.1-70B-Instruct Llama-3.1-70B Llama-3-8B-Instruct Llama-3-70B Llama-3-8B Llama-Guard-3-1B Llama-Guard-3-8B Llama-Guard-3-11B-Vision Llama-2-7b Llama-2-70b Llama-2-7b-chat Llama-2-13b-chat CodeLlama-7b-hf CodeLlama-7b-Instruct-hf CodeLlama-34b-hf CodeLlama-34b-Python-hf CodeLlama-34b-Instruct-hf CodeLlama-13b-Instruct-hf CodeLlama-13b-Python-hf Prompt-Guard-86M CodeLlama-70b-hf |
Llama-3.3-70B-Instruct Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-70B-Instruct Llama-3.1-405B-Instruct Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-70b Llama-2-70b-chat Llama-2-13b Llama-2-13b-chat |
| Model keluarga Microsoft Phi | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct Phi-4 |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct Phi-4 |
| Model keluarga Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Nixtla | Tidak tersedia | TimeGEN-1 |
Siklus hidup model: penghentian dan penghentian
Model AI berkembang dengan cepat, dan ketika versi baru atau model baru dengan kemampuan yang diperbarui dalam keluarga model yang sama tersedia, model yang lebih lama dapat dihentikan dalam katalog model AI Foundry. Untuk memungkinkan transisi yang lancar ke versi model yang lebih baru, beberapa model memberi pengguna opsi untuk mengaktifkan pembaruan otomatis. Untuk mempelajari selengkapnya tentang siklus hidup model dari model yang berbeda, tanggal penghentian model mendatang, dan model dan versi pengganti yang disarankan, lihat:
- Penghentian dan penghentian model Azure OpenAI Service
- Penghentian dan penghentian model API tanpa batas
Komputasi terkelola
Kemampuan untuk menyebarkan model sebagai komputasi terkelola dibangun pada kemampuan platform Azure Pembelajaran Mesin untuk memungkinkan integrasi yang mulus dari berbagai koleksi model dalam katalog model di seluruh siklus hidup operasi model bahasa besar (LLM).
Ketersediaan model untuk penyebaran sebagai komputasi terkelola
Model tersedia melalui registri Azure Pembelajaran Mesin. Registri ini memungkinkan pendekatan pembelajaran mesin-pertama untuk menghosting dan mendistribusikan aset Azure Pembelajaran Mesin. Aset ini termasuk bobot model, runtime kontainer untuk menjalankan model, alur untuk mengevaluasi dan menyempurnakan model, dan himpunan data untuk tolok ukur dan sampel.
Registri dibangun di atas infrastruktur yang sangat dapat diskalakan dan siap perusahaan yang:
Memberikan artefak model akses latensi rendah ke semua wilayah Azure dengan replikasi geografis bawaan.
Mendukung persyaratan keamanan perusahaan seperti membatasi akses ke model dengan menggunakan Azure Policy dan penyebaran yang aman dengan menggunakan jaringan virtual terkelola.
Penyebaran model untuk inferensi dengan komputasi terkelola
Model yang tersedia untuk penyebaran ke komputasi terkelola dapat disebarkan ke Azure Pembelajaran Mesin komputasi terkelola untuk inferensi real time. Menyebarkan ke komputasi terkelola mengharuskan Anda memiliki kuota komputer virtual di langganan Azure Anda untuk produk tertentu yang Anda butuhkan untuk menjalankan model secara optimal. Beberapa model memungkinkan Anda menyebarkan ke kuota yang dibagikan sementara untuk pengujian model.
Pelajari selengkapnya tentang menyebarkan model:
Membangun aplikasi AI generatif dengan komputasi terkelola
Fitur alur perintah di Azure Pembelajaran Mesin menawarkan pengalaman hebat untuk membuat prototipe. Anda dapat menggunakan model yang disebarkan dengan komputasi terkelola dalam alur perintah dengan alat Open Model LLM. Anda juga dapat menggunakan REST API yang diekspos oleh komputasi terkelola di alat LLM populer seperti LangChain dengan ekstensi Azure Pembelajaran Mesin.
Keamanan konten untuk model yang disebarkan sebagai komputasi terkelola
Layanan Azure AI Content Safety tersedia untuk digunakan dengan komputasi terkelola untuk menyaring berbagai kategori konten berbahaya, seperti konten seksual, kekerasan, kebencian, dan bahaya diri. Anda juga dapat menggunakan layanan untuk menyaring ancaman tingkat lanjut seperti deteksi risiko jailbreak dan deteksi teks material yang dilindungi.
Anda dapat merujuk ke notebook ini untuk integrasi referensi dengan Azure AI Content Safety for Llama 2. Atau Anda dapat menggunakan alat Content Safety (Text) dalam alur perintah untuk meneruskan respons dari model ke Azure AI Content Safety untuk penyaringan. Anda ditagih secara terpisah untuk penggunaan tersebut, seperti yang dijelaskan dalam harga Azure AI Content Safety.
Penagihan API tanpa server (bayar per token)
Anda dapat menyebarkan model tertentu dalam katalog model dengan penagihan bayar per token. Metode penyebaran ini, juga disebut API Tanpa Server, menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda. Model dihosting dalam infrastruktur yang dikelola Microsoft, yang memungkinkan akses berbasis API ke model penyedia model. Akses berbasis API dapat secara dramatis mengurangi biaya akses model dan menyederhanakan pengalaman provisi.
Model yang tersedia untuk penyebaran sebagai API tanpa server dengan penagihan bayar sesuai penggunaan ditawarkan oleh penyedia model, tetapi dihosting dalam infrastruktur Azure yang dikelola Microsoft dan diakses melalui API. Penyedia model menentukan persyaratan lisensi dan menetapkan harga untuk penggunaan model mereka. Layanan Azure Pembelajaran Mesin:
- Mengelola infrastruktur hosting.
- Membuat API inferensi tersedia.
- Bertindak sebagai pemroses data untuk permintaan yang dikirimkan dan output konten oleh model yang disebarkan melalui MaaS.
Pelajari selengkapnya tentang pemrosesan data untuk MaaS di artikel tentang privasi data.
Catatan
langganan Penyedia Solusi Cloud (CSP) tidak memiliki kemampuan untuk membeli model penyebaran API tanpa server (MaaS).
Billing
Pengalaman penemuan, langganan, dan konsumsi untuk model yang disebarkan melalui MaaS ada di portal Azure AI Foundry dan studio Azure Pembelajaran Mesin. Pengguna menerima ketentuan lisensi untuk penggunaan model. Informasi harga untuk konsumsi disediakan selama penyebaran.
Model dari penyedia non-Microsoft ditagih melalui Marketplace Azure, sesuai dengan Ketentuan Penggunaan Marketplace Komersial Microsoft.
Model dari Microsoft ditagih melalui meter Azure sebagai First Party Consumption Services. Seperti yang dijelaskan dalam Ketentuan Produk, Anda membeli Layanan Konsumsi Pihak Pertama dengan menggunakan pengukur Azure, tetapi tidak tunduk pada ketentuan layanan Azure. Penggunaan model ini tunduk pada ketentuan lisensi yang disediakan.
Menyempurnakan model
Model tertentu juga mendukung penyempurnaan. Untuk model ini, Anda dapat memanfaatkan komputasi terkelola (pratinjau) atau penyempurnaan API tanpa server untuk menyesuaikan model dengan menggunakan data yang Anda berikan. Untuk informasi selengkapnya, lihat gambaran umum penyempurnaan.
RAG dengan model yang disebarkan sebagai API tanpa server
Di portal Azure AI Foundry, Anda dapat menggunakan indeks vektor dan retrieval-augmented generation (RAG). Anda dapat menggunakan model yang dapat disebarkan melalui API tanpa server untuk menghasilkan penyematan dan inferensi berdasarkan data kustom. Penyematan dan inferensi ini kemudian dapat menghasilkan jawaban khusus untuk kasus penggunaan Anda. Untuk informasi selengkapnya, lihat Membangun dan menggunakan indeks vektor di portal Azure AI Foundry.
Ketersediaan penawaran dan model regional
Penagihan bayar per token hanya tersedia untuk pengguna yang langganan Azure-nya milik akun penagihan di negara/wilayah tempat penyedia model telah membuat penawaran tersedia. Jika penawaran tersedia di wilayah yang relevan, pengguna harus memiliki sumber daya proyek di wilayah Azure tempat model tersedia untuk penyebaran atau penyempurnaan, sebagaimana berlaku. Lihat Ketersediaan wilayah untuk model di titik akhir API tanpa server | Azure AI Foundry untuk informasi terperinci.
Keamanan konten untuk model yang disebarkan melalui API tanpa server
Untuk model bahasa yang disebarkan melalui API tanpa server, Azure AI menerapkan konfigurasi default filter moderasi teks Azure AI Content Safety yang mendeteksi konten berbahaya seperti kebencian, bahaya diri sendiri, konten seksual, dan kekerasan. Untuk mempelajari selengkapnya tentang pemfilteran konten (pratinjau), lihat Kategori bahaya di Azure AI Content Safety.
Tip
Pemfilteran konten (pratinjau) tidak tersedia untuk jenis model tertentu yang disebarkan melalui API tanpa server. Jenis model ini termasuk menyematkan model dan model rangkaian waktu.
Pemfilteran konten (pratinjau) terjadi secara sinkron saat layanan memproses permintaan untuk menghasilkan konten. Anda mungkin ditagih secara terpisah sesuai dengan harga Azure AI Content Safety untuk penggunaan tersebut. Anda dapat menonaktifkan pemfilteran konten (pratinjau) untuk titik akhir tanpa server individual:
- Pada saat Anda pertama kali menyebarkan model bahasa
- Kemudian, dengan memilih tombol pemfilteran konten pada halaman detail penyebaran
Misalkan Anda memutuskan untuk menggunakan API selain API Inferensi Model Azure AI untuk bekerja dengan model yang disebarkan melalui API tanpa server. Dalam situasi seperti itu, pemfilteran konten (pratinjau) tidak diaktifkan kecuali Anda menerapkannya secara terpisah dengan menggunakan Azure AI Content Safety.
Untuk mulai menggunakan Azure AI Content Safety, lihat Mulai Cepat: Menganalisis konten teks. Jika Anda tidak menggunakan pemfilteran konten (pratinjau) saat bekerja dengan model yang disebarkan melalui API tanpa server, Anda menjalankan risiko yang lebih tinggi untuk mengekspos pengguna ke konten berbahaya.
Isolasi jaringan untuk model yang disebarkan melalui API tanpa server
Titik akhir untuk model yang disebarkan sebagai API tanpa server mengikuti pengaturan bendera akses jaringan publik hub Azure AI Foundry yang memiliki proyek tempat penyebaran berada. Untuk membantu mengamankan titik akhir API tanpa server Anda, nonaktifkan bendera akses jaringan publik di hub Azure AI Foundry Anda. Anda dapat membantu mengamankan komunikasi masuk dari klien ke titik akhir Anda dengan menggunakan titik akhir privat untuk hub.
Untuk mengatur bendera akses jaringan publik untuk hub Azure AI Foundry:
- Buka portal Azure.
- Cari grup sumber daya tempat hub berada, dan pilih hub Azure AI Foundry Anda dari sumber daya yang tercantum untuk grup sumber daya ini.
- Pada halaman gambaran umum hub, di panel kiri, buka Pengaturan>Jaringan.
- Pada tab Akses publik, Anda dapat mengonfigurasi pengaturan untuk bendera akses jaringan publik.
- Simpan perubahan Anda. Perubahan Anda mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.
Batasan
Jika Anda memiliki hub Azure AI Foundry dengan titik akhir privat yang dibuat sebelum 11 Juli 2024, titik akhir API tanpa server yang ditambahkan ke proyek di hub ini tidak akan mengikuti konfigurasi jaringan hub. Sebagai gantinya, Anda perlu membuat titik akhir privat baru untuk hub dan membuat penyebaran API tanpa server baru dalam proyek sehingga penyebaran baru dapat mengikuti konfigurasi jaringan hub.
Jika Anda memiliki hub Azure AI Foundry dengan penyebaran MaaS yang dibuat sebelum 11 Juli 2024, dan Anda mengaktifkan titik akhir privat di hub ini, penyebaran API tanpa server yang ada tidak akan mengikuti konfigurasi jaringan hub. Agar penyebaran API tanpa server di hub mengikuti konfigurasi jaringan hub, Anda perlu membuat penyebaran lagi.
Saat ini, dukungan Azure OpenAI On Your Data tidak tersedia untuk penyebaran API tanpa server di hub privat, karena hub privat menonaktifkan bendera akses jaringan publik.
Setiap perubahan konfigurasi jaringan (misalnya, mengaktifkan atau menonaktifkan bendera akses jaringan publik) mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.