Katalog dan koleksi model di Azure AI Studio
Penting
Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Katalog model di Azure AI Studio adalah hub untuk menemukan dan menggunakan berbagai model untuk membangun aplikasi AI generatif. Katalog model ini menampilkan ratusan model di seluruh penyedia model seperti Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA, dan Hugging Face, termasuk model yang dilatih Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft seperti yang didefinisikan dalam Ketentuan Produk Microsoft dan tunduk pada persyaratan yang disediakan dengan model.
Koleksi model
Katalog model mengatur model menjadi tiga koleksi:
Dikurasi oleh Azure AI: Model berbobot terbuka dan kepemilikan non-Microsoft paling populer yang dikemas dan dioptimalkan untuk bekerja dengan mulus di platform Azure AI. Penggunaan model ini tunduk pada ketentuan lisensi penyedia model. Saat Anda menyebarkan model ini di Azure AI Studio, ketersediaannya tunduk pada perjanjian tingkat layanan (SLA) Azure yang berlaku, dan Microsoft menyediakan dukungan untuk masalah penyebaran.
Model dari mitra seperti Meta, NVIDIA, dan Mistral AI adalah contoh model yang tersedia dalam koleksi ini pada katalog. Anda dapat mengidentifikasi model ini dengan mencari tanda centang hijau pada petak peta model di katalog. Atau Anda dapat memfilter menurut koleksi Curated by Azure AI .
Model Azure OpenAI tersedia secara eksklusif di Azure: Model Azure OpenAI unggulan tersedia melalui integrasi dengan Azure OpenAI Service. Microsoft mendukung model ini dan penggunaannya sesuai dengan ketentuan produk dan SLA untuk Layanan Azure OpenAI.
Buka model dari hub Hugging Face: Ratusan model dari hub Hugging Face untuk inferensi real time dengan komputasi terkelola. Memeluk Wajah membuat dan memelihara model yang tercantum dalam koleksi ini. Untuk bantuan, gunakan forum Hugging Face atau dukungan Hugging Face. Pelajari selengkapnya di Menyebarkan model terbuka dengan Azure AI Studio.
Anda dapat mengirimkan permintaan untuk menambahkan model ke katalog model dengan menggunakan formulir ini.
Gambaran umum kemampuan katalog model
Anda dapat menyebarkan beberapa model dalam model Yang Dikurasi oleh Azure AI dan Buka dari koleksi hub Hugging Face dengan opsi komputasi terkelola. Beberapa model tersedia untuk disebarkan melalui API tanpa server dengan penagihan bayar sesuai penggunaan.
Anda dapat menemukan, membandingkan, mengevaluasi, menyempurnakan (jika didukung), dan menyebarkan model ini dalam skala besar. Anda kemudian dapat mengintegrasikan model ke dalam aplikasi AI generatif Anda dengan keamanan tingkat perusahaan dan tata kelola data. Daftar berikut ini menjelaskan aktivitas secara rinci:
- Temukan: Tinjau kartu model, coba inferensi sampel, dan telusuri sampel kode untuk mengevaluasi, menyempurnakan, atau menyebarkan model.
- Bandingkan: Bandingkan tolok ukur di seluruh model dan himpunan data yang tersedia di industri untuk menilai mana yang memenuhi skenario bisnis Anda.
- Evaluasi: Evaluasi apakah model cocok untuk beban kerja spesifik Anda dengan memberikan data pengujian Anda sendiri. Gunakan metrik evaluasi untuk memvisualisasikan seberapa baik performa model yang dipilih dalam skenario Anda.
- Menyempurnakan: Menyesuaikan model yang dapat disempurnakan dengan menggunakan data pelatihan Anda sendiri, dan pilih model terbaik dengan membandingkan metrik di semua pekerjaan penyempurnaan Anda. Pengoptimalan bawaan mempercepat penyempurnaan dan mengurangi memori dan komputasi yang diperlukan.
- Sebarkan: Sebarkan model yang telah dilatih sebelumnya atau model yang disempurnakan dengan mulus untuk inferensi. Anda juga dapat mengunduh model yang dapat disebarkan ke komputasi terkelola.
Untuk informasi selengkapnya tentang model Azure OpenAI, lihat Apa itu Azure OpenAI Service?.
Penyebaran model: Komputasi terkelola dan API tanpa server (bayar sesuai penggunaan)
Katalog model menawarkan dua cara berbeda untuk menyebarkan model untuk penggunaan Anda: komputasi terkelola dan API tanpa server.
Opsi penyebaran dan fitur yang tersedia untuk setiap model bervariasi, seperti yang dijelaskan dalam tabel berikut. Pelajari selengkapnya tentang pemrosesan data dengan opsi penyebaran.
Kemampuan opsi penyebaran model
| Fitur | Komputasi terkelola | API tanpa server (bayar sesuai penggunaan) |
|---|---|---|
| Pengalaman penyebaran dan penagihan | Bobot model disebarkan ke komputer virtual khusus dengan komputasi terkelola. Komputasi terkelola, yang dapat memiliki satu atau beberapa penyebaran, menyediakan REST API untuk inferensi. Anda ditagih untuk jam inti komputer virtual yang digunakan penyebaran. | Akses ke model adalah melalui penyebaran yang menyediakan API untuk mengakses model. API menyediakan akses ke model yang dihosting dan dikelola Microsoft, untuk inferensi. Anda ditagih untuk input dan output ke API, biasanya dalam token. Informasi harga disediakan sebelum Anda menyebarkan. |
| Autentikasi API | Kunci dan autentikasi Microsoft Entra. | Kunci saja. |
| Keamanan konten | Gunakan API layanan Azure AI Content Safety. | Filter Azure AI Content Safety tersedia terintegrasi dengan API inferensi. Filter Keamanan Konten Azure AI ditagih secara terpisah. |
| Isolasi jaringan | Mengonfigurasi jaringan terkelola untuk hub Azure AI Studio. | Komputasi terkelola mengikuti pengaturan bendera akses jaringan publik (PNA) hub Anda. Untuk informasi selengkapnya, lihat bagian Isolasi jaringan untuk model yang disebarkan melalui API Tanpa Server nanti di artikel ini. |
Model yang tersedia untuk opsi penyebaran yang didukung
| Model | Komputasi terkelola | API tanpa server (bayar sesuai penggunaan) |
|---|---|---|
| Model keluarga Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Model keluarga Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Model keluarga Cohere | Tidak tersedia | Cohere-command-r-plus-08-2024 Kohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-v3-english Cohere-rerank-v3-multibahasa |
| JAIS | Tidak tersedia | jais-30b-chat |
| Model Keluarga AI Perawatan Kesehatan | MedImageInsight CxrReportGen MedImageParse |
Tidak Tersedia |
| Model keluarga Phi-3 | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | Tidak tersedia | TimeGEN-1 |
| Model lain | Tersedia | Tidak tersedia |
Komputasi terkelola
Kemampuan untuk menyebarkan model sebagai komputasi terkelola dibangun pada kemampuan platform Azure Pembelajaran Mesin untuk memungkinkan integrasi yang mulus dari berbagai koleksi model dalam katalog model di seluruh siklus hidup operasi model bahasa besar (LLM).
Ketersediaan model untuk penyebaran sebagai komputasi terkelola
Model tersedia melalui registri Azure Pembelajaran Mesin. Registri ini memungkinkan pendekatan pembelajaran mesin-pertama untuk menghosting dan mendistribusikan aset Azure Pembelajaran Mesin. Aset ini termasuk bobot model, runtime kontainer untuk menjalankan model, alur untuk mengevaluasi dan menyempurnakan model, dan himpunan data untuk tolok ukur dan sampel.
Registri dibangun di atas infrastruktur yang sangat dapat diskalakan dan siap perusahaan yang:
Memberikan artefak model akses latensi rendah ke semua wilayah Azure dengan replikasi geografis bawaan.
Mendukung persyaratan keamanan perusahaan seperti membatasi akses ke model dengan menggunakan Azure Policy dan penyebaran yang aman dengan menggunakan jaringan virtual terkelola.
Penyebaran model untuk inferensi dengan komputasi terkelola
Model yang tersedia untuk penyebaran ke komputasi terkelola dapat disebarkan ke Azure Pembelajaran Mesin komputasi terkelola untuk inferensi real time. Menyebarkan ke komputasi terkelola mengharuskan Anda memiliki kuota komputer virtual di langganan Azure Anda untuk produk tertentu yang Anda butuhkan untuk menjalankan model secara optimal. Beberapa model memungkinkan Anda menyebarkan ke kuota yang dibagikan sementara untuk pengujian model.
Pelajari selengkapnya tentang menyebarkan model:
Membangun aplikasi AI generatif dengan komputasi terkelola
Fitur alur perintah di Azure Pembelajaran Mesin menawarkan pengalaman hebat untuk membuat prototipe. Anda dapat menggunakan model yang disebarkan dengan komputasi terkelola dalam alur perintah dengan alat Open Model LLM. Anda juga dapat menggunakan REST API yang diekspos oleh komputasi terkelola di alat LLM populer seperti LangChain dengan ekstensi Azure Pembelajaran Mesin.
Keamanan konten untuk model yang disebarkan sebagai komputasi terkelola
Layanan Azure AI Content Safety tersedia untuk digunakan dengan komputasi terkelola untuk menyaring berbagai kategori konten berbahaya, seperti konten seksual, kekerasan, kebencian, dan bahaya diri. Anda juga dapat menggunakan layanan untuk menyaring ancaman tingkat lanjut seperti deteksi risiko jailbreak dan deteksi teks material yang dilindungi.
Anda dapat merujuk ke notebook ini untuk integrasi referensi dengan Azure AI Content Safety for Llama 2. Atau Anda dapat menggunakan alat Content Safety (Text) dalam alur perintah untuk meneruskan respons dari model ke Azure AI Content Safety untuk penyaringan. Anda ditagih secara terpisah untuk penggunaan tersebut, seperti yang dijelaskan dalam harga Azure AI Content Safety.
API tanpa server dengan penagihan bayar sesuai penggunaan
Anda dapat menyebarkan model tertentu dalam katalog model sebagai API tanpa server dengan penagihan bayar sesuai penggunaan. Metode penyebaran ini, kadang-kadang disebut model sebagai layanan (MaaS), menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya pada langganan Anda. Model dihosting dalam infrastruktur yang dikelola Microsoft, yang memungkinkan akses berbasis API ke model penyedia model. Akses berbasis API dapat secara dramatis mengurangi biaya akses model dan menyederhanakan pengalaman provisi.
Model yang tersedia untuk penyebaran sebagai API tanpa server dengan penagihan bayar sesuai penggunaan ditawarkan oleh penyedia model, tetapi dihosting dalam infrastruktur Azure yang dikelola Microsoft dan diakses melalui API. Penyedia model menentukan persyaratan lisensi dan menetapkan harga untuk penggunaan model mereka. Layanan Azure Pembelajaran Mesin:
- Mengelola infrastruktur hosting.
- Membuat API inferensi tersedia.
- Bertindak sebagai pemroses data untuk permintaan yang dikirimkan dan output konten oleh model yang disebarkan melalui MaaS.
Pelajari selengkapnya tentang pemrosesan data untuk MaaS di artikel tentang privasi data.
Billing
Pengalaman penemuan, langganan, dan konsumsi untuk model yang disebarkan melalui MaaS berada di Studio Azure AI dan studio Azure Pembelajaran Mesin. Pengguna menerima ketentuan lisensi untuk penggunaan model. Informasi harga untuk konsumsi disediakan selama penyebaran.
Model dari penyedia non-Microsoft ditagih melalui Marketplace Azure, sesuai dengan Ketentuan Penggunaan Marketplace Komersial Microsoft.
Model dari Microsoft ditagih melalui meter Azure sebagai First Party Consumption Services. Seperti yang dijelaskan dalam Ketentuan Produk, Anda membeli Layanan Konsumsi Pihak Pertama dengan menggunakan pengukur Azure, tetapi tidak tunduk pada ketentuan layanan Azure. Penggunaan model ini tunduk pada ketentuan lisensi yang disediakan.
Menyempurnakan model
Model tertentu mendukung juga penyempurnaan tanpa server. Untuk model ini, Anda dapat memanfaatkan penyempurnaan yang dihosting dengan penagihan bayar sesuai pemakaian untuk menyesuaikan model dengan menggunakan data yang Anda berikan. Untuk informasi selengkapnya, lihat gambaran umum penyempurnaan.
RAG dengan model yang disebarkan sebagai API tanpa server
Di Azure AI Studio, Anda dapat menggunakan indeks vektor dan retrieval-augmented generation (RAG). Anda dapat menggunakan model yang dapat disebarkan melalui API tanpa server untuk menghasilkan penyematan dan inferensi berdasarkan data kustom. Penyematan dan inferensi ini kemudian dapat menghasilkan jawaban khusus untuk kasus penggunaan Anda. Untuk informasi selengkapnya, lihat Membangun dan menggunakan indeks vektor di Azure AI Studio.
Ketersediaan penawaran dan model regional
Penagihan bayar sesuai pemakaian hanya tersedia untuk pengguna yang langganan Azure-nya milik akun penagihan di negara tempat penyedia model menyediakan penawaran. Jika penawaran tersedia di wilayah yang relevan, pengguna harus memiliki Hub/Project di wilayah Azure tempat model tersedia untuk penyebaran atau penyempurnaan, sebagaimana berlaku. Lihat Ketersediaan wilayah untuk model di titik akhir API tanpa server | Azure AI Studio untuk informasi terperinci.
Keamanan konten untuk model yang disebarkan melalui API tanpa server
Untuk model bahasa yang disebarkan melalui API tanpa server, Azure AI menerapkan konfigurasi default filter moderasi teks Azure AI Content Safety yang mendeteksi konten berbahaya seperti kebencian, bahaya diri sendiri, konten seksual, dan kekerasan. Untuk mempelajari selengkapnya tentang pemfilteran konten (pratinjau), lihat Kategori bahaya di Azure AI Content Safety.
Tip
Pemfilteran konten (pratinjau) tidak tersedia untuk jenis model tertentu yang disebarkan melalui API tanpa server. Jenis model ini termasuk menyematkan model dan model rangkaian waktu.
Pemfilteran konten (pratinjau) terjadi secara sinkron saat layanan memproses permintaan untuk menghasilkan konten. Anda mungkin ditagih secara terpisah sesuai dengan harga Azure AI Content Safety untuk penggunaan tersebut. Anda dapat menonaktifkan pemfilteran konten (pratinjau) untuk titik akhir tanpa server individual:
- Pada saat Anda pertama kali menyebarkan model bahasa
- Kemudian, dengan memilih tombol pemfilteran konten pada halaman detail penyebaran
Misalkan Anda memutuskan untuk menggunakan API selain API Inferensi Model Azure AI untuk bekerja dengan model yang disebarkan melalui API tanpa server. Dalam situasi seperti itu, pemfilteran konten (pratinjau) tidak diaktifkan kecuali Anda menerapkannya secara terpisah dengan menggunakan Azure AI Content Safety.
Untuk mulai menggunakan Azure AI Content Safety, lihat Mulai Cepat: Menganalisis konten teks. Jika Anda tidak menggunakan pemfilteran konten (pratinjau) saat bekerja dengan model yang disebarkan melalui API tanpa server, Anda menjalankan risiko yang lebih tinggi untuk mengekspos pengguna ke konten berbahaya.
Isolasi jaringan untuk model yang disebarkan melalui API tanpa server
Komputasi terkelola untuk model yang disebarkan sebagai API tanpa server mengikuti pengaturan bendera akses jaringan publik hub AI Studio yang memiliki proyek tempat penyebaran berada. Untuk membantu mengamankan komputasi terkelola Anda, nonaktifkan bendera akses jaringan publik di hub AI Studio Anda. Anda dapat membantu mengamankan komunikasi masuk dari klien ke komputasi terkelola Anda dengan menggunakan titik akhir privat untuk hub.
Untuk mengatur bendera akses jaringan publik untuk hub AI Studio:
- Buka portal Azure.
- Cari grup sumber daya tempat hub berada, dan pilih hub AI Studio Anda dari sumber daya yang tercantum untuk grup sumber daya ini.
- Pada halaman gambaran umum hub, di panel kiri, buka Pengaturan>Jaringan.
- Pada tab Akses publik, Anda dapat mengonfigurasi pengaturan untuk bendera akses jaringan publik.
- Simpan perubahan Anda. Perubahan Anda mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.
Batasan
Jika Anda memiliki hub AI Studio dengan komputasi terkelola yang dibuat sebelum 11 Juli 2024, komputasi terkelola yang ditambahkan ke proyek di hub ini tidak akan mengikuti konfigurasi jaringan hub. Sebagai gantinya, Anda perlu membuat komputasi terkelola baru untuk hub dan membuat penyebaran API tanpa server baru dalam proyek sehingga penyebaran baru dapat mengikuti konfigurasi jaringan hub.
Jika Anda memiliki hub AI Studio dengan penyebaran MaaS yang dibuat sebelum 11 Juli 2024, dan Anda mengaktifkan komputasi terkelola di hub ini, penyebaran MaaS yang ada tidak akan mengikuti konfigurasi jaringan hub. Agar penyebaran API tanpa server di hub mengikuti konfigurasi jaringan hub, Anda perlu membuat penyebaran lagi.
Saat ini, dukungan Azure OpenAI On Your Data tidak tersedia untuk penyebaran MaaS di hub privat, karena hub privat menonaktifkan bendera akses jaringan publik.
Setiap perubahan konfigurasi jaringan (misalnya, mengaktifkan atau menonaktifkan bendera akses jaringan publik) mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.