Katalog dan Koleksi Model di Azure AI Studio
Penting
Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Katalog model di studio Azure AI adalah hub untuk menemukan dan menggunakan berbagai model yang memungkinkan Anda membangun aplikasi AI Generatif. Katalog model ini menampilkan ratusan model di seluruh penyedia model seperti layanan Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, termasuk model yang dilatih oleh Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft, seperti yang didefinisikan dalam Ketentuan Produk Microsoft, dan tunduk pada persyaratan yang disediakan dengan model.
Koleksi Model
Katalog model mengatur model ke dalam Koleksi. Ada tiga jenis koleksi dalam katalog model:
- Model yang dikumpulkan oleh Azure AI: Model open weight dan propriety pihak ketiga paling populer yang dikemas dan dioptimalkan untuk bekerja dengan mulus di platform Azure AI. Penggunaan model ini tunduk pada ketentuan lisensi penyedia model yang disediakan dengan model. Saat disebarkan di Azure AI Studio, ketersediaan model tunduk pada Azure SLA yang berlaku, dan Microsoft menyediakan dukungan untuk masalah penyebaran. Model dari mitra seperti Meta, NVIDIA, Mistral AI adalah contoh model yang tersedia dalam koleksi "Dikurasi oleh Azure AI" pada katalog. Model ini dapat diidentifikasi dengan tanda centang hijau pada petak peta model di katalog atau Anda dapat memfilter menurut koleksi "Dikumpulkan oleh Azure AI".
- Model Azure OpenAI, tersedia secara eksklusif di Azure: Model Unggulan Azure OpenAI melalui koleksi 'Azure OpenAI' melalui integrasi dengan Layanan Azure OpenAI. Microsoft mendukung model ini dan penggunaannya tunduk pada ketentuan produk dan SLA untuk Azure OpenAI Service.
- Model terbuka dari hub Hugging Face: Ratusan model dari hub HuggingFace dapat diakses melalui koleksi 'Hugging Face' untuk inferensi real time dengan komputasi terkelola. Memeluk wajah membuat dan memelihara model yang tercantum dalam koleksi HuggingFace. Gunakan Forum HuggingFace or Dukungan HuggingFace untuk mendapatkan bantuan. Pelajari selengkapnya di Menyebarkan model terbuka .
Menyarankan penambahan ke Katalog Model: Anda dapat mengirimkan permintaan untuk menambahkan model ke katalog model menggunakan formulir ini.
Gambaran umum kapabilitas Katalog Model
Untuk informasi tentang model Azure OpenAI, lihat Azure OpenAI Service .
Beberapa model dalam Model yang Dikumpulkan oleh Azure AI dan Open dari koleksi hub Hugging Face dapat disebarkan dengan opsi komputasi terkelola, dan beberapa model tersedia untuk disebarkan menggunakan API tanpa server dengan penagihan prabayar. Model-model ini dapat ditemukan, dibandingkan, dievaluasi, disempurnakan (jika didukung) dan disebarkan dalam skala besar dan terintegrasi ke dalam aplikasi AI Generatif Anda dengan keamanan tingkat perusahaan dan tata kelola data.
- Temukan: Tinjau kartu model, coba inferensi sampel dan telusuri sampel kode untuk mengevaluasi, menyempurnakan, atau menyebarkan model.
- Bandingkan: Bandingkan tolok ukur di seluruh model dan himpunan data yang tersedia di industri untuk menilai mana yang memenuhi skenario bisnis Anda.
- Evaluasi: Evaluasi apakah model cocok untuk beban kerja spesifik Anda dengan memberikan data pengujian Anda sendiri. Metrik evaluasi memudahkan untuk memvisualisasikan seberapa baik performa model yang dipilih dalam skenario Anda.
- Menyempurnakan: Menyesuaikan model yang dapat disempurnakan menggunakan data pelatihan Anda sendiri dan pilih model terbaik dengan membandingkan metrik di semua pekerjaan penyempurnaan Anda. Pengoptimalan bawaan mempercepat penyempurnaan dan mengurangi memori dan komputasi yang diperlukan untuk penyempurnaan.
- Sebarkan: Sebarkan model yang telah dilatih sebelumnya atau model yang disempurnakan dengan mulus untuk inferensi. Model yang dapat disebarkan ke komputasi terkelola juga dapat diunduh.
Penyebaran model: Komputasi terkelola dan API tanpa server (bayar sesuai penggunaan)
Katalog Model menawarkan dua cara berbeda untuk menyebarkan model dari katalog untuk penggunaan Anda: komputasi terkelola dan API tanpa server. Opsi penyebaran yang tersedia untuk setiap model bervariasi; pelajari selengkapnya tentang fitur opsi penyebaran, dan opsi yang tersedia untuk model tertentu, dalam tabel berikut. Pelajari selengkapnya tentang pemrosesan data dengan opsi penyebaran.
| Fitur | Komputasi terkelola | API tanpa server (bayar sesuai penggunaan) |
|---|---|---|
| Pengalaman penyebaran dan penagihan | Bobot model disebarkan ke Komputer Virtual khusus dengan Titik Akhir Online Terkelola. Titik akhir online terkelola, yang dapat memiliki satu atau beberapa penyebaran, menyediakan REST API untuk inferensi. Anda ditagih untuk jam inti Komputer Virtual yang digunakan oleh penyebaran. | Akses ke model adalah melalui penyebaran yang menyediakan API untuk mengakses model. API menyediakan akses ke model yang dihosting dan dikelola oleh Microsoft, untuk inferensi. Mode akses ini disebut sebagai "Model sebagai Layanan". Anda ditagih untuk input dan output ke API, biasanya dalam token; informasi harga disediakan sebelum Anda menyebarkan. |
| Autentikasi API | Kunci dan autentikasi ID Microsoft Entra. | Kunci saja. |
| Keamanan konten | Gunakan API layanan Azure Content Brankas ty. | Filter Azure AI Content Brankas ty tersedia terintegrasi dengan API inferensi. Filter Brankas ty Konten Azure AI dapat ditagih secara terpisah. |
| Isolasi jaringan | Mengonfigurasi Jaringan Terkelola. Pelajari selengkapnya. |
| Model | Komputasi terkelola | API tanpa server (bayar sesuai penggunaan) |
|---|---|---|
| Model keluarga Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Model keluarga Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Model keluarga Cohere | Tidak tersedia | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | Tidak tersedia | jais-30b-chat |
| Model keluarga Phi3 | Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct Phi-3-vision-128k-instruct |
| Nixtla | Tidak tersedia | TimeGEN-1 |
| Model lain | Tersedia | Tidak tersedia |
Komputasi terkelola
Kemampuan untuk menyebarkan model sebagai komputasi Terkelola dibangun berdasarkan kemampuan platform Azure Pembelajaran Mesin untuk mengaktifkan integrasi yang mulus, di seluruh siklus hidup LLMOps, dari berbagai koleksi model di Katalog Model.
Bagaimana model tersedia untuk penyebaran sebagai Komputasi terkelola?
Model tersedia melalui registri Azure Pembelajaran Mesin yang memungkinkan pendekatan pertama ML untuk menghosting dan mendistribusikan aset Pembelajaran Mesin seperti bobot model, runtime kontainer untuk menjalankan model, alur untuk mengevaluasi dan menyempurnakan model dan himpunan data untuk tolok ukur dan sampel. ML Registries ini dibangun di atas infrastruktur yang sangat dapat diskalakan dan siap untuk perusahaan yang:
Memberikan artefak model akses latensi rendah ke semua wilayah Azure dengan replikasi geografis bawaan.
Mendukung persyaratan keamanan perusahaan sebagai membatasi akses ke model dengan Azure Policy dan mengamankan penyebaran dengan jaringan virtual terkelola.
Menyebarkan model untuk inferensi dengan komputasi terkelola
Model yang tersedia untuk penyebaran ke komputasi Terkelola dapat disebarkan ke Azure Pembelajaran Mesin Online Endpoints untuk inferensi real time. Menyebarkan ke komputasi terkelola mengharuskan Anda memiliki kuota Komputer Virtual di Langganan Azure Anda untuk SKU tertentu yang diperlukan untuk menjalankan model secara optimal. Beberapa model memungkinkan Anda menyebarkan kuota bersama untuk sementara waktu untuk menguji model. Pelajari selengkapnya tentang menyebarkan model:
Membangun Aplikasi AI Generatif dengan komputasi Terkelola
Alur prompt menawarkan pengalaman hebat untuk membuat prototipe. Anda dapat menggunakan model yang disebarkan dengan komputasi Terkelola di Prompt Flow dengan alat Open Model LLM. Anda juga dapat menggunakan REST API yang diekspos oleh komputasi terkelola di alat LLM populer seperti LangChain dengan ekstensi Azure Pembelajaran Mesin.
Keamanan konten untuk model yang disebarkan sebagai Komputasi Terkelola
Layanan Azure AI Content Brankas ty (AACS) tersedia untuk digunakan dengan Komputasi terkelola untuk menyaring berbagai kategori konten berbahaya seperti konten seksual, kekerasan, kebencian, dan bahaya diri sendiri dan ancaman lanjutan seperti deteksi risiko Jailbreak dan deteksi teks materi yang dilindungi. Anda dapat merujuk ke notebook ini untuk integrasi referensi dengan AACS untuk Llama 2 atau menggunakan alat Content Brankas ty (Text) di Prompt Flow untuk meneruskan respons dari model ke AACS untuk penyaringan. Anda ditagih secara terpisah sesuai harga AACS untuk penggunaan tersebut.
API tanpa server dengan penagihan prabayar
Model tertentu dalam Katalog Model dapat disebarkan sebagai API tanpa server dengan penagihan bayar sesuai penggunaan; Metode penyebaran ini disebut Models-as-a Service (MaaS), menyediakan cara untuk menggunakannya sebagai API tanpa menghostingnya di langganan Anda. Model yang tersedia melalui MaaS dihosting dalam infrastruktur yang dikelola oleh Microsoft, yang memungkinkan akses berbasis API ke model penyedia model. Akses berbasis API dapat secara dramatis mengurangi biaya akses model dan secara signifikan menyederhanakan pengalaman provisi. Sebagian besar model MaaS dilengkapi dengan harga berbasis token.
Bagaimana model pihak ketiga tersedia di MaaS?
Model yang tersedia untuk penyebaran sebagai API tanpa server dengan penagihan bayar sesuai penggunaan ditawarkan oleh penyedia model tetapi dihosting di infrastruktur Azure yang dikelola Microsoft dan diakses melalui API. Penyedia model menentukan persyaratan lisensi dan menetapkan harga untuk penggunaan model mereka, sementara layanan Azure Pembelajaran Mesin mengelola infrastruktur hosting, membuat API inferensi tersedia, dan bertindak sebagai pemroses data untuk permintaan yang dikirimkan dan output konten oleh model yang disebarkan melalui MaaS. Pelajari selengkapnya tentang pemrosesan data untuk MaaS di artikel privasi data.
Membayar penggunaan model di MaaS
Pengalaman penemuan, langganan, dan konsumsi untuk model yang disebarkan melalui MaaS berada di studio Azure AI Studio dan Azure Pembelajaran Mesin. Pengguna menerima ketentuan lisensi untuk penggunaan model, dan informasi harga untuk konsumsi disediakan selama penyebaran. Model dari penyedia pihak ketiga ditagih melalui Marketplace Azure, sesuai dengan Ketentuan Penggunaan Marketplace Komersial; model dari Microsoft ditagih menggunakan meter Azure sebagai Layanan Konsumsi Pihak Pertama. Seperti yang dijelaskan dalam Ketentuan Produk, Layanan Konsumsi Pihak Pertama dibeli menggunakan pengukur Azure tetapi tidak tunduk pada ketentuan layanan Azure; penggunaan model ini tunduk pada persyaratan lisensi yang disediakan.
Menyebarkan model untuk inferensi melalui MaaS
Menyebarkan model melalui MaaS memungkinkan pengguna untuk mendapatkan akses ke api inferensi yang siap digunakan tanpa perlu mengonfigurasi infrastruktur atau menyediakan GPU, menghemat waktu dan sumber daya teknik. API ini dapat diintegrasikan dengan beberapa alat LLM dan penggunaan ditagih seperti yang dijelaskan di bagian sebelumnya.
Menyempurnakan model melalui MaaS dengan Pay-as-you-go
Untuk model yang tersedia melalui MaaS dan mendukung penyempurnaan, pengguna dapat memanfaatkan penyempurnaan yang dihosting dengan penagihan bayar sesuai penggunaan untuk menyesuaikan model menggunakan data yang mereka berikan. Untuk informasi selengkapnya, lihat gambaran umum penyempurnaan.
RAG dengan model yang disebarkan sebagai API tanpa server
Azure AI Studio memungkinkan pengguna untuk menggunakan Indeks Vektor dan Pengambilan Pembuatan Tertambah. Model yang dapat disebarkan melalui API tanpa server dapat digunakan untuk menghasilkan penyematan dan inferensi berdasarkan data kustom untuk menghasilkan jawaban khusus untuk kasus penggunaannya. Untuk informasi selengkapnya, lihat Cara membuat indeks vektor.
Ketersediaan penawaran dan model regional
Penagihan bayar sesuai pemakaian hanya tersedia untuk pengguna yang langganan Azure-nya milik akun penagihan di negara tempat penyedia model telah membuat penawaran tersedia (lihat "wilayah ketersediaan penawaran" dalam tabel di bagian berikutnya). Jika penawaran tersedia di wilayah yang relevan, pengguna harus memiliki Hub/Project di wilayah Azure tempat model tersedia untuk penyebaran atau penyempurnaan, sebagaimana berlaku (lihat kolom "wilayah hub/proyek" dalam tabel di bawah).
| Model | Wilayah ketersediaan penawaran | Wilayah Hub/Proyek untuk Penyebaran | Wilayah Hub/Proyek untuk Penyempurnaan |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft Managed Countries | US Timur 2, Swedia Tengah | Tidak tersedia |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft Managed Countries | US Timur 2, US Barat 3 | AS Barat 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft Managed Countries | US Timur 2, US Barat 3 | Tidak tersedia |
| Mistral-Large Mistral Small |
Microsoft Managed Countries | US Timur 2, Swedia Tengah | Tidak tersedia |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft Managed Countries Jepang |
US Timur 2, Swedia Tengah | Tidak tersedia |
Keamanan konten untuk model yang disebarkan melalui API Tanpa Server
Penting
Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Azure AI Studio menerapkan konfigurasi default filter moderasi teks Azure AI Content Brankas ty untuk konten berbahaya (kebencian, bahaya diri sendiri, seksual, dan kekerasan) dalam model bahasa yang disebarkan dengan MaaS. Untuk mempelajari selengkapnya tentang pemfilteran konten (pratinjau), lihat kategori bahaya di Azure AI Content Brankas ty. Pemfilteran konten (pratinjau) terjadi secara sinkron saat layanan memproses permintaan untuk menghasilkan konten, dan Anda dapat ditagih secara terpisah sesuai harga AACS untuk penggunaan tersebut. Anda dapat menonaktifkan pemfilteran konten untuk titik akhir tanpa server individual saat pertama kali menyebarkan model bahasa atau di halaman detail penyebaran dengan mengklik tombol pemfilteran konten. Anda mungkin berisiko lebih tinggi mengekspos pengguna ke konten berbahaya jika Anda menonaktifkan filter konten.