Bagikan melalui


Katalog dan Koleksi Model

Katalog model di studio Azure Pembelajaran Mesin adalah hub untuk menemukan dan menggunakan berbagai model yang memungkinkan Anda membangun aplikasi AI Generatif. Katalog model ini menampilkan ratusan model dari penyedia model seperti layanan Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, termasuk model yang dilatih oleh Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft, seperti yang didefinisikan dalam Ketentuan Produk Microsoft, dan tunduk pada persyaratan yang disediakan dengan model.

Koleksi Model

Model diatur oleh Koleksi dalam katalog model. Ada tiga jenis koleksi dalam katalog model:

  • Model yang dikumpulkan oleh Azure AI: Model open weight dan propriety pihak ketiga paling populer yang dikemas dan dioptimalkan untuk bekerja dengan mulus di platform Azure AI. Penggunaan model ini tunduk pada ketentuan lisensi penyedia model yang disediakan dengan model. Saat disebarkan di Azure Pembelajaran Mesin, ketersediaan model tunduk pada Azure SLA yang berlaku, dan Microsoft menyediakan dukungan untuk masalah penyebaran. Model dari mitra seperti Meta, NVIDIA, Mistral AI adalah contoh model yang tersedia dalam koleksi "Dikurasi oleh Azure AI" pada katalog. Model ini dapat diidentifikasi dengan tanda centang hijau pada petak peta model di katalog atau Anda dapat memfilter menurut koleksi "Dikumpulkan oleh Azure AI".
  • Model Azure OpenAI, tersedia secara eksklusif di Azure: Model Unggulan Azure OpenAI melalui koleksi 'Azure OpenAI' melalui integrasi dengan Layanan Azure OpenAI. Model ini didukung oleh Microsoft dan penggunaannya tunduk pada ketentuan produk dan SLA untuk Layanan Azure OpenAI.
  • Model terbuka dari hub Hugging Face: Ratusan model dari hub HuggingFace dapat diakses melalui koleksi 'Hugging Face' untuk inferensi real time dengan titik akhir online. Memeluk wajah membuat dan memelihara model yang tercantum dalam koleksi HuggingFace. Gunakan Forum HuggingFace or Dukungan HuggingFace untuk mendapatkan bantuan. Pelajari selengkapnya tentang cara menyebarkan model dari Hugging Face.

Menyarankan penambahan ke katalog model: Anda dapat mengirimkan permintaan untuk menambahkan model ke katalog model menggunakan formulir ini.

Gambaran umum kapabilitas katalog model

Untuk informasi tentang model Azure OpenAI, lihat Layanan Azure OpenAI.

Untuk model yang Dikumpulkan oleh Azure AI dan Model terbuka dari hub Hugging Face, beberapa di antaranya dapat disebarkan dengan opsi komputasi terkelola, dan beberapa di antaranya tersedia untuk disebarkan menggunakan API tanpa server dengan penagihan prabayar. Model-model ini dapat ditemukan, dibandingkan, dievaluasi, disempurnakan (jika didukung) dan disebarkan dalam skala besar dan terintegrasi ke dalam aplikasi AI Generatif Anda dengan keamanan tingkat perusahaan dan tata kelola data.

  • Temukan: Tinjau kartu model, coba inferensi sampel dan telusuri sampel kode untuk mengevaluasi, menyempurnakan, atau menyebarkan model.
  • Bandingkan: Bandingkan tolok ukur di seluruh model dan himpunan data yang tersedia di industri untuk menilai mana yang memenuhi skenario bisnis Anda.
  • Evaluasi: Evaluasi apakah model cocok untuk beban kerja spesifik Anda dengan memberikan data pengujian Anda sendiri. Metrik evaluasi memudahkan untuk memvisualisasikan seberapa baik performa model yang dipilih dalam skenario Anda.
  • Menyempurnakan: Menyesuaikan model yang dapat disempurnakan menggunakan data pelatihan Anda sendiri dan pilih model terbaik dengan membandingkan metrik di semua pekerjaan penyempurnaan Anda. Pengoptimalan bawaan mempercepat penyempurnaan dan mengurangi memori dan komputasi yang diperlukan untuk penyempurnaan.
  • Sebarkan: Sebarkan model yang telah dilatih sebelumnya atau model yang disempurnakan dengan mulus untuk inferensi. Model yang dapat disebarkan ke komputasi terkelola juga dapat diunduh.

Penyebaran model: Komputasi terkelola dan API tanpa server (bayar sesuai penggunaan)

Katalog Model menawarkan dua cara berbeda untuk menyebarkan model dari katalog untuk penggunaan Anda: komputasi terkelola dan API tanpa server. Opsi penyebaran yang tersedia untuk setiap model bervariasi; pelajari selengkapnya tentang fitur opsi penyebaran, dan opsi yang tersedia untuk model tertentu, dalam tabel di bawah ini. Pelajari selengkapnya tentang pemrosesan data dengan opsi penyebaran.

Fitur Komputasi terkelola API tanpa server (bayar sesuai penggunaan)
Pengalaman penyebaran dan penagihan Bobot model disebarkan ke Komputer Virtual khusus dengan titik akhir online terkelola. Titik akhir online terkelola, yang dapat memiliki satu atau beberapa penyebaran, menyediakan REST API untuk inferensi. Anda ditagih untuk jam inti Komputer Virtual yang digunakan oleh penyebaran. Akses ke model adalah melalui penyebaran yang menyediakan API untuk mengakses model. API menyediakan akses ke model yang dihosting di kumpulan GPU pusat, dikelola oleh Microsoft, untuk inferensi. Mode akses ini disebut sebagai "Model sebagai Layanan". Anda ditagih untuk input dan output ke API, biasanya dalam token; informasi harga disediakan sebelum Anda menyebarkan.
Autentikasi API Kunci dan autentikasi ID Microsoft Entra. Pelajari selengkapnya. Kunci saja.
Keamanan konten Gunakan API layanan Azure Content Safety. Filter Azure AI Content Safety tersedia terintegrasi dengan API inferensi. Filter Keamanan Konten Azure AI dapat ditagih secara terpisah.
Isolasi jaringan Jaringan Virtual Terkelola dengan Titik Akhir Online. Pelajari selengkapnya.

Opsi penyebaran

Model Komputasi terkelola API tanpa server (bayar sesuai penggunaan)
Model keluarga Llama Llama-2-7b
Llama-2-7b-chat
Llama-2-13b
Llama-2-13b-chat
Llama-2-70b
Llama-2-70b-chat
Llama-3-8B-Instruct
Llama-3-70B-Instruct
Llama-3-8B
Llama-3-70B
Llama-3-70B-Instruct
Llama-3-8B-Instruct
Llama-2-7b
Llama-2-7b-chat
Llama-2-13b
Llama-2-13b-chat
Llama-2-70b
Llama-2-70b-chat
Model keluarga Mistral mistralai-Mixtral-8x22B-v0-1
mistralai-Mixtral-8x22B-Instruct-v0-1
mistral-community-Mixtral-8x22B-v0-1
mistralai-Mixtral-8x7B-v01
mistralai-Mistral-7B-Instruct-v0-2
mistralai-Mistral-7B-v01
mistralai-Mixtral-8x7B-Instruct-v01
mistralai-Mistral-7B-Instruct-v01
Mistral-large (2402)
Mistral-large (2407)
Mistral-small
Mistral-Nemo
Model keluarga Cohere Tidak tersedia Cohere-command-r-plus
Cohere-command-r
Cohere-embed-v3-english
Cohere-embed-v3-multilingual
Cohere-rerank-3-english
Cohere-rerank-3-multibahasa
JAIS Tidak tersedia jais-30b-chat
Model keluarga Phi3 Phi-3-mini-4k-Instruct
Phi-3-mini-128k-Instruct
Phi-3-small-8k-Instruct
Phi-3-small-128k-Instruct
Phi-3-medium-4k-instruct
Phi-3-medium-128k-instruct
Phi-3-mini-4k-Instruct
Phi-3-mini-128k-Instruct
Phi-3-small-8k-Instruct
Phi-3-small-128k-Instruct
Phi-3-medium-4k-instruct
Phi-3-medium-128k-instruct
Nixtla Tidak tersedia TimeGEN-1
Model lain Tersedia Tidak tersedia

Diagram yang memperlihatkan model sebagai layanan dan siklus layanan titik akhir real time.

Komputasi terkelola

Kemampuan untuk menyebarkan model dengan komputasi terkelola dibangun pada kemampuan platform Azure Pembelajaran Mesin untuk memungkinkan integrasi yang mulus, di seluruh siklus hidup LLMOps, dari berbagai koleksi model dalam katalog model.

Diagram yang menunjukkan siklus hidup LLMops.

Bagaimana model tersedia untuk komputasi terkelola?

Model tersedia melalui registri Azure Pembelajaran Mesin yang memungkinkan pendekatan pertama ML untuk menghosting dan mendistribusikan aset Pembelajaran Mesin seperti bobot model, runtime kontainer untuk menjalankan model, alur untuk mengevaluasi dan menyempurnakan model dan himpunan data untuk tolok ukur dan sampel. ML Registries ini dibangun di atas infrastruktur yang sangat dapat diskalakan dan siap untuk perusahaan yang:

Mengevaluasi dan menyempurnakan model yang disebarkan dengan komputasi terkelola

Anda dapat mengevaluasi dan menyempurnakan dalam koleksi "Dikurasi oleh Azure AI" di Azure Pembelajaran Mesin menggunakan Azure Pembelajaran Mesin Pipelines. Anda dapat memilih untuk membawa evaluasi dan kode penyempurnaan Anda sendiri dan hanya mengakses bobot model atau menggunakan komponen Azure Pembelajaran Mesin yang menawarkan evaluasi bawaan dan kemampuan penyempurnaan. Untuk mempelajari lebih lanjut, ikuti tautan ini.

Menyebarkan model untuk inferensi dengan komputasi terkelola

Model yang tersedia untuk penyebaran dengan komputasi terkelola dapat disebarkan ke Azure Pembelajaran Mesin titik akhir online untuk inferensi real time atau dapat digunakan untuk inferensi batch Azure Pembelajaran Mesin untuk memproses data Anda secara batch. Menyebarkan ke komputasi terkelola mengharuskan Anda memiliki kuota Komputer Virtual di Langganan Azure Anda untuk SKU tertentu yang diperlukan untuk menjalankan model secara optimal. Beberapa model memungkinkan Anda menyebarkan kuota bersama untuk sementara waktu untuk menguji model. Pelajari selengkapnya tentang menyebarkan model:

Membangun Aplikasi AI Generatif dengan komputasi terkelola

Alur perintah menawarkan kemampuan untuk membuat prototipe, bereksperimen, melakukan iterasi, dan menyebarkan aplikasi AI Anda. Anda dapat menggunakan model yang disebarkan dengan komputasi terkelola di Prompt Flow dengan alat Open Model LLM. Anda juga dapat menggunakan REST API yang diekspos oleh komputasi terkelola di alat LLM populer seperti LangChain dengan ekstensi Azure Pembelajaran Mesin.

Keamanan konten untuk model yang disebarkan dengan komputasi terkelola

Layanan Azure AI Content Safety (AACS) tersedia untuk digunakan dengan model yang disebarkan ke komputasi terkelola untuk menyaring berbagai kategori konten berbahaya seperti konten seksual, kekerasan, kebencian, dan ancaman merugikan diri sendiri dan ancaman tingkat lanjut seperti deteksi risiko Jailbreak dan deteksi teks materi yang dilindungi. Anda dapat merujuk ke notebook ini untuk integrasi referensi dengan AACS untuk Llama 2 atau menggunakan alat Content Safety (Text) di Prompt Flow untuk meneruskan respons dari model ke AACS untuk penyaringan. Anda akan ditagih secara terpisah sesuai harga AACS untuk penggunaan tersebut.

Bekerja dengan model yang tidak ada dalam katalog model

Untuk model yang tidak tersedia di katalog model, Azure Pembelajaran Mesin menyediakan platform terbuka dan dapat diperluas untuk bekerja dengan model pilihan Anda. Anda dapat membawa model dengan kerangka kerja atau runtime apa pun menggunakan kemampuan platform Terbuka dan dapat diperluas Azure Pembelajaran Mesin seperti lingkungan Azure Pembelajaran Mesin untuk kontainer yang dapat mengemas kerangka kerja dan runtime serta alur Azure Pembelajaran Mesin untuk kode guna mengevaluasi atau menyempurnakan model. Lihat buku catatan ini untuk referensi sampel untuk mengimpor model dan bekerja dengan runtime dan alur bawaan.

API tanpa server dengan penagihan prabayar

Model tertentu dalam katalog model dapat disebarkan sebagai API tanpa server dengan penagihan bayar sesuai penggunaan; metode penyebaran ini disebut Models-as-a Service (MaaS). Model yang tersedia melalui MaaS dihosting dalam infrastruktur yang dikelola oleh Microsoft, yang memungkinkan akses berbasis API ke model penyedia model. Akses berbasis API dapat secara dramatis mengurangi biaya akses model dan secara signifikan menyederhanakan pengalaman provisi. Sebagian besar model MaaS dilengkapi dengan harga berbasis token.

Bagaimana model pihak ketiga tersedia di MaaS?

Diagram yang memperlihatkan siklus layanan penerbit model.

Model yang tersedia untuk penyebaran sebagai API tanpa server dengan penagihan bayar sesuai penggunaan ditawarkan oleh penyedia model tetapi dihosting di infrastruktur Azure yang dikelola Microsoft dan diakses melalui API. Penyedia model menentukan persyaratan lisensi dan menetapkan harga untuk penggunaan model mereka, sementara layanan Azure Pembelajaran Mesin mengelola infrastruktur hosting, membuat API inferensi tersedia, dan bertindak sebagai pemroses data untuk permintaan yang dikirimkan dan output konten oleh model yang disebarkan melalui MaaS. Pelajari selengkapnya tentang pemrosesan data untuk MaaS di artikel privasi data.

Membayar penggunaan model di MaaS

Pengalaman penemuan, langganan, dan konsumsi untuk model yang disebarkan melalui MaaS berada di studio Azure AI Studio dan Azure Pembelajaran Mesin. Pengguna menerima ketentuan lisensi untuk penggunaan model, dan informasi harga untuk konsumsi disediakan selama penyebaran. Model dari penyedia pihak ketiga ditagih melalui Marketplace Azure, sesuai dengan Ketentuan Penggunaan Marketplace Komersial; model dari Microsoft ditagih menggunakan meter Azure sebagai Layanan Konsumsi Pihak Pertama. Seperti yang dijelaskan dalam Ketentuan Produk, Layanan Konsumsi Pihak Pertama dibeli menggunakan pengukur Azure tetapi tidak tunduk pada ketentuan layanan Azure; penggunaan model ini tunduk pada persyaratan lisensi yang disediakan.

Menyebarkan model untuk inferensi melalui MaaS

Menyebarkan model melalui MaaS memungkinkan pengguna untuk mendapatkan akses ke api inferensi yang siap digunakan tanpa perlu mengonfigurasi infrastruktur atau menyediakan GPU, menghemat waktu dan sumber daya teknik. API ini dapat diintegrasikan dengan beberapa alat LLM dan penggunaan ditagih seperti yang dijelaskan di bagian sebelumnya.

Menyempurnakan model melalui MaaS dengan Pay-as-you-go

Untuk model yang tersedia melalui MaaS dan mendukung penyempurnaan, pengguna dapat memanfaatkan penyempurnaan yang dihosting dengan penagihan bayar sesuai penggunaan untuk menyesuaikan model menggunakan data yang mereka berikan. Untuk informasi selengkapnya, lihat menyempurnakan model Llama 2 di Azure AI Studio.

RAG dengan model yang disebarkan melalui MaaS

Azure AI Studio memungkinkan pengguna untuk menggunakan Indeks Vektor dan Pengambilan Pembuatan Tertambah. Model yang dapat disebarkan sebagai API tanpa server dapat digunakan untuk menghasilkan penyematan dan inferensi berdasarkan data kustom untuk menghasilkan jawaban khusus untuk kasus penggunaannya. Untuk informasi selengkapnya, lihat Mengambil pembuatan dan indeks tertambah.

Ketersediaan penawaran dan model regional

Penyebaran prabayar hanya tersedia untuk pengguna yang langganan Azure-nya milik akun penagihan di negara tempat penyedia model telah membuat penawaran tersedia (lihat "wilayah ketersediaan penawaran" dalam tabel di bagian berikutnya). Jika penawaran tersedia di wilayah yang relevan, pengguna harus memiliki Ruang Kerja di wilayah Azure tempat model tersedia untuk penyebaran atau penyempurnaan, sebagaimana berlaku (lihat kolom "Wilayah ruang kerja" dalam tabel di bawah).

Model Wilayah ketersediaan penawaran Wilayah Ruang Kerja untuk Penyebaran Wilayah Ruang Kerja untuk Penyempurnaan
Llama-3-70B-Instruct
Llama-3-8B-Instruct
Microsoft Managed Countries US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, AS Barat, US Timur, US Barat 3 Tidak tersedia
Llama-2-7b
Llama-2-13b
Llama-2-70b
Microsoft Managed Countries US Timur 2, US Timur, US Barat 3, US Barat, US Tengah Utara, US Tengah Selatan AS Barat 3
Llama-2-7b-chat
Llama-2-13b-chat
Llama-2-70b-chat
Microsoft Managed Countries US Timur 2, US Timur, US Barat 3, US Barat, US Tengah Utara, US Tengah Selatan Tidak tersedia
Mistral Small Microsoft Managed Countries US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, US Timur, US Barat 3, AS Barat Tidak tersedia
Mistral Large (2402)
Mistral Large (2407)
Microsoft Managed Countries
Brasil
Hong Kong
Israel
US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, US Timur, US Barat 3, AS Barat Tidak tersedia
Mistral Nemo Microsoft Managed Countries
Brasil
Hong Kong
Israel
US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, US Timur, US Barat 3, AS Barat Tidak tersedia
Cohere-command-r-plus
Cohere-command-r
Cohere-embed-v3-english
Cohere-embed-v3-multilingual
Microsoft Managed Countries
Jepang
US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, US Timur, US Barat 3, AS Barat Tidak tersedia
Cohere-rerank-3-english
Cohere-rerank-3-multibahasa
Microsoft Managed Countries US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, US Timur, US Barat 3, AS Barat Tidak tersedia
TimeGEN-1 Microsoft Managed Countries
Meksiko
Israel
US Timur, US Timur 2, US Tengah Utara, AS Tengah Selatan, Swedia Tengah, AS Barat, US Barat 3 Tidak tersedia
jais-30b-chat Microsoft Managed Countries US Timur 2, Swedia Tengah, US Tengah Utara, US Tengah Selatan, US Timur, US Barat 3, AS Barat Tidak tersedia
Phi-3-mini-4k-instruct
Phi-3-mini-128k-instruct
Microsoft Managed Countries US Timur 2, Swedia Tengah Tidak tersedia
Phi-3-small-8k-instruct
Phi-3-small-128k-Instruct
Microsoft Managed Countries US Timur 2, Swedia Tengah Tidak tersedia
Phi-3-medium-4k-instruct, Phi-3-medium-128k-instruct Microsoft Managed Countries US Timur 2, Swedia Tengah Tidak tersedia

Keamanan konten untuk model yang disebarkan melalui MaaS

Penting

Fitur ini masih dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.

Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Untuk model bahasa yang disebarkan melalui API tanpa server, Azure AI menerapkan konfigurasi default filter moderasi teks Azure AI Content Safety yang mendeteksi konten berbahaya seperti kebencian, bahaya diri sendiri, konten seksual, dan kekerasan. Untuk mempelajari selengkapnya tentang pemfilteran konten (pratinjau), lihat kategori bahaya di Azure AI Content Safety.

Tip

Pemfilteran konten (pratinjau) tidak tersedia untuk jenis model tertentu yang disebarkan melalui API tanpa server. Jenis model ini termasuk model yang disematkan dan model rangkaian waktu.

Pemfilteran konten (pratinjau) terjadi secara sinkron saat layanan memproses permintaan untuk menghasilkan konten, dan Anda mungkin ditagih secara terpisah sesuai harga AACS untuk penggunaan tersebut. Anda dapat menonaktifkan pemfilteran konten (pratinjau) untuk titik akhir tanpa server individual baik pada saat Anda pertama kali menyebarkan model bahasa atau yang lebih baru di halaman detail penyebaran dengan memilih tombol pemfilteran konten.

Misalkan Anda memutuskan untuk menggunakan API selain API Inferensi Model Azure AI untuk bekerja dengan model yang disebarkan melalui API tanpa server. Dalam situasi seperti itu, pemfilteran konten (pratinjau) tidak diaktifkan kecuali Anda menerapkannya secara terpisah dengan menggunakan Azure AI Content Safety. Untuk mempelajari selengkapnya tentang mulai menggunakan Azure AI Content Safety, lihat Mulai Cepat: Menganalisis konten teks. Jika Anda tidak menggunakan pemfilteran konten (pratinjau) saat bekerja dengan model yang disebarkan melalui API tanpa server, Anda menjalankan risiko yang lebih tinggi untuk mengekspos pengguna ke konten berbahaya.

Isolasi jaringan untuk model yang disebarkan melalui API Tanpa Server

Titik akhir untuk model yang disebarkan sebagai API Tanpa Server mengikuti pengaturan bendera akses jaringan publik (PNA) ruang kerja tempat penyebaran berada. Untuk mengamankan titik akhir MaaS Anda, nonaktifkan bendera PNA di ruang kerja Anda. Anda dapat mengamankan komunikasi masuk dari klien ke titik akhir Anda dengan menggunakan titik akhir privat untuk ruang kerja.

Untuk mengatur bendera PNA untuk ruang kerja:

  • Buka portal Microsoft Azure.
  • Cari Azure Pembelajaran Mesin, dan pilih ruang kerja Anda dari daftar ruang kerja.
  • Pada halaman Gambaran Umum, gunakan panel navigasi kiri untuk masuk ke Pengaturan>Jaringan.
  • Di bawah tab Akses publik, Anda dapat mengonfigurasi pengaturan untuk bendera akses jaringan publik.
  • Simpan perubahan Anda. Perubahan Anda mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.

Batasan

  • Jika Anda memiliki ruang kerja dengan titik akhir privat yang dibuat sebelum 11 Juli 2024, titik akhir MaaS baru yang ditambahkan ke ruang kerja ini tidak akan mengikuti konfigurasi jaringannya. Sebagai gantinya, Anda perlu membuat titik akhir privat baru untuk ruang kerja dan membuat penyebaran API tanpa server baru di ruang kerja sehingga penyebaran baru dapat mengikuti konfigurasi jaringan ruang kerja.
  • Jika Anda memiliki ruang kerja dengan penyebaran MaaS yang dibuat sebelum 11 Juli 2024, dan Anda mengaktifkan titik akhir privat di ruang kerja ini, penyebaran MaaS yang ada tidak akan mengikuti konfigurasi jaringan ruang kerja. Agar penyebaran API tanpa server di ruang kerja mengikuti konfigurasi ruang kerja, Anda perlu membuat penyebaran lagi.
  • Saat ini dukungan Data Anda tidak tersedia untuk penyebaran MaaS di ruang kerja privat, karena ruang kerja privat menonaktifkan bendera PNA.
  • Setiap perubahan konfigurasi jaringan (misalnya, mengaktifkan atau menonaktifkan bendera PNA) mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.

Pelajari lebih lanjut