Menjelajahi Model Microsoft Foundry di Azure Machine Learning

Microsoft Foundry Models adalah tujuan satu-stop Anda untuk menemukan, mengevaluasi, dan menyebarkan model AI yang kuat. Baik Anda membangun asisten kustom, membuat agen, meningkatkan aplikasi yang ada, atau menjelajahi kemampuan AI baru, Foundry Models siap membantu Anda.

Dengan menggunakan Model Foundry, Anda dapat:

  • Jelajahi katalog model canggih yang kaya dari Microsoft, OpenAI, DeepSeek, Hugging Face, Meta, dan banyak lagi.
  • Bandingkan dan evaluasi model secara berdampingan dengan menggunakan tugas dunia nyata dan data Anda sendiri.
  • Sebarkan dengan percaya diri, berkat alat yang terintegrasi untuk penyempurnaan, pemantauan, dan kecerdasan buatan yang bertanggung jawab.
  • Pilih jalur Anda - bawa model Anda sendiri, gunakan model yang dihosting, atau integrasikan dengan mulus dengan layanan Azure.
  • Baik Anda seorang pengembang, ilmuwan data, atau arsitek perusahaan, Foundry Models memberi Anda fleksibilitas dan kontrol untuk membangun solusi AI yang menskalakan - dengan aman, bertanggung jawab, dan cepat.

Foundry menawarkan katalog model AI yang komprehensif. Ada lebih dari 1.900 model mulai dari Model Fondasi, Model Penalaran, Model Bahasa Kecil, Model Multimodal, Model Spesifik Domain, Model Industri, dan banyak lagi.

Katalog diatur ke dalam dua kategori utama:

Memahami perbedaan antara kategori ini membantu Anda memilih model yang tepat berdasarkan persyaratan spesifik dan tujuan strategis Anda.

Model Foundry yang dijual oleh Azure

Microsoft menghosting dan menjual model ini di bawah Ketentuan Produk Microsoft. Model-model ini menjalani evaluasi ketat dan diintegrasikan secara mendalam ke dalam ekosistem AI Azure. Mereka berasal dari berbagai penyedia teratas dan menawarkan integrasi yang ditingkatkan, performa yang dioptimalkan, dan dukungan Microsoft langsung, termasuk perjanjian tingkat layanan (SLA) tingkat perusahaan.

Karakteristik model langsung ini:

  • Dukungan pihak pertama resmi dari Microsoft
  • Integrasi tingkat tinggi dengan layanan dan infrastruktur Azure
  • Tolok ukur dan validasi performa yang luas
  • Kepatuhan terhadap standar AI Yang Bertanggung Jawab Microsoft
  • Skalabilitas, keandalan, dan keamanan tingkat perusahaan

Model-model ini juga memiliki manfaat dari throughput yang dapat dipertukarkan, yang berarti Anda dapat secara fleksibel menggunakan kuota dan reservasi Anda di semua model ini.

Model dari mitra dan komunitas

Model-model ini merupakan sebagian besar Model Foundry. Organisasi tepercaya, mitra, lab penelitian, dan kontributor komunitas menyediakan model ini. Mereka menawarkan kemampuan AI khusus dan beragam, mencakup berbagai skenario, industri, dan inovasi.

Karakteristik Model dari mitra dan komunitas:

  • Dikembangkan dan didukung oleh mitra eksternal dan kontributor komunitas
  • Beragam model khusus yang melayani ceruk atau kasus penggunaan luas
  • Biasanya divalidasi oleh penyedia itu sendiri, dengan panduan integrasi yang disediakan oleh Azure
  • Inovasi berbasis komunitas dan ketersediaan model mutakhir yang cepat
  • Integrasi AI Azure standar, dengan dukungan dan pemeliharaan yang dikelola oleh masing-masing penyedia

Anda dapat menyebarkan model sebagai opsi penyebaran Komputasi Terkelola atau Standar (bayar sesuai penggunaan). Penyedia model memilih bagaimana model dapat disebarkan.

Memilih antara model langsung dan model mitra dan komunitas

Saat memilih model dari Model Foundry, pertimbangkan faktor-faktor berikut:

  • Kasus penggunaan dan persyaratan: Model yang dijual oleh Azure sangat ideal untuk skenario yang memerlukan integrasi Azure mendalam, dukungan terjamin, dan SLA perusahaan. Model ekosistem Azure unggul dalam kasus penggunaan khusus dan skenario yang dipimpin inovasi.
  • Harapan dukungan: Model yang dijual oleh Azure dilengkapi dengan dukungan dan pemeliharaan yang disediakan Microsoft yang kuat. Penyedia mendukung model mereka, dengan berbagai tingkat SLA dan struktur dukungan.
  • Inovasi dan spesialisasi: Model dari mitra dan komunitas menawarkan akses cepat ke inovasi khusus dan kemampuan ceruk, sering dikembangkan oleh laboratorium penelitian terkemuka dan penyedia AI yang muncul.

Koleksi model

Katalog model mengatur model ke dalam koleksi yang berbeda:

  • Azure OpenAI model yang tersedia secara eksklusif di Azure: Model andalan Azure OpenAI tersedia melalui integrasi dengan Azure OpenAI dalam Foundry Models. Microsoft mendukung model ini dan penggunaannya sesuai dengan ketentuan produk dan SLA untuk Azure OpenAI dalam Model Foundry.

  • Buka model dari hub Hugging Face: Ratusan model dari hub Hugging Face untuk inferensi real time dengan komputasi terkelola. Hugging Face membuat dan memelihara model yang tercantum dalam koleksi ini. Untuk bantuan, gunakan forum Hugging Face atau dukungan Hugging Face. Pelajari selengkapnya di Menyebarkan model terbuka dengan Foundry.

Untuk meminta penambahan model ke katalog model, gunakan formulir ini.

Gambaran umum kemampuan katalog model

Katalog model di portal Foundry adalah hub untuk menemukan dan menggunakan berbagai model untuk membangun aplikasi AI generatif. Katalog model ini menampilkan ratusan model di seluruh penyedia model seperti Azure OpenAI, Mistral, Meta, Cohere, NVIDIA, dan Hugging Face, termasuk model yang dilatih Microsoft. Model dari penyedia selain Microsoft adalah Produk Non-Microsoft seperti yang didefinisikan dalam Ketentuan Produk Microsoft dan tunduk pada persyaratan yang disediakan dengan model.

Anda dapat mencari dan menemukan model yang memenuhi kebutuhan Anda melalui pencarian dan filter kata kunci. Katalog model juga menawarkan papan peringkat performa model dan metrik tolok ukur untuk model tertentu. Anda dapat mengaksesnya dengan memilih Telusuri papan peringkat dan Bandingkan Model. Data patokan juga dapat diakses dari tab Tolok Ukur Model Kartu.

Pada filter katalog model, Anda menemukan:

  • Koleksi: memfilter model berdasarkan koleksi penyedia model.
  • Industri: penyaring untuk model yang dilatih pada himpunan data khusus industri.
  • Kemampuan: menyaring fitur unik dari model seperti penalaran dan pemanggilan alat.
  • Opsi penyebaran: filter untuk model yang mendukung opsi penyebaran tertentu.
    • Standar: bayar per panggilan API.
    • Disediakan: paling cocok untuk penilaian real-time untuk volume besar yang konsisten.
    • Batch: paling cocok untuk pekerjaan berkala yang dioptimalkan untuk biaya, dan bukan untuk latensi. Tidak ada dukungan taman bermain yang disediakan untuk penyebaran batch.
    • Komputasi terkelola: menyebarkan model pada komputer virtual Azure. Anda akan dikenakan biaya untuk layanan hosting dan proses inferensi.
  • Tugas inferensi: memfilter model berdasarkan jenis tugas inferensi.
  • Menyempurnakan tugas: memfilter model berdasarkan jenis tugas yang disempurnakan.
  • Lisensi: memfilter model berdasarkan jenis lisensi.

Pada kartu model, Anda menemukan:

  • Fakta cepat: informasi utama tentang model secara sekilas.
  • Detail: informasi terperinci tentang model, termasuk deskripsi, info versi, jenis data yang didukung, dan banyak lagi.
  • Tolok ukur: metrik tolok ukur performa untuk model tertentu.
  • Penyebaran yang ada: jika Anda sudah menyebarkan model, Anda dapat menemukannya di bawah tab Penyebaran yang ada .
  • Lisensi: informasi hukum yang terkait dengan lisensi model.
  • Artefak: hanya ditampilkan untuk model yang terbuka saja. Anda dapat melihat aset model dan mengunduhnya melalui antarmuka pengguna.

Penyebaran model: Komputasi terkelola dan penyebaran tanpa server

Selain model Azure OpenAI, katalog model menawarkan dua cara berbeda untuk menyebarkan model untuk penggunaan Anda: komputasi terkelola dan penyebaran tanpa server.

Opsi penyebaran dan fitur yang tersedia untuk setiap model bervariasi, seperti yang dijelaskan dalam tabel berikut. Pelajari selengkapnya tentang pemrosesan data dengan opsi penyebaran.

Kemampuan opsi penyebaran model

Fitur Pengolahan terkelola Penyebaran tanpa server
Pengalaman penyebaran dan penagihan Menyebarkan bobot model ke komputer virtual khusus dengan menggunakan komputasi terkelola. Komputasi terkelola dapat memiliki satu atau beberapa penyebaran dan menyediakan REST API untuk inferensi. Anda ditagih untuk jam inti komputer virtual yang digunakan penyebaran. Akses model melalui penerapan yang memungkinkan sebuah API untuk mengakses model tersebut. API menyediakan access ke model yang dihosting dan dikelola Microsoft, untuk inferensi. Anda ditagih untuk input dan output ke API, biasanya dalam token. Informasi harga disediakan sebelum Anda menggunakan.
Pengesahan API Kunci dan autentikasi Microsoft Entra. Kunci dan autentikasi Microsoft Entra.
Keamanan konten Gunakan API layanan Keamanan Konten Azure AI. Filter Keamanan Konten Azure AI tersedia yang terintegrasi dengan API inferensi. Penyaringan Keamanan Konten Azure AI ditagih secara terpisah.
Isolasi jaringan Mengonfigurasi jaringan terkelola untuk hub Foundry. Penyebaran tanpa server mengikuti pengaturan bendera akses jaringan publik (PNA) hub Anda. Untuk informasi selengkapnya, lihat bagian Isolasi jaringan untuk model yang disebarkan melalui penyebaran standar nanti di artikel ini.

Pengolahan terkelola

Kemampuan untuk menyebarkan model dengan menggunakan komputasi terkelola dibangun pada kemampuan platform Azure Machine Learning untuk memungkinkan integrasi yang mulus, di seluruh siklus hidup GenAIOps (kadang-kadang disebut LLMOps), dari berbagai koleksi model dalam katalog model.

Diagram yang menunjukkan siklus hidup LLMops.

Ketersediaan model untuk implementasi sebagai komputasi yang dikelola

Anda dapat mengakses model ini melalui registri Azure Machine Learning. Mereka memungkinkan pendekatan berbasis ML untuk menghosting dan mendistribusikan aset Pembelajaran Mesin seperti bobot model, waktu proses wadah untuk menjalankan model, alur untuk mengevaluasi dan menyempurnakan model, serta set data untuk benchmark dan sampel. ML Registries ini dibangun di atas infrastruktur yang sangat dapat diskalakan dan siap untuk perusahaan yang:

Penyebaran model untuk inferensi dengan komputasi terkelola

Sebarkan model yang tersedia untuk penyebaran dengan komputasi terkelola ke titik akhir online Azure Machine Learning untuk inferensi real time, atau gunakan untuk inferensi batch Azure Machine Learning untuk memproses data Anda secara batch. Menyebarkan ke komputasi terkelola memerlukan kuota Komputer Virtual di Langganan Azure Anda untuk SKU tertentu yang diperlukan untuk menjalankan model secara optimal. Beberapa model memungkinkan Anda menyebarkan kuota bersama sementara waktu untuk pengujian model. Pelajari selengkapnya tentang menyebarkan model:

Membangun aplikasi AI generatif dengan komputasi terkelola

Alur perintah menawarkan kemampuan untuk membuat prototipe, bereksperimen, melakukan iterasi, dan menyebarkan aplikasi AI Anda. Anda dapat menggunakan model yang disebarkan di lingkungan komputasi terkelola dalam alur kerja prompt dengan alat LLM, yang mendukung semua model yang tersedia melalui API inferensi Azure AI. Anda juga dapat menggunakan REST API yang diekspos oleh komputasi terkelola di alat LLM populer seperti LangChain dengan paket langchain-azure-ai.

Keamanan konten untuk model yang disebarkan sebagai komputasi terkelola

Keamanan Konten Azure AI tersedia untuk digunakan dengan model yang disebarkan ke komputasi terkelola untuk menyaring berbagai kategori konten berbahaya seperti konten seksual, kekerasan, kebencian, dan bahaya diri sendiri, dan ancaman lanjutan seperti deteksi risiko jailbreak dan deteksi materi yang dilindungi. Gunakan alat Keamanan Konten (Teks) dalam alur perintah untuk meneruskan respons model ke Keamanan Konten Azure AI untuk penyaringan, atau integrasikan secara langsung menggunakan API Keamanan Konten Azure AI. Anda ditagih secara terpisah sesuai harga Keamanan Konten Azure AI untuk penggunaan tersebut.

Penyebaran tanpa server

Anda dapat menyebarkan model tertentu dalam katalog model sebagai penyebaran tanpa server. Microsoft menghosting model dalam infrastruktur terkelola, yang memungkinkan akses berbasis API ke model penyedia model. Akses berbasis API dapat secara dramatis mengurangi biaya akses model dan secara signifikan menyederhanakan pengalaman provisi. Sebagian besar penyebaran tanpa server menggunakan harga berbasis token.

Bagaimana model non-Microsoft tersedia sebagai penyebaran tanpa server?

Sebuah diagram menunjukkan model publisher service cycle.

Penyedia model menawarkan model untuk penyebaran tanpa server, tetapi Microsoft menghosting model ini di infrastruktur Azure dan menyediakan akses melalui API. Penyedia model menetapkan syarat dan harga lisensi untuk model mereka. Layanan Azure Machine Learning mengelola infrastruktur hosting, membuat API inferensi tersedia, dan bertindak sebagai prosesor data untuk permintaan yang dikirimkan dan output konten oleh model yang disebarkan sebagai penyebaran tanpa server. Untuk informasi selengkapnya tentang pemrosesan data, lihat artikel privasi data .

Nota

Langganan Penyedia Solusi Cloud (CSP) tidak dapat membeli model penyebaran standar.

Penagihan

Portal Foundry dan studio Azure Machine Learning menyediakan pengalaman penemuan, langganan, dan konsumsi untuk model yang disebarkan sebagai penyebaran tanpa server. Pengguna menerima ketentuan lisensi untuk penggunaan model. Informasi harga mengenai konsumsi disediakan selama penerapan.

Anda membayar model dari penyedia non-Microsoft melalui Marketplace Azure, sesuai dengan Ketentuan Penggunaan Marketplace Komersial Microsoft.

Anda membayar untuk model dari Microsoft melalui pengukur Azure sebagai "Layanan Konsumsi Pihak Pertama". Seperti yang dijelaskan dalam Ketentuan Produk, Anda membeli Layanan Konsumsi Pihak Pertama dengan menggunakan pengukur Azure, tetapi layanan ini tidak tunduk pada ketentuan layanan Azure. Penggunaan model ini tunduk pada ketentuan lisensi yang disediakan.

Menyempurnakan model

Untuk model yang tersedia sebagai penyebaran tanpa server yang mendukung penyempurnaan, Anda dapat memanfaatkan penyempurnaan yang dihosting untuk menyesuaikan model menggunakan data Anda sendiri. Untuk informasi selengkapnya, lihat menyempurnakan model di portal Foundry.

RAG dengan model yang diterapkan sebagai instalasi standar

Foundry memungkinkan pengguna memanfaatkan Indeks Vektor dan Generasi Berbantuan Pengambilan. Anda dapat menggunakan model yang Anda sebarkan sebagai penyebaran standar untuk menghasilkan penyematan dan inferensi berdasarkan data kustom untuk menghasilkan jawaban khusus untuk kasus penggunaan Anda. Untuk informasi selengkapnya, lihat Retrieval augmented generation dan indeks.

Ketersediaan penawaran dan model regional

Pengguna dapat mengakses penyebaran tanpa server hanya jika langganan Azure milik akun penagihan di negara atau wilayah tempat penyedia model menyediakan penawaran. Jika penawaran tersedia di wilayah yang relevan, pengguna harus memiliki Hub atau Project di wilayah Azure tempat model tersedia untuk penyebaran atau penyempurnaan, sebagaimana berlaku. Untuk informasi lebih rinci, lihat Ketersediaan wilayah untuk model dalam penyebaran standar.

Keamanan konten untuk model yang disebarkan melalui penyebaran standar

Penting

Fitur ini saat ini dalam pratinjau publik. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.

Untuk informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Untuk model bahasa yang disebarkan melalui API tanpa server, Azure AI menerapkan konfigurasi default Keamanan Konten Azure AI filter moderasi teks yang mendeteksi konten berbahaya seperti kebencian, bahaya diri, seksual, dan konten kekerasan. Untuk mempelajari selengkapnya tentang pemfilteran konten, lihat Pagar pembatas & kontrol untuk model yang dijual oleh Azure.

Petunjuk / Saran

Pemfilteran konten tidak tersedia untuk jenis model tertentu yang disebarkan melalui API tanpa server. Jenis model ini termasuk menyematkan model dan model rangkaian waktu.

Pemfilteran konten terjadi secara sinkron saat layanan memproses permintaan untuk menghasilkan konten. Anda mungkin ditagih secara terpisah sesuai dengan harga Keamanan Konten Azure AI untuk penggunaan tersebut. Anda dapat menonaktifkan pemfilteran konten untuk titik akhir tanpa server individual:

  • Pada saat Anda pertama kali menyebarkan model bahasa
  • Kemudian, dengan memilih tombol pemfilteran konten pada halaman detail penyebaran

Misalkan Anda memutuskan untuk menggunakan API selain Azure OpenAI SDK dengan API Azure OpenAI v1 untuk bekerja dengan model yang disebarkan melalui API tanpa server. Dalam situasi seperti itu, pemfilteran konten tidak diaktifkan kecuali Anda menerapkannya secara terpisah dengan menggunakan Keamanan Konten Azure AI.

Untuk memulai dengan Keamanan Konten Azure AI, lihat Quickstart: Menganalisis konten teks. Jika Anda tidak menggunakan pemfilteran konten saat bekerja dengan model yang disebarkan melalui API tanpa server, Anda menjalankan risiko yang lebih tinggi untuk mengekspos pengguna ke konten berbahaya.

Isolasi jaringan untuk model yang disebarkan melalui penyebaran standar

Titik akhir untuk model yang menerapkan penyebaran standar mengikuti pengaturan akses jaringan publik (PNA) di ruang kerja di mana penyebaran tersebut berada. Untuk mengamankan titik akhir penyebaran tanpa server Anda, nonaktifkan bendera PNA di ruang kerja Anda. Anda dapat mengamankan komunikasi masuk dari klien ke titik akhir Anda dengan menggunakan titik akhir privat untuk ruang kerja.

Untuk mengatur bendera PNA untuk ruang kerja:

  • Buka Azure portal.
  • Cari Azure Machine Learning, dan pilih ruang kerja Anda dari daftar ruang kerja.
  • Pada halaman Gambaran Umum , gunakan panel kiri untuk masuk ke Pengaturan>Jaringan.
  • Di bawah tab Akses publik , konfigurasikan pengaturan untuk bendera akses jaringan publik.
  • Simpan perubahan Anda. Mungkin perlu waktu hingga lima menit agar perubahan Anda disebarluaskan.

Keterbatasan

  • Jika Anda memiliki ruang kerja dengan titik akhir privat yang dibuat sebelum 11 Juli 2024, titik akhir penyebaran tanpa server baru yang ditambahkan ke ruang kerja ini tidak mengikuti konfigurasi jaringannya. Sebagai gantinya, Anda perlu membuat titik akhir privat baru untuk ruang kerja dan membuat penyebaran tanpa server baru di ruang kerja sehingga penyebaran baru dapat mengikuti konfigurasi jaringan ruang kerja.
  • Jika Anda memiliki ruang kerja dengan penyebaran tanpa server yang dibuat sebelum 11 Juli 2024, dan Anda mengaktifkan titik akhir privat di ruang kerja ini, penyebaran tanpa server yang ada tidak mengikuti konfigurasi jaringan ruang kerja. Untuk mematuhi peraturan jaringan, Anda perlu membuat penyebaran tanpa server lagi di ruang kerja.
  • Saat ini On Your Data tidak tersedia untuk penyebaran tanpa server di ruang kerja privat, karena bendera PNA dinonaktifkan di ruang kerja privat.
  • Setiap perubahan konfigurasi jaringan (misalnya, mengaktifkan atau menonaktifkan bendera PNA) mungkin memerlukan waktu hingga lima menit untuk disebarluaskan.

Konten terkait

  • Last updated on