Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Artikel ini menjelaskan model fondasi yang dapat Anda layani menggunakan Mosaic AI Model Serving.
Model fondasi adalah jaringan neural besar yang telah dilatih sebelumnya pada berbagai rentang data yang beragam dan besar. Model ini dirancang untuk mempelajari pola umum dalam bahasa, gambar, atau jenis data lainnya, dan dapat disempurnakan untuk tugas tertentu dengan pelatihan tambahan. Penggunaan model fondasi tertentu tunduk pada ketentuan model dan kebijakan penggunaan yang dapat diterima. Lihat Ketentuan model yang berlaku.
Model Serving menawarkan opsi fleksibel untuk menghosting dan mengkueri model fondasi berdasarkan kebutuhan Anda:
- Bayar per token: Ideal untuk eksperimen dan eksplorasi cepat. Opsi ini memungkinkan Anda untuk mengkueri titik akhir yang telah dikonfigurasi sebelumnya di ruang kerja Databricks Anda tanpa komitmen infrastruktur di muka.
- Fungsi AI (inferensi batch): Beberapa model yang dihosting oleh Databricks telah dioptimalkan untuk Fungsi AI. Anda dapat menerapkan AI ke data Anda dan menjalankan beban kerja produksi inferensi batch dalam skala besar menggunakan fungsi-fungsi ini dan model yang didukung.
- Throughput yang disediakan: Direkomendasikan untuk kasus penggunaan produksi yang memerlukan jaminan performa. Opsi ini memungkinkan penyebaran model fondasi yang disempurnakan dengan titik akhir penyajian yang dioptimalkan.
- Model eksternal: Opsi ini memungkinkan akses ke model fondasi yang dihosting di luar Databricks, seperti yang disediakan oleh OpenAI atau Anthropic. Model-model ini dapat dikelola secara terpusat dalam Databricks untuk tata kelola yang disederhanakan.
Model dasar yang terhosting di Databricks
Databricks menghosting model-model dasar terbuka mutakhir, seperti Meta Llama. Model ini tersedia menggunakan API Model Foundation.
Tabel berikut ini meringkas model dan keluarga model yang dihosting Databricks mana yang didukung di setiap wilayah berdasarkan fitur Model Serving.
Penting
- Anthropic Claude 3.7 Sonnet sudah tidak tersedia. Lihat Model yang sudah dihentikan untuk model penggantian yang direkomendasikan dan panduan tentang cara migrasi selama masa penghentian.
- Meta Llama 4 Maverick tersedia untuk beban kerja API Model Foundation dengan throughput yang disediakan dalam mode Pratinjau Umum.
- Meta-Llama-3.1-405B-Instruct tidak lagi tersedia untuk beban kerja bayar per token. Mulai 15 Mei 2026, beban kerja throughput yang disediakan juga akan dihentikan. Lihat Model yang sudah dihentikan untuk model penggantian yang direkomendasikan dan panduan tentang cara migrasi selama masa penghentian.
- Beberapa keluarga model lama telah dipensiunkan. Lihat Model yang dihentikan untuk daftar lengkap model yang dihentikan dan penggantian yang direkomendasikan.
⥂ Model ini didukung berdasarkan ketersediaan GPU dan memerlukan perutean geografi silang untuk diaktifkan.
Mengakses model fondasi yang dihosting di luar Databricks
Model fondasi yang dibuat oleh penyedia LLM, seperti OpenAI dan Anthropic, juga dapat diakses di Databricks menggunakan model Eksternal . Model ini dihosting di luar Databricks dan Anda dapat membuat titik akhir untuk mengkuerinya. Titik akhir ini dapat diatur secara terpusat dari Azure Databricks, yang menyederhanakan penggunaan dan manajemen berbagai penyedia LLM dalam organisasi Anda.
Tabel berikut menyajikan daftar model yang didukung yang tidak lengkap dan jenis titik akhir yang sesuai. Anda dapat menggunakan asosiasi model yang tercantum untuk membantu mengonfigurasi endpoint Anda untuk jenis model baru yang dirilis ketika tersedia dari penyedia yang bersangkutan. Pelanggan bertanggung jawab untuk memastikan kepatuhan terhadap lisensi model yang berlaku.
Nota
Dengan perkembangan LLM yang pesat, tidak ada jaminan bahwa daftar ini sudah diperbarui setiap saat. Versi model baru dari penyedia yang sama biasanya didukung meskipun tidak ada dalam daftar.
| Penyedia model | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Antropik |
|
|
|
| Cohere** |
|
|
|
| Penerapan Model AI Mosaik | Titik akhir layanan Databricks | Titik akhir layanan Databricks | Titik akhir layanan Databricks |
| Amazon Bedrock | Antropik
Cohere:
AI21 Labs:
|
Antropik
Cohere:
Amazon:
|
Amazon:
Cohere:
|
Lab AI21† |
|
||
| Google Cloud Vertex AI | teks-bison |
|
|
Penyedia model ** mendukung model penyelesaian yang telah disesuaikan dan model obrolan. Untuk mengkueri model hasil fine-tuning, isi bidang name di konfigurasi external model dengan nama model hasil fine-tuning Anda.
† Penyedia model mendukung model penyelesaian kustom.
Membuat model fondasi yang melayani titik akhir
Untuk mengkueri dan menggunakan model fondasi di aplikasi AI, Anda harus terlebih dahulu membuat model yang melayani titik akhir. Model Serving menggunakan API dan UI terpadu untuk membuat dan memperbarui endpoint penyajian model dasar.
- Untuk membuat titik akhir yang menyediakan varian hasil penyempurnaan dari model fondasi yang tersedia melalui throughput yang disediakan oleh API Model Foundation, lihat Membuat titik akhir throughput yang disediakan menggunakan REST API.
- Untuk membuat endpoint penyajian yang mengakses model dasar yang tersedia menggunakan penawaran model eksternal, lihat Membuat titik akhir penyajian model eksternal.
Model fondasi kueri yang melayani titik akhir
Setelah Anda membuat titik akhir penyajian, Anda dapat menjalankan kueri pada model dasar Anda. Model Serving menggunakan API dan SDK yang kompatibel dengan OpenAI terpadu untuk mengkueri model fondasi. Pengalaman terpadu ini menyederhanakan cara Anda bereksperimen dengan dan menyesuaikan model fondasi untuk produksi di seluruh cloud dan penyedia yang didukung.
Lihat Menggunakan model fondasi.