Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Artikel ini menjelaskan model fondasi yang dapat Anda layani menggunakan Model Serving.
Tip
Jika Anda baru memulai dan ingin memanggil LLM, gunakan API model (layanan model) di Unity AI Gateway. Layanan model memberi Anda akses yang diatur ke model dasar yang dilayani secara native oleh Azure Databricks melalui satu antarmuka. Untuk mulai melakukan query pada LLM, lihat Mulai melakukan query LLM di Databricks. Gunakan opsi Model Serving di bawah ini saat Anda perlu menghosting, menyempurnakan, atau mengonfigurasi endpoint penyajian untuk model dasar sendiri.
Model fondasi adalah jaringan neural besar yang telah dilatih sebelumnya pada berbagai rentang data yang beragam dan besar. Model ini dirancang untuk mempelajari pola umum dalam bahasa, gambar, atau jenis data lainnya, dan dapat disempurnakan untuk tugas tertentu dengan pelatihan tambahan. Penggunaan model fondasi tertentu tunduk pada ketentuan model dan kebijakan penggunaan yang dapat diterima. Lihat Ketentuan model yang berlaku.
Model Serving menawarkan opsi fleksibel untuk menghosting dan mengkueri model fondasi berdasarkan kebutuhan Anda:
- Bayar per token: Ideal untuk eksperimen dan eksplorasi cepat. Opsi ini memungkinkan Anda untuk mengkueri titik akhir yang telah dikonfigurasi sebelumnya di ruang kerja Databricks Anda tanpa komitmen infrastruktur di muka.
- Fungsi AI (inferensi batch): Beberapa model yang dihosting oleh Databricks telah dioptimalkan untuk Fungsi AI. Anda dapat menerapkan AI ke data Anda dan menjalankan beban kerja produksi inferensi batch dalam skala besar menggunakan fungsi-fungsi ini dan model yang didukung.
- Throughput yang disediakan: Direkomendasikan untuk kasus penggunaan produksi yang memerlukan jaminan performa. Opsi ini memungkinkan penyebaran model fondasi yang disempurnakan dengan titik akhir penyajian yang dioptimalkan.
- Model eksternal: Opsi ini memungkinkan akses ke model fondasi yang dihosting di luar Databricks, seperti yang disediakan oleh OpenAI atau Anthropic. Model-model ini dapat dikelola secara terpusat dalam Databricks untuk tata kelola yang disederhanakan.
Nota
Permintaan ke model foundation, baik yang dihosting di Databricks maupun eksternal, diarahkan melalui Unity AI Gateway, yang memungkinkan Anda menerapkan batas tarif, anggaran, dan pengaman untuk mengontrol biaya dan akses.
Model dasar yang terhosting di Databricks
Databricks menyediakan model fondasi terbuka yang mutakhir. Model ini tersedia menggunakan API Model Foundation. Untuk membatasi model fondasi yang dihosting Databricks mana yang dapat digunakan organisasi Anda, lihat izin Model dasar Unity Catalog.
Nota
Pada Azure Databricks, model OpenAI dan Google Gemini, bersama dengan Zhipu AI GLM 5.3, GLM 5.3 Flash, dan GLM 5.2, Moonshot AI Kimi K3, Thinking Machine Labs Inkling, dan DeepSeek V4 Flash, tersedia melalui ADI Services yang disediakan oleh Databricks. Untuk deskripsi model ini, lihat model foundation yang dihosting Databricks tersedia di Foundation Model API. Untuk pengaturan dan akses, lihat Layanan ADI.
Tabel berikut ini meringkas model dan keluarga model yang dihosting Databricks mana yang didukung di setiap wilayah berdasarkan fitur Model Serving.
Penting
- Anthropic Claude Sonnet 4 tidak digunakan lagi. Lihat Model yang tidak digunakan lagi dan dihentikan untuk tanggal penghentiannya, model penggantian yang direkomendasikan, dan panduan tentang cara bermigrasi selama penghentian.
- Anthropic Claude 3.7 Sonnet sudah tidak tersedia. Lihat Model yang tidak digunakan lagi dan dihentikan untuk model penggantian dan panduan yang direkomendasikan tentang cara bermigrasi selama penghentian.
- Meta Llama 4 Maverick tersedia untuk beban kerja API Model Foundation dengan throughput yang disediakan dalam mode Pratinjau Umum.
- Meta-Llama-3.1-405B-Instruct tidak lagi tersedia untuk beban kerja bayar per token atau throughput yang diprovisikan. Lihat Model yang tidak digunakan lagi dan dihentikan untuk model penggantian dan panduan yang direkomendasikan tentang cara bermigrasi selama penghentian.
- Beberapa keluarga model lama telah dipensiunkan. Lihat Model yang tidak digunakan lagi dan dihentikan untuk daftar lengkap model yang dihentikan dan penggantian yang direkomendasikan.
† Model Serving tidak diaktifkan untuk uksouth ruang kerja yang dibuat setelah 30 April 2026.
⥂ Model ini didukung berdasarkan ketersediaan GPU dan memerlukan perutean geografi silang untuk diaktifkan.
Mengakses model fondasi yang dihosting di luar Databricks
Model fondasi yang dibuat oleh penyedia LLM, seperti OpenAI dan Anthropic, juga dapat diakses di Databricks menggunakan model Eksternal . Model ini dihosting di luar Databricks dan Anda dapat membuat titik akhir untuk mengkuerinya. Titik akhir ini dapat diatur secara terpusat dari Azure Databricks, yang menyederhanakan penggunaan dan manajemen berbagai penyedia LLM dalam organisasi Anda.
Tabel berikut menyajikan daftar model yang didukung yang tidak lengkap dan jenis titik akhir yang sesuai. Anda dapat menggunakan asosiasi model yang tercantum untuk membantu mengonfigurasi endpoint Anda untuk jenis model baru yang dirilis ketika tersedia dari penyedia yang bersangkutan. Pelanggan bertanggung jawab untuk memastikan kepatuhan terhadap lisensi model yang berlaku.
Nota
Dengan perkembangan LLM yang pesat, tidak ada jaminan bahwa daftar ini sudah diperbarui setiap saat. Versi model baru dari penyedia yang sama biasanya didukung meskipun tidak ada dalam daftar.
| Penyedia model | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Antropik |
|
|
|
| Cohere** |
|
|
|
| Model Serving | Titik akhir layanan Databricks | Titik akhir layanan Databricks | Titik akhir layanan Databricks |
| Amazon Bedrock | Antropik
Cohere:
Laboratorium AI21:
|
Antropik
Cohere:
Amazon:
|
Amazon:
Cohere:
|
Lab AI21† |
|
||
| Google Cloud Vertex AI | teks-bison |
|
|
Penyedia model ** mendukung model penyelesaian yang telah disesuaikan dan model obrolan. Untuk mengkueri model hasil fine-tuning, isi bidang name di konfigurasi external model dengan nama model hasil fine-tuning Anda.
† Penyedia model mendukung model penyelesaian kustom.
Membuat model fondasi yang melayani titik akhir
Untuk mengkueri dan menggunakan model fondasi di aplikasi AI, Anda harus terlebih dahulu membuat model yang melayani titik akhir. Model Serving menggunakan API dan UI terpadu untuk membuat dan memperbarui endpoint penyajian model dasar.
- Untuk membuat titik akhir yang menyediakan varian hasil penyempurnaan dari model fondasi yang tersedia melalui throughput yang disediakan oleh API Model Foundation, lihat Membuat titik akhir throughput yang disediakan menggunakan REST API.
- Untuk membuat endpoint penyajian yang mengakses model dasar yang tersedia menggunakan penawaran model eksternal, lihat Membuat titik akhir penyajian model eksternal.
Model fondasi kueri yang melayani titik akhir
Setelah Anda membuat titik akhir penyajian, Anda dapat menjalankan kueri pada model dasar Anda. Model Serving menggunakan API dan SDK yang kompatibel dengan OpenAI terpadu untuk mengkueri model fondasi. Pengalaman terpadu ini menyederhanakan cara Anda bereksperimen dengan dan menyesuaikan model fondasi untuk produksi di seluruh cloud dan penyedia yang didukung.
Lihat Menggunakan model fondasi.