API Model Databricks Foundation
Artikel ini memberikan gambaran umum TENTANG API Model Foundation di Azure Databricks. Ini termasuk persyaratan untuk digunakan, model yang didukung, dan batasan.
Apa itu API Model Databricks Foundation?
Databricks Model Serving sekarang mendukung API Model Foundation yang memungkinkan Anda mengakses dan mengkueri model terbuka state-of-the-art dari titik akhir penyajian. Dengan API Model Foundation, Anda dapat dengan cepat dan mudah membangun aplikasi yang memanfaatkan model AI generatif berkualitas tinggi tanpa mempertahankan penyebaran model Anda sendiri.
API Model Foundation disediakan dalam dua mode harga:
- Bayar per token: Ini adalah cara term mudah untuk mulai mengakses model fondasi di Databricks dan direkomendasikan untuk memulai perjalanan Anda dengan API Model Foundation. Mode ini tidak dirancang untuk aplikasi throughput tinggi atau beban kerja produksi berkinerja.
- Throughput yang disediakan: Mode ini direkomendasikan untuk semua beban kerja produksi, terutama yang memerlukan throughput tinggi, jaminan performa, model yang disempurnakan, atau memiliki persyaratan keamanan tambahan. Titik akhir throughput yang disediakan tersedia dengan sertifikasi kepatuhan seperti HIPAA.
Lihat Menggunakan API Model Foundation untuk panduan tentang cara menggunakan dua mode ini dan model yang didukung.
Menggunakan API Model Foundation, Anda dapat:
- Mengkueri LLM umum untuk memverifikasi validitas proyek sebelum menginvestasikan lebih banyak sumber daya.
- Mengkueri LLM umum untuk membuat bukti konsep cepat untuk aplikasi berbasis LLM sebelum berinvestasi dalam pelatihan dan penyebaran model kustom.
- Gunakan model fondasi, bersama dengan database vektor, untuk membangun chatbot menggunakan pengambilan augmented generation (RAG).
- Ganti model kepemilikan dengan alternatif terbuka untuk mengoptimalkan biaya dan performa.
- Bandingkan LLM secara efisien untuk melihat kandidat terbaik untuk kasus penggunaan Anda, atau tukar model produksi dengan performa yang lebih baik.
- Bangun aplikasi LLM untuk pengembangan atau produksi di atas solusi penyajian LLM yang dapat diskalakan dan didukung SLA yang dapat mendukung lonjakan lalu lintas produksi Anda.
Persyaratan
- Token API Databricks untuk mengautentikasi permintaan titik akhir.
- Komputasi tanpa server (untuk model throughput yang disediakan).
- Ruang kerja di wilayah yang didukung:
- Wilayah bayar per token.
- Wilayah throughput yang disediakan.
Catatan
Untuk beban kerja throughput yang disediakan yang menggunakan model DBRX Base, lihat Batas API Model Foundation untuk ketersediaan wilayah.
Menggunakan API Model Foundation
Anda memiliki beberapa opsi untuk menggunakan API Model Foundation.
API kompatibel dengan OpenAI, sehingga Anda bahkan dapat menggunakan klien OpenAI untuk kueri. Anda juga dapat menggunakan UI, FOUNDATION Models API Python SDK, MLflow Deployments SDK, atau REST API untuk mengkueri model yang didukung. Databricks merekomendasikan penggunaan MLflow Deployments SDK atau REST API untuk interaksi yang diperluas dan UI untuk mencoba fitur tersebut.
Lihat Model fondasi kueri untuk contoh penilaian.
API Model Foundation bayar per token
Penting
Fitur ini ada di Pratinjau Publik.
Model bayar per token dapat diakses di ruang kerja Azure Databricks Anda, dan disarankan untuk memulai. Untuk mengaksesnya di ruang kerja Anda, navigasikan ke tab Sajikan di bar samping kiri. API Model Foundation terletak di bagian atas tampilan daftar Titik Akhir.
Tabel berikut ini meringkas model yang didukung untuk bayar per token. Lihat Model yang didukung untuk bayar per token untuk informasi model tambahan.
Jika Anda ingin menguji dan mengobrol dengan model ini, Anda dapat melakukannya menggunakan AI Playground. Lihat Mengobrol dengan LLM yang didukung menggunakan AI Playground.
Penting
Model Instruksi MPT 7B dan MPT 30B Instruksi tidak digunakan lagi. Setelah 30 Agustus 2024, model ini tidak akan lagi didukung.
| Model | Jenis tugas | Titik akhir |
|---|---|---|
| Instruksi DBRX | Obrolan | databricks-dbrx-instruct |
| Meta-Llama-3-70B-Instruct | Obrolan | databricks-meta-llama-3-70b-instruct |
| Meta-Llama-2-70B-Chat | Obrolan | databricks-llama-2-70b-chat |
| Instruksi Mixtral-8x7B | Obrolan | databricks-mixtral-8x7b-instruct |
| Instruksi MPT 7B | Penyelesaian | databricks-mpt-7b-instruct |
| Instruksi MPT 30B | Penyelesaian | databricks-mpt-30b-instruct |
| GTE Large (Inggris) | Penyematan | databricks-gte-large-en |
| BGE Besar (Inggris) | Penyematan | databricks-bge-large-en |
- Lihat Model dasar kueri untuk panduan tentang cara mengkueri API Model Foundation.
- Lihat Referensi REST API model foundation untuk parameter dan sintaks yang diperlukan.
API Model Fondasi throughput yang disediakan
Throughput yang disediakan umumnya tersedia dan Databricks merekomendasikan throughput yang disediakan untuk beban kerja produksi. Throughput yang disediakan menyediakan titik akhir dengan inferensi yang dioptimalkan untuk beban kerja model fondasi yang memerlukan jaminan performa. Lihat API Model Foundation throughput yang disediakan untuk panduan langkah demi langkah tentang cara menyebarkan API Model Foundation dalam mode yang disediakan di seluruh mode.
Dukungan throughput yang disediakan meliputi:
- Model dasar dari semua ukuran, seperti DBRX Base. Model dasar dapat diakses menggunakan Databricks Marketplace, atau Anda dapat mengunduhnya dari Hugging Face atau sumber eksternal lain dan mendaftarkannya di Unity Catalog. Pendekatan terakhir bekerja dengan varian model yang didukung yang disempurnakan, terlepas dari metode penyempurnaan yang digunakan.
- Varian model dasar yang disempurnakan, seperti LlamaGuard-7B. Ini termasuk model yang disempurnakan pada data kepemilikan.
- Bobot dan tokenizer kustom sepenuhnya, seperti yang dilatih dari awal atau dilatih sebelumnya atau variasi lainnya menggunakan arsitektur model dasar (seperti CodeLlama, Yi-34B-Chat, atau SOLAR-10.7B).
Tabel berikut ini meringkas arsitektur model yang didukung untuk throughput yang disediakan.
| Arsitektur model | Jenis Tugas | Catatan |
|---|---|---|
| DBRX | Obrolan atau Penyelesaian | Lihat Batas API Model Fondasi untuk ketersediaan wilayah. |
| Meta Llama 3 | Obrolan atau Penyelesaian | |
| Meta Llama 2 | Obrolan atau Penyelesaian | |
| Mistral | Obrolan atau Penyelesaian | |
| Mixtral | Obrolan atau Penyelesaian | |
| MPT | Obrolan atau Penyelesaian | |
| BGE v1.5 (Bahasa Inggris) | Penyematan |
Batasan
Lihat Batas dan wilayah Layanan Model.
Sumber Daya Tambahan:
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk