Bagikan melalui

Menyebarkan model fondasi AI generatif

  • Artikel

Artikel ini menjelaskan dukungan untuk melayani dan mengkueri model fondasi AI dan LLM generatif menggunakan Databricks Model Serving.

Penting

Untuk tutorial memulai tentang cara mengkueri model fondasi di Databricks, lihat Mulai mengkueri LLM di Databricks.

Apa itu model fondasi?

Model fondasi adalah model ML besar yang telah dilatih sebelumnya dengan niat bahwa model tersebut akan disempurnakan untuk pemahaman bahasa dan tugas pembuatan yang lebih spesifik. Model ini digunakan untuk membedakan pola dalam data input untuk beban kerja AI dan LLM generatif.

Databricks Model Serving mendukung penyajian dan kueri model fondasi menggunakan kemampuan berikut:

  • API Model Fondasi. Fungsionalitas ini membuat model terbuka state-of-the-art tersedia untuk model Anda yang melayani titik akhir. Model ini adalah arsitektur model fondasi yang dikumpulkan yang mendukung inferensi yang dioptimalkan. Model dasar, seperti DBRX Instruct, Llama-2-70B-chat, BGE-Large, dan Mistral-7B tersedia untuk digunakan segera dengan harga bayar per token , dan beban kerja yang memerlukan jaminan performa dan varian model yang disempurnakan dapat disebarkan dengan throughput yang disediakan.
  • Model eksternal. Ini adalah model yang dihosting di luar Databricks. Titik akhir yang melayani model eksternal dapat diatur secara terpusat dan pelanggan dapat menetapkan batas tarif dan kontrol akses untuk mereka. Contohnya termasuk model fondasi seperti, GPT-4 OpenAI, Claude Anthropic, dan lainnya.

Persyaratan

Untuk mengakses dan mengkueri model fondasi menggunakan Databricks Model Serving, tinjau persyaratan untuk setiap fungsionalitas.

Membuat model fondasi yang melayani titik akhir

Lihat Membuat model fondasi yang melayani titik akhir

Mengkueri model fondasi

Sumber Daya Tambahan: