Bagikan melalui

Menyebarkan agen dan model AI generatif

  • Artikel

Artikel ini menjelaskan dukungan Mosaic AI Model Serving untuk menyebarkan agen dan model AI generatif untuk aplikasi AI generatif Anda.

Apa itu agen AI generatif?

Agen AI generatif adalah sistem AI majemuk yang bergantung pada model bahasa besar dan input pengguna untuk menentukan langkah mana yang harus diambil untuk melakukan tugas. Lihat Membuat dan mencatat agen AI.

Apa itu model AI generatif?

Model AI generatif membuat konten baru dari input seperti teks, gambar, dan kode. Model ini dilatih pada himpunan data besar dan menggunakan pembelajaran mendalam untuk mengidentifikasi pola dan struktur dalam data yang ada, lalu menghasilkan konten baru berdasarkan apa yang telah mereka pelajari.

Model fondasi adalah jenis model AI generatif. Model-model ini telah dilatih sebelumnya dengan niat agar disempurnakan untuk pemahaman bahasa dan tugas pembuatan yang lebih spesifik.

Menyebarkan agen AI generatif

Databricks mendukung dua metode untuk menyebarkan agen AI generatif:

Selama pengembangan, gunakan deploy() metode dalam Kerangka Kerja Agen AI Mosaik. Metode ini secara otomatis membuat:

  • Titik akhir CPU untuk penyebaran dan pengujian.
  • URL ke aplikasi tinjauan Evaluasi Agen tempat pemangku kepentingan dapat berinteraksi dengan agen untuk menguji output dan mencatat umpan balik.

Untuk aplikasi produksi, gunakan Mosaic AI Model Serving untuk membuat titik akhir CPU Anda sendiri untuk menyebarkan agen Anda.

Untuk detail selengkapnya tentang opsi ini, lihat Menyebarkan agen untuk aplikasi AI generatif.

Menyebarkan model AI generatif

Mosaic AI Model Serving mendukung penyajian dan kueri model AI generatif menggunakan kemampuan berikut:

  • API Model Fondasi. Fungsionalitas ini membuat model terbuka state-of-the-art dan varian model yang disempurnakan tersedia untuk model Anda yang melayani titik akhir. Model ini adalah arsitektur model fondasi yang dikumpulkan yang mendukung inferensi yang dioptimalkan. Model dasar, seperti DBRX Instruct, Llama-2-70B-chat, BGE-Large, dan Mistral-7B tersedia untuk digunakan segera dengan harga bayar per token , dan beban kerja yang memerlukan jaminan performa, seperti varian model yang disempurnakan, dapat disebarkan dengan throughput yang disediakan.
  • Model eksternal. Ini adalah model AI generatif yang dihosting di luar Databricks. Titik akhir yang melayani model eksternal dapat diatur secara terpusat dan pelanggan dapat menetapkan batas tarif dan kontrol akses untuk mereka. Contohnya termasuk model fondasi seperti OpenAI GPT-4, Claude Anthropic, dan lainnya.

Untuk tutorial memulai tentang cara mengkueri model fondasi di Databricks, lihat Mulai mengkueri LLM di Databricks.

Membuat model AI generatif yang melayani titik akhir

Lihat Membuat model AI generatif yang melayani titik akhir.

Mengkueri model AI generatif yang Anda sebarkan