Mengkueri LLM dan agen di Azure Databricks

Azure Databricks menyediakan beberapa cara untuk mengkueri model bahasa besar (LLM), model fondasi, dan agen yang disebarkan. Pilih UI interaktif, SQL, REST API, atau pustaka klien tergantung pada alur kerja Anda.

AI Playground

AI Playground adalah lingkungan obrolan tanpa kode di ruang kerja Azure Databricks Anda untuk meminta dan membandingkan LLM. Gunakan ini untuk bereksperimen dengan prompt, menyetel parameter seperti temperature dan jumlah token maksimum, serta membuat prototipe agen pemanggil alat dan bot tanya jawab secara berdampingan sebelum beralih ke penulisan kode.

Memperkaya data menggunakan Fungsi AI

AI Functions adalah fungsi SQL bawaan yang menerapkan LLM dan model lain ke data yang disimpan di Azure Databricks. Jalankan di Databricks SQL, notebook, Lakeflow Spark Declarative Pipelines, atau Workflows untuk mengklasifikasikan tiket dukungan, mengekstrak entitas dari dokumen, merangkum konten, atau menerjemahkan teks dalam skala batch.

Pilih antara dua gaya fungsi:

• Fungsi khusus tugas seperti ai_classify, ai_extract, dan ai_parse_document dioptimalkan untuk satu tugas tertentu dan menggunakan sistem yang dikelola oleh Azure Databricks serta didukung oleh penelitian.
• ai_query adalah fungsi tujuan umum — berikan permintaan Anda sendiri dan pilih model fondasi yang didukung. Lihat Gunakan ai_query.

Untuk contoh end-to-end, lihat Menganalisis ulasan pelanggan menggunakan Fungsi AI.

Agen kueri

Setelah Anda membangun dan menyebarkan agen, kueri agen dari aplikasi Anda. Agen dapat dihosting di Titik akhir Databricks Apps atau Mosaic AI Model Serving. Azure Databricks mendukung tiga metode kueri:

• Klien Databricks OpenAI — direkomendasikan untuk aplikasi baru, dengan streaming asli dan dukungan fitur lengkap.
• REST API yang kompatibel dengan OpenAI — language-agnostic, berfungsi dengan platform apa pun yang sudah berbicara OpenAI API.
• ai_query — mengkueri agen warisan yang dihosting di titik akhir Model Serving dari SQL.

Model dasar

Mosaic AI Model Serving menyediakan model fondasi terbuka, model yang dikelola Azure Databricks, dan model fondasi eksternal melalui satu API terpadu. Pilih opsi penyebaran yang sesuai dengan beban kerja Anda:

• Pay-per-token — mengkueri titik akhir yang telah dikonfigurasi sebelumnya di ruang kerja Anda tanpa komitmen infrastruktur. Bagus untuk eksperimen.
• Throughput yang disediakan — menyebarkan model yang disempurnakan dengan penyajian yang dioptimalkan dan jaminan performa untuk produksi.
• Model eksternal — mengarahkan permintaan ke penyedia seperti OpenAI atau Anthropic melalui tata kelola Azure Databricks.