Mengkueri LLM dan agen di Azure Databricks

Azure Databricks menyediakan beberapa cara untuk mengkueri model bahasa besar (LLM), model fondasi, dan agen yang disebarkan. Pilih UI interaktif, SQL, REST API, atau pustaka klien tergantung pada alur kerja Anda.

Taman Bermain AI

AI Playground adalah lingkungan obrolan tanpa kode di ruang kerja Azure Databricks Anda untuk meminta dan membandingkan LLM. Gunakan ini untuk bereksperimen dengan prompt, menyetel parameter seperti temperature dan jumlah token maksimum, serta membuat prototipe agen pemanggil alat dan bot tanya jawab secara berdampingan sebelum beralih ke penulisan kode.

Model dasar

Azure Databricks melayani model dasar secara native sebagai API model (model services) melalui Unity AI Gateway. Setiap pengguna akun dapat memanggil model bayar-per-token dalam system.ai skema tanpa pengaturan. Pilih API model yang sesuai dengan kebutuhan Anda:

• API model yang disediakan sistem di system.ai: Model yang disajikan secara native oleh Azure Databricks, siap untuk melakukan query dengan SDK yang kompatibel dengan OpenAI, API provider asli, atau ai_query. Lihat API model kueri (layanan model).
• API model kustom: Buat sendiri saat Anda membutuhkan model di luar default, atau untuk mendistribusikan beban dan mengatur cadangan.

Agen kueri

Setelah Anda membangun dan menyebarkan agen, kueri agen dari aplikasi Anda. Agen dapat di-host di Databricks Apps atau endpoint Model Serving. Azure Databricks mendukung tiga metode kueri:

• Klien OpenAI Databricks: Direkomendasikan untuk aplikasi baru, dengan streaming native dan dukungan fitur penuh.
• API REST yang kompatibel dengan OpenAI: Tidak bergantung pada bahasa, bekerja dengan platform apa pun yang sudah menggunakan API OpenAI.
• ai_query: Query agent legacy yang dihosting di endpoint Model Serving dari SQL.

Memperkaya data menggunakan Fungsi AI

AI Functions adalah fungsi SQL bawaan yang menerapkan LLM dan model lain ke data yang disimpan di Azure Databricks. Jalankan model-model tersebut dari Databricks SQL, notebook, pipeline Lakeflow, atau Workflows untuk mengklasifikasikan tiket dukungan, mengekstrak entitas dari dokumen, meringkas konten, atau menerjemahkan teks secara batch dalam skala besar.

Pilih antara dua gaya fungsi:

• Fungsi khusus tugas seperti ai_classify, ai_extract, dan ai_parse_document dioptimalkan untuk satu tugas tertentu dan menggunakan sistem yang dikelola oleh Azure Databricks serta didukung oleh penelitian.
• ai_query adalah fungsi serba guna. Buat prompt Anda sendiri dan pilih model fondasi yang didukung. Lihat Gunakan ai_query.

Untuk contoh end-to-end, lihat Menganalisis ulasan pelanggan menggunakan Fungsi AI.