Gunakan ai_query

Penting

Fitur ini ada di Pratinjau Umum.

ai_query adalah Fungsi AI tujuan umum yang memungkinkan Anda mengkueri model AI yang didukung langsung dari SQL atau Python. Tidak seperti Fungsi AI khusus tugas, yang dibuat dan dioptimalkan untuk satu tugas, ai_query memberi Anda kontrol penuh atas model, permintaan, dan parameter.

Untuk sintaks penuh dan referensi parameter, lihat ai_query fungsi.

Kapan harus menggunakan ai_query

Databricks merekomendasikan memulai dengan Fungsi AI yang sesuai dengan tugas jika sesuai dengan tujuan Anda. Gunakan ai_query saat fungsi khusus tugas tidak memenuhi kebutuhan Anda. Misalnya, saat Anda perlu:

• Mengontrol perintah, parameter model, atau format output dengan lebih tepat
• Mengkueri model kustom, disempurnakan, atau eksternal
• Perlu fleksibilitas untuk mengoptimalkan throughput atau kualitas lebih lanjut

Praktik terbaik

• Gunakan model yang dihosting Databricks. Gunakan endpoint model dasar yang dihosting oleh Databricks (diawali dengan databricks-), alih-alih endpoint throughput yang telah disediakan. Titik akhir ini dikelola sepenuhnya dan diskalakan secara otomatis tanpa provisi atau konfigurasi.
• Pilih model yang dioptimalkan untuk inferensi batch. Databricks mengoptimalkan model tertentu untuk beban kerja batch dengan throughput tinggi. Menggunakan model yang tidak dioptimalkan dapat mengakibatkan pengurangan throughput dan waktu penyelesaian pekerjaan yang lebih lama. Lihat Model yang Didukung untuk daftar lengkap model yang dioptimalkan untuk batch.
• Kirim himpunan data lengkap Anda dalam satu kueri. Fungsi AI secara otomatis menangani paralelisasi, percobaan ulang, dan penskalaan. Memisahkan data secara manual menjadi batch kecil dapat mengurangi throughput.
• Atur failOnError ke false untuk beban kerja besar. Ini memungkinkan pekerjaan untuk menyelesaikan dan mengembalikan pesan kesalahan untuk baris yang gagal, sehingga Anda mempertahankan hasil yang berhasil tanpa memproses ulang seluruh himpunan data.

Model yang didukung

ai_query mendukung model yang dihosting Databricks, model throughput yang disediakan, model kustom, dan model eksternal.

Tabel berikut ini meringkas jenis model yang didukung, model terkait, dan model yang melayani persyaratan konfigurasi titik akhir untuk masing-masing jenis model yang didukung.

Tipe	Deskripsi	Model yang didukung	Persyaratan
Model yang dihosting oleh Databricks	Azure Databricks menghosting model fondasi ini dan menawarkan titik akhir yang telah dikonfigurasi sebelumnya yang dapat Anda kueri menggunakan ai_query. Lihat Model fondasi yang didukung pada Mosaic AI Model Serving yang modelnya didukung untuk setiap fitur Model Serving dan ketersediaan wilayahnya.	Lihat Model fondasi yang didukung pada Mosaic AI Model Serving untuk daftar lengkap model fondasi yang didukung pada Model Serving. Model ini didukung dan dioptimalkan untuk memulai inferensi batch dan alur kerja produksi: databricks-qwen3-next-80b-a3b-instruct databricks-claude-sonnet-4 databricks-gpt-oss-20b databricks-gpt-oss-120b databricks-gemma-3-12b databricks-llama-4-maverick databricks-meta-llama-3-3-70b-instruct databricks-meta-llama-3-1-8b-instruct databricks-qwen3-embedding-0-6b databricks-gte-large-en Model lain yang dihosting Azure Databricks tersedia untuk digunakan dengan Fungsi AI, tetapi tidak disarankan untuk alur kerja produksi inferensi batch dalam skala besar. Model lain ini tersedia untuk inferensi waktu nyata menggunakan API Model Dasar pembayaran per-token.	Databricks Runtime 15.4 LTS atau lebih tinggi diperlukan untuk menggunakan fungsionalitas ini. Tidak memerlukan penyediaan atau pengaturan titik akhir. Penggunaan Anda atas model ini tunduk pada persyaratan model yang berlaku dan ketersediaan wilayah Fungsi AI.
Model throughput yang disediakan	AI Functions bekerja dengan model throughput yang disediakan yang disebarkan pada Model Serving.	Model fondasi yang disempurnakan yang disebarkan pada Model Serving Model throughput yang disediakan disebarkan pada Model Serving	Untuk model fondasi yang disempurnakan, Anda harus membuat titik akhir throughput yang disediakan dalam Model Serving. Lihat Menggunakan ai_query dengan model fondasi untuk contoh buku catatan. Fungsi AI tidak menggunakan komputasi yang disediakan ke titik akhir. Fungsi AI sepenuhnya mengelola penskalaan yang digunakan untuk inferensi batch.
Model kustom dan model eksternal	Anda dapat membawa model kustom atau eksternal Anda sendiri dan mengkuerinya menggunakan Fungsi AI. AI Functions menawarkan fleksibilitas sehingga Anda dapat mengkueri model untuk skenario inferensi real time atau inferensi batch.	Model dasar yang dihosting di luar Azure Databricks. Model ini tersedia menggunakan model eksternal. Lihat Model fondasi akses yang dihosting di luar Databricks untuk daftar model eksternal yang didukung. Model kustom tradisional ML dan DL	Untuk model eksternal, Anda harus membuat model eksternal yang melayani titik akhir. Untuk model ML dan DL tradisional kustom, Anda harus membuat model kustom yang melayani titik akhir. Lihat Menggunakan ai_query dengan model ML tradisional untuk contoh buku catatan.

Gunakan ai_query dengan model fondasi

Contoh berikut menunjukkan cara menggunakan ai_query dengan model fondasi yang dihosting oleh Azure Databricks.

• Lihat ai_query fungsi untuk detail sintaks dan parameter.
• Lihat Input multimodal untuk contoh kueri input multimodal.
• Lihat Contoh skenario tingkat lanjut untuk panduan tentang cara mengonfigurasi parameter untuk kasus penggunaan tingkat lanjut seperti:
  • Menangani kesalahan menggunakan failOnError
  • Output terstruktur pada Azure Databricks cara menentukan output terstruktur untuk respons kueri Anda.

SQL

SELECT text, ai_query(
    "databricks-gpt-oss-120b",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Python

df_out = df.selectExpr(
  "ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Contoh notebook: Inferensi batch dan ekstraksi data terstruktur

Contoh notebook berikut menunjukkan cara melakukan ekstraksi data terstruktur dasar menggunakan ai_query untuk mengubah data mentah dan tidak terstruktur menjadi informasi yang terorganisir dan dapat digunakan melalui teknik ekstraksi otomatis. Notebook ini juga menunjukkan cara memanfaatkan Agent Evaluation untuk mengukur akurasi menggunakan data kebenaran dasar.

Buku catatan inferensi batch dan ekstraksi data terstruktur

Dapatkan buku catatan

Gunakan ai_query dengan model ML tradisional

ai_query mendukung model ML tradisional, termasuk model yang sepenuhnya kustom. Model ini harus disebarkan pada titik akhir Model Serving. Untuk detail sintaks dan parameter, lihat ai_query fungsi.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Contoh notebook: Inferensi batch menggunakan BERT untuk pengenalan entitas bernama

Notebook berikut menunjukkan contoh inferensi batch model ML tradisional menggunakan BERT.

Untuk notebook pengenalan entitas bernama, gunakan inferensi batch menggunakan BERT

Dapatkan buku catatan