Menyebarkan model untuk inferensi dan prediksi batch
Artikel ini menjelaskan apa yang direkomendasikan Databricks untuk inferensi batch dan streaming.
Untuk penyajian model real time di Azure Databricks, lihat Model melayani dengan Azure Databricks.
Gunakan ai_query untuk inferensi batch
Penting
Fitur ini ada di Pratinjau Publik.
Databricks merekomendasikan penggunaan ai_query dengan Model Serving untuk inferensi batch. ai_query adalah fungsi SQL Databricks bawaan yang memungkinkan Anda mengkueri model yang ada yang melayani titik akhir menggunakan SQL. Ini telah diverifikasi untuk memproses himpunan data dengan andal dan konsisten dalam kisaran miliaran token. Lihat fungsi ai_query untuk detail selengkapnya tentang fungsi AI ini.
Untuk eksperimen cepat, ai_query dapat digunakan dengan titik akhir bayar per token karena titik akhir ini telah dikonfigurasi sebelumnya di ruang kerja Anda.
Ketika Anda siap untuk menjalankan inferensi batch pada data besar atau produksi, Databricks merekomendasikan penggunaan titik akhir throughput yang disediakan untuk performa yang lebih cepat. Lihat API Model Foundation throughput yang disediakan untuk membuat titik akhir throughput yang disediakan.
- Lihat Melakukan inferensi batch menggunakan ai_query.
- Untuk mulai menggunakan inferensi batch dengan LLM pada tabel Unity Catalog, lihat contoh buku catatan dalam inferensi Batch menggunakan throughput yang disediakan API Model Foundation.