Menyebarkan model untuk inferensi dan prediksi batch
Artikel ini menjelaskan apa yang direkomendasikan Databricks untuk inferensi batch.
Untuk penyajian model real time di Azure Databricks, lihat Menyebarkan model menggunakan Mosaic AI Model Serving.
Gunakan ai_query untuk inferensi batch
Penting
Fitur ini ada di Pratinjau Publik.
Databricks merekomendasikan penggunaan ai_query dengan Model Serving untuk inferensi batch.
ai_query adalah fungsi SQL Databricks bawaan yang memungkinkan Anda mengkueri model yang ada yang melayani titik akhir menggunakan SQL. Ini telah diverifikasi untuk memproses himpunan data dengan andal dan konsisten dalam kisaran miliaran token. Lihat fungsi ai_query untuk detail selengkapnya tentang fungsi AI ini.
Untuk eksperimen cepat, ai_query dapat digunakan untuk inferensi LLM batch dengan titik akhir bayar per token, yang telah dikonfigurasi sebelumnya di ruang kerja Anda.
Ketika Anda siap untuk menjalankan inferensi LLM batch pada data besar atau produksi, Databricks merekomendasikan penggunaan titik akhir throughput yang disediakan untuk performa yang lebih cepat.
- Lihat API Model Foundation throughput yang disediakan untuk membuat titik akhir throughput yang disediakan.
- Lihat Lakukan inferensi LLM secara berkelompok menggunakan ai_query.
Untuk contoh inferensi batch model ML tradisional, lihat buku catatan berikut ini: