Bagikan melalui

Inferensi batch menggunakan API Model Foundation

  • Artikel

Artikel ini menyediakan contoh notebook yang melakukan inferensi batch pada titik akhir throughput yang disediakan menggunakan API Model Foundation. Anda memerlukan kedua notebook untuk mencapai inferensi batch menggunakan API Model Foundation.

Contoh menunjukkan inferensi batch menggunakan model Instruksi DBRX untuk tugas obrolan.

Persyaratan

  • Ruang kerja di wilayah yang didukung API Model Foundation
  • Databricks Runtime 14.0 ML atau lebih tinggi
  • Buku provisioned-throughput-batch-inference catatan dan chat-batch-inference-api buku catatan harus ada di direktori yang sama di ruang kerja

Menyiapkan tabel input, inferensi batch

Buku catatan berikut melakukan tugas-tugas berikut, menggunakan Python:

  • Membaca data dari tabel input dan kolom input
  • Membuat permintaan dan mengirimkannya ke titik akhir API Model Foundation
  • Mempertahankan baris input bersama dengan data respons ke tabel output

Tugas inferensi batch model obrolan menggunakan buku catatan Python

Dapatkan buku catatan

Buku catatan berikut melakukan tugas yang sama seperti buku catatan di atas, tetapi menggunakan Spark:

  • Membaca data dari tabel input dan kolom input
  • Membuat permintaan dan mengirimkannya ke titik akhir API Model Foundation
  • Mempertahankan baris input bersama dengan data respons ke tabel output

Tugas inferensi batch model obrolan menggunakan notebook UDF PySpark Pandas

Dapatkan buku catatan

Membuat titik akhir throughput yang disediakan

Jika Anda ingin menggunakan buku catatan spark alih-alih buku catatan python, pastikan untuk memperbarui perintah yang memanggil buku catatan Python.

  • Membuat titik akhir penyajian throughput yang disediakan
  • Pantau titik akhir hingga mencapai status siap
  • chat-batch-inference-api Memanggil notebook untuk menjalankan tugas inferensi batch secara bersamaan terhadap titik akhir yang disiapkan. Jika Anda lebih suka menggunakan Spark, ubah referensi ini untuk memanggil chat-batch-inference-udf buku catatan.
  • Menghapus titik akhir penyajian throughput yang disediakan setelah inferensi batch selesai

Melakukan inferensi batch pada buku catatan titik akhir throughput yang disediakan

Dapatkan buku catatan

Sumber Daya Tambahan: