Tabel inferensi agen: Log permintaan dan penilaian (tidak digunakan lagi)

Important

Untuk kasus penggunaan baru, Databricks merekomendasikan penyebaran agen di Databricks Apps untuk kontrol penuh atas kode agen, konfigurasi server, dan alur kerja penyebaran. Lihat Menulis agen AI dan menyebarkannya di Aplikasi Databricks. Untuk memigrasikan agen yang ada, lihat Memigrasikan agen dari Model Melayani ke Aplikasi Databricks.

Important

Pemberitahuan penghentian: Mulai 4 Desember 2025, Databricks tidak lagi secara otomatis mengisi payload_request_logs tabel dan payload_assessment_logs . Tabel ini tidak digunakan lagi.

  • Agen yang baru disebarkan melalui agents.deploy() tidak akan lagi menghasilkan tabel request_logs atau assessment_logs.
  • Tabel lama request_logs dan assessment_logs tidak lagi diisi. Anda dapat membuat tabel pengganti sendiri menggunakan tampilan materialisasi. Lihat solusi alternatif untuk MLflow 2.
  • API eksperimental warisan untuk umpan balik pengelogan tidak akan lagi didukung untuk agen yang disebarkan dengan versi terbaru agen databricks. Gunakan API Penilaian MLflow 3 sebagai gantinya.

Tindakan diperlukan:

  • Disarankan: Tingkatkan ke MLflow 3 untuk menggunakan pelacakan real-time, yang menyediakan pengelogan terpadu dengan performa yang lebih baik.
  • Alternatif: Jika Anda harus terus menggunakan MLflow 2, lihat solusi alternatif untuk mempertahankan akses ke data Anda.

Saat Anda menyebarkan agen AI, Databricks membuat tiga tabel inferensi yang secara otomatis menangkap permintaan dan respons ke dan dari agen Anda. Tabel ini membantu Anda memantau performa, men-debug masalah, dan menganalisis umpan balik pengguna.

Tabel inferensi Contoh nama tabel Azure Databricks Isi tabel
Payload {catalog_name}.{schema_name}.{model_name}_payload Muatan data permintaan dan respons JSON mentah
Log permintaan muatan {catalog_name}.{schema_name}.{model_name}_payload_request_logs Permintaan dan respons yang diformat. Pelacakan MLflow.
Berasal dari tabel payload mentah.
Log penilaian muatan {catalog_name}.{schema_name}.{model_name}_payload_assessment_logs Umpan balik yang diformat, seperti yang disediakan di Aplikasi Ulasan, untuk setiap permintaan
Berasal dari tabel payload mentah.
  • Data JSON mentah memasuki tabel payload dalam satu jam setelah agen Anda menerima permintaan.
  • Tabel log permintaan dan log penilaian memproses dan memformat data dari tabel payload. Ini membutuhkan waktu tambahan.
  • Anda dapat mengekstrak dan memproses data secara manual dari tabel payload jika diperlukan.
  • Perubahan pada tabel payload (penghapusan atau pembaruan) tidak disinkronkan secara otomatis ke tabel turunan.

Apa yang berubah?

Databricks tidak lagi secara otomatis mengisi tabel payload_request_logs dan payload_assessment_logs.

Apa yang masih berfungsi: Tabel mentah payload terus menerima data dari permintaan baru.

Migrasi ke MLflow 3 dan gunakan pelacakan real time untuk menyatukan log agen

Databricks sangat merekomendasikan migrasi titik akhir agen untuk menggunakan MLflow 3. Pelacakan real-time MLflow 3 menghilangkan kebutuhan akan tabel terpisah request_logs dan assessment_logs dengan menyatukan semua log agen milik Anda ke dalam satu lokasi pelacakan.

Observabilitas Sistem Legacy Pengamatan MLflow 3
Latensi pengumpulan data 1+ jam <10 detik
Organisasi Data Jejak dan umpan balik pengguna (penilaian) diekstrak ke dalam tabel Unity Catalog terpisah (request_logs dan assessment_logs). Semua data terkait observabilitas Anda, seperti jejak, umpan balik, dan penilaian, dapat dengan mudah diakses dalam eksperimen yang sama.
Kumpulan Umpan Balik Tidak sepenuhnya didukung. Menggunakan API umpan balik eksperimental, yang menempatkan data dalam tabel inferensi payload. MLflow 3 menyediakan API yang disederhanakan untuk menjalankan evaluasi, pelabelan manusia, dan mengelola himpunan data evaluasi.
Monitoring Tidak sepenuhnya didukung. Dukungan terbatas pada pemantauan warisan yang sekarang tidak digunakan lagi, yang terbatas pada hakim dan pedoman bawaan warisan, dan tidak memiliki dukungan metrik kustom.
Pemantauan lama berbasis pada log permintaan payload, yang berarti respons agen Anda akan memakan waktu lebih dari 1 jam untuk dievaluasi.		 Pemantauan terintegrasi secara native dengan MLflow 3, mendukung Penilai apa pun:
  • Penilai Bawaan
  • Penilai kode kustom
  • Hakim Khusus

Termasuk kemampuan isi ulang metrik untuk menerapkan metrik baru secara retroaktif ke jejak historis.
Jejak dibaca dari MLflow untuk evaluasi, mengurangi latensi pemantauan menjadi 15–30 menit.

MLflow 3 melampirkan penilaian ke jejak, lalu mencatat jejak ke server pelacakan MLflow bersama dengan semua payload, respons, dan log langkah menengah. Lihat Label selama pengembangan dan Konsep & model data.

Langkah-langkah migrasi

  1. Tingkatkan ke MLflow 3: Pastikan agen Anda menggunakan MLflow 3.1.3 atau lebih tinggi. Pelacakan akan diaktifkan secara otomatis saat Anda menyebarkan agen dengan MLflow 3.
# Install prerequisites
%pip install mlflow>=3.1.3

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()
  1. Catat agen Anda: Catat agen seperti biasa, pastikan agen memerlukan MLflow 3.1.3 atau lebih tinggi. Kemudian, daftarkan model ke UC.
# Log your agent
with mlflow.start_run():
    logged_agent_info = mlflow.pyfunc.log_model(
        name="my_agent",
        pip_requirements=[
            "mlflow>=3.1.3",
        ],
        ...
    )

# Register your model to UC
uc_registered_model_info = mlflow.register_model(
    model_uri=logged_agent_info.model_uri, name=UC_MODEL_NAME
)
  1. Sebarkan agen Anda: Sebarkan agen seperti biasa. Secara opsional, atur eksperimen MLflow Anda sebelum penerapan untuk mengontrol tempat jejak direkam. Jika Anda tidak melakukan ini, jejak akan dicatat ke eksperimen MLflow yang saat ini aktif.
import mlflow
from databricks import agents

# Set experiment for trace logging
mlflow.set_experiment("/path/to/your/experiment")

# Deploy with automatic tracing
deployment = agents.deploy(uc_model_name, uc_model_info.version)

# Retrieve the query endpoint URL for making API requests
deployment.query_endpoint

Note

MLflow 3 saat ini mendukung hingga 100.000 jejak per titik akhir penyajian. Jika Anda mengantisipasi membutuhkan batas yang lebih tinggi, hubungi tim akun Databricks Anda.

Lihat Agen pelacak yang dideploy di Databricks untuk informasi selengkapnya.

Opsi alternatif untuk terus menggunakan MLflow 2

Important

Metode alternatif MLflow 2 tidak mendukung endpoint yang telah diaktifkan pemantauan agennya. Jika Anda menggunakan pemantauan, Anda harus bermigrasi ke MLflow 3 dan membuat ulang monitor Anda sebagai skorer MLflow 3.

Jika Anda tidak dapat meningkatkan ke MLflow 3, Databricks terus mengisi tabel mentah payload . Namun, Databricks tidak lagi memproses data ini ke dalam tabel payload_requests_logs dan tabel payload_assessment_logs.

Sebagai gantinya, Databricks menghasilkan tampilan atas tabel payload Anda yang menyediakan data berformat yang sama. Anda memiliki dua opsi untuk mengakses data ini. Gunakan tampilan yang disediakan atau buat tampilan termaterialisasi.

Opsi 1: Gunakan tampilan yang disediakan

Metode paling sederhana adalah menggunakan tampilan payload_request_logs_view yang dihasilkan dan payload_assessment_logs_view menggantikan tabel yang tidak digunakan lagi.

Tampilan ini mengkueri tabel payload untuk menyediakan data berformat yang sama, dan mereka segera berfungsi tanpa memerlukan penyiapan.

Secara opsional, ganti nama tampilan agar sesuai dengan nama tabel asli Anda untuk meminimalkan perubahan kode.

Opsi 2: Membuat tampilan materialisasi

Tampilan yang disediakan (payload_request_logs_view dan payload_assessment_logs_view) mengkomputasi data secara real-time dengan menjalankan kueri pada tabel payload. Untuk skenario yang memerlukan tabel Delta fisik, seperti pemantauan real time, buat tampilan materialisasi sebagai gantinya.

Jalankan notebook berikut untuk mengonversi tampilan Anda menjadi tampilan terwujud:

Membuat tampilan materialisasi untuk log inferensi agen

Dapatkan buku catatan

Tanya jawab umum

Apa yang terjadi pada data di log permintaan dan log penilaian saya yang ada?

Data yang ada dalam tabel inferensi Anda akan terus dapat diakses. Namun, setelah 4 Desember 2025, tidak ada data baru yang akan diisi ke dalam request_logs tabel dan assessment_logs .

Apakah penerapan agen saya mengalami kerusakan?

Tidak, penyebaran agen lama Anda terus berfungsi, dan tabel inferensi payload Anda terus diisi. Namun, setelah tanggal penghentian, Anda tidak akan menerima data dalam tabel request_logs dan assessment_logs. Gunakan tampilan yang disediakan atau migrasikan ke MLflow 3 untuk mempertahankan fungsionalitas yang setara.

Jika Anda memerlukan bantuan terkait migrasi, hubungi tim dukungan Databricks Anda.

Sumber daya tambahan

  • Last updated on