Model umpan balik (tidak digunakan lagi)

Penting

Untuk kasus penggunaan baru, Databricks merekomendasikan penyebaran agen di Databricks Apps untuk kontrol penuh atas kode agen, konfigurasi server, dan alur kerja penyebaran. Lihat Menulis agen AI dan menyebarkannya di Aplikasi Databricks. Untuk memigrasikan agen yang ada, lihat Memigrasikan agen dari Model Melayani ke Aplikasi Databricks.

Penting

Pemberitahuan penghentian: Model umpan balik telah dihentikan per 4 Desember 2025 dan tidak lagi didukung dalam versi terbaru databricks-agents.

Tindakan diperlukan: Gunakan MLflow 3 untuk mencatat model 3 Anda sebagai gantinya. Kemudian gunakan log_feedback API dan API Penilaian MLflow 3 sebagai gantinya untuk mengumpulkan umpan balik.

Model umpan balik memungkinkan Anda mengumpulkan umpan balik secara terprogram tentang respons agen. Saat Anda menyebarkan agen menggunakan agents.deploy(), Databricks secara otomatis membuat titik akhir model umpan balik bersama agen Anda.

Titik akhir ini menerima umpan balik terstruktur (peringkat, komentar, penilaian) dan mencatatnya ke tabel inferensi. Namun, pendekatan ini telah digantikan oleh kemampuan umpan balik MLflow 3 yang lebih kuat.

Migrasi ke MLflow 3

Alih-alih menggunakan model umpan balik yang tidak digunakan lagi, migrasikan ke MLflow 3 untuk umpan balik komprehensif dan kemampuan penilaian:

  • Pengelogan penilaian kelas utama dengan validasi dan penanganan kesalahan yang kuat
  • Integrasi pelacakan real time untuk visibilitas umpan balik langsung
  • Tinjau Integrasi aplikasi dengan fitur kolaborasi pemangku kepentingan yang ditingkatkan
  • Dukungan pemantauan produksi dengan penilaian kualitas otomatis

Untuk memigrasikan beban kerja yang ada ke MLflow 3:

  1. Tingkatkan ke MLflow 3.1.3 atau lebih tinggi di lingkungan pengembangan Anda:

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. Aktifkan Aplikasi Tinjau untuk pengumpulan umpan balik pemangku kepentingan.

  3. Ganti panggilan API umpan balik dengan pencatatan penilaian MLflow 3.

  4. Sebarkan agen Anda dengan MLflow 3:

    • Pelacakan real-time secara otomatis menangkap semua interaksi
    • Penilaian dilampirkan langsung pada jejak untuk keterlihatan terpadu

  5. Menyiapkan pemantauan produksi (opsional):

Cara kerja API umpan balik (tidak digunakan lagi)

Model umpan balik mengekspos titik akhir REST yang menerima umpan balik terstruktur tentang respons agen. Anda akan mengirim umpan balik melalui permintaan POST ke titik akhir umpan balik setelah agen Anda memproses permintaan.

Contoh permintaan umpan balik:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

Anda dapat meneruskan pasangan kunci-nilai tambahan atau berbeda pada bidang text_assessments.ratings dan retrieval_assessments.ratings untuk memberikan berbagai jenis umpan balik. Dalam contoh, muatan umpan balik menunjukkan bahwa respons agen terhadap permintaan dengan ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 sudah benar, akurat, dan berdasarkan konteks yang diambil oleh alat retriever.

Batasan API Umpan Balik

API umpan balik eksperimental memiliki beberapa batasan:

  • Tidak ada validasi input; API selalu berhasil merespons, bahkan dengan input yang tidak valid
  • ID permintaan Databricks yang diperlukan: Anda perlu meneruskan databricks_request_id dari permintaan agen asli
  • Dependensi tabel inferensi: Umpan balik dikumpulkan menggunakan tabel inferensi dengan batasan inherennya
  • Penanganan kesalahan terbatas: Tidak ada pesan kesalahan yang bermakna untuk pemecahan masalah

Untuk mendapatkan yang diperlukan databricks_request_id, Anda harus menyertakan {"databricks_options": {"return_trace": True}} dalam permintaan asli Anda ke agen yang melayani titik akhir.

Langkah berikutnya

  • Last updated on