Bagikan melalui

Apa itu Pemantauan Lakehouse untuk kecerdasan buatan generatif? (MLflow 2)

Penting

Fitur ini ada di Beta.

Penting

Halaman ini menjelaskan penggunaan versi 0.22 Agent Evaluation dengan MLflow 2. Databricks merekomendasikan penggunaan MLflow 3, yang terintegrasi dengan >1.0 Evaluasi Agen. Di MLflow 3, API Evaluasi Agen sekarang menjadi bagian mlflow dari paket.

Untuk informasi tentang topik ini, lihat Pemantauan kualitas produksi (penilai berjalan secara otomatis).

Halaman ini menjelaskan cara memantau aplikasi AI generatif menggunakan Lakehouse Monitoring for GenAI. Pemantauan Lakehouse terintegrasi erat dengan Evaluasi Agen sehingga Anda dapat menggunakan konfigurasi evaluasi yang sama (hakim LLM dan metrik kustom) dalam evaluasi offline dan pemantauan online.

Anda dapat memantau aplikasi AI gen yang disebarkan menggunakan Mosaic AI Agent Framework atau yang disebarkan di luar Databricks.

Pemantauan Lakehouse untuk AI generatif membantu Anda melacak metrik operasional seperti volume, latensi, kesalahan, dan biaya, serta metrik kualitas seperti kebenaran dan kepatuhan terhadap pedoman, dengan menggunakan Agen Mosaik Evaluasi AI.

Pemantauan Lakehouse untuk AI Generasi Berikutnya Pahlawan Antarmuka

Ikhtisar produk

Lakehouse Monitoring for GenAI menggunakan MLflow Tracing, standar terbuka untuk pemantauan GenAI berdasarkan Open Telemetry, untuk mengaktifkan dan menangkap log produksi dari aplikasi GenAI Anda. Untuk menggunakan pemantauan, pertama-tama siapkan aplikasi GenAI Anda dengan MLflow Tracing.

Pemantauan dirancang untuk:

  1. Membantu Anda mengidentifikasi masalah kualitas dan performa (biaya, latensi) di agen produksi Anda
    • Menjalankan LLM judges secara otomatis untuk menilai kualitas agen produksi milik Anda
    • Lihat dasbor dengan metrik tentang kualitas agen produksi Anda
    • Meninjau jejak secara individu (misalnya, permintaan dari pengguna)
  2. Pindahkan jejak yang kurang baik ke dalam siklus pengembangan Anda untuk secara iteratif menguji perbaikan terhadap masalah yang telah diidentifikasi.
    • Menambahkan jejak individual ke Himpunan Data Evaluasi untuk digunakan dengan Evaluasi Agen
    • Mengirim jejak individual ke Aplikasi Ulasan untuk mengumpulkan label kebenaran dasar dari pakar materi pelajaran

Diagram di bawah ini mengilustrasikan alur kerja yang didukung oleh pemantauan.

Pemantauan alur kerja

Nota

Alur kerja ini juga berlaku untuk aplikasi pra-produksi yang digunakan oleh penguji beta.

Persyaratan

Untuk memantau aplikasi yang disebarkan menggunakan Mosiac AI Agent Framework:

  • Pekerjaan tanpa server harus diaktifkan.
  • Untuk menggunakan metrik LLM Judge, fitur bantuan AI yang didukung Mitra harus diaktifkan. Metrik lain, seperti latensi, didukung terlepas dari pengaturan ini.
  • Fitur ini tidak didukung di ruang kerja yang mengaktifkan kontrol keluar tanpa server .

Keterbatasan

Penting

  • Pemantauan online saat ini berada di Beta. Hanya ruang kerja tertentu yang dapat menggunakan produk Beta.
  • Fitur berikut saat ini tidak tersedia dalam rilis Beta publik:
    • Pengelogan umpan balik pengguna
    • Metrik khusus

Jika Anda perlu menggunakan fitur-fitur ini ATAU ruang kerja Anda saat ini tidak diaktifkan untuk Monitoring Beta, silakan hubungi perwakilan akun Databricks Anda untuk akses.

Menyiapkan pemantauan

Pemantauan agen mendukung agen yang menggunakan Mosaic AI Agent Framework dan aplikasi AI generatif yang dioperasikan di luar Databricks. Langkah-langkah yang Anda ikuti bergantung pada jenis aplikasi yang perlu Anda pantau. Untuk detailnya, lihat yang berikut ini: