Menyebarkan agen untuk aplikasi AI generatif (Model Serving)

Important

Untuk kasus penggunaan baru, Databricks merekomendasikan penyebaran agen di Databricks Apps untuk kontrol penuh atas kode agen, konfigurasi server, dan alur kerja penyebaran. Lihat Menulis agen AI dan menyebarkannya di Aplikasi Databricks. Untuk memigrasikan agen yang ada, lihat Memigrasikan agen dari Model Melayani ke Aplikasi Databricks.

Sebarkan agen AI Anda di Mosaic AI Model Serving menggunakan fungsi deploy() dari Agent Framework Python API. Penyebaran membuat titik akhir penyajian dengan alat skalabilitas, pemantauan, dan kolaborasi bawaan.

Agen yang Anda sebarkan secara otomatis terintegrasi dengan kemampuan evaluasi dan pemantauan MLflow 3 , termasuk pelacakan real time, Aplikasi Ulasan untuk umpan balik pemangku kepentingan, dan pemantauan.

Requirements

MLflow 3

  • Daftarkan agen Anda di Katalog Unity.
  • Instal MLflow 3.1.3 atau lebih tinggi untuk menyebarkan agen menggunakan deploy() API dari databricks.agents.
  • Menyebarkan agen dari luar notebook Databricks memerlukan databricks-agents SDK versi 1.1.0 atau lebih tinggi.

Instal prasyarat:

# Install prerequisites
%pip install mlflow>=3.1.3 databricks-agents>=1.1.0

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()

MLflow 2.x

Important

Databricks merekomendasikan penggunaan MLflow 3 untuk menyebarkan agen karena beberapa fungsionalitas pengelogan MLflow 2 tidak akan digunakan lagi. Lihat tindakan penyebaran terperinci.

  • Daftarkan agen Anda di Katalog Unity.
  • Instal MLflow 2.13.1 atau lebih tinggi untuk menyebarkan agen menggunakan deploy() API dari databricks.agents.
  • Menyebarkan agen dari luar notebook Databricks memerlukan databricks-agents SDK versi 0.12.0 atau lebih tinggi.

Instal prasyarat:

# Install prerequisites
%pip install mlflow>=2.13.1 databricks-agents>=0.12.0

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()

Menyebarkan agen menggunakan deploy()

Sebarkan agen Anda ke endpoint yang melayani model:

from databricks import agents

deployment = agents.deploy(uc_model_name, uc_model_info.version)

# Retrieve the query endpoint URL for making API requests
deployment.query_endpoint

Saat Anda memanggil deploy(), Databricks secara otomatis menyiapkan infrastruktur produksi dan mengintegrasikan agen Anda dengan fitur MLflow gen AI dengan melakukan hal berikut:

Peringatan

Jika Anda menyebarkan agen dari buku catatan yang disimpan di folder Databricks Git, pelacakan real time MLflow 3 tidak akan berfungsi secara default.

Untuk mengaktifkan pelacakan real-time, atur eksperimen ke eksperimen terkait non-Git menggunakan mlflow.set_experiment() sebelum menjalankan agents.deploy().

Fungsi deploy() melakukan tindakan berikut secara default:

  • Membuat model yang melayani titik akhir untuk menghosting agen Anda dengan penskalaan otomatis dan penyeimbangan beban
  • Menyediakan autentikasi aman bagi agen Anda untuk mengakses sumber daya yang mendasar
  • Memungkinkan pemantauan real time melalui pelacakan eksperimen MLflow dan penilaian kualitas otomatis pada lalu lintas produksi
  • Menyiapkan kolaborasi pemangku kepentingan menggunakan Aplikasi Ulasan untuk pengumpulan umpan balik

Untuk informasi selengkapnya, lihat Tindakan penyebaran terperinci.

Menyesuaikan penyebaran

Teruskan argumen tambahan ke deploy() untuk menyesuaikan penyebaran. Misalnya, Anda dapat mengaktifkan skala ke nol untuk titik akhir yang tidak aktif dengan meneruskan scale_to_zero_enabled=True. Ini mengurangi biaya tetapi meningkatkan waktu untuk melayani kueri awal.

Untuk parameter lainnya, lihat Databricks Agents Python API.

Mengambil dan menghapus penyebaran agen

Mengambil atau mengelola penyebaran agen yang ada. Lihat Databricks Agents Python API.

from databricks.agents import list_deployments, get_deployments, delete_deployment

# Print all current deployments
deployments = list_deployments()
print(deployments)

# Get the deployment for a specific agent model name and version
agent_model_name = ""    # Set to your Unity Catalog model name
agent_model_version = 1  # Set to your agent model version
deployment = get_deployments(model_name=agent_model_name, model_version=agent_model_version)

# List all deployments
all_deployments = list_deployments()

# Delete an agent deployment
delete_deployment(model_name=agent_model_name, model_version=agent_model_version)

Autentikasi untuk sumber daya bergantung

Agen sering kali perlu mengautentikasi ke sumber daya lain untuk menyelesaikan tugas saat disebarkan. Misalnya, agen mungkin perlu mengakses indeks Pencarian Vektor untuk mengkueri data yang tidak terstruktur.

Untuk informasi tentang metode autentikasi termasuk kapan harus menggunakannya dan cara menyiapkannya, lihat Autentikasi untuk agen AI (Model Melayani).

Jaringan untuk penyebaran agen

Jika ruang kerja Anda menggunakan Private Link dan kebijakan jaringan egress terbatas, Anda harus mengonfigurasi akses jaringan supaya penyebaran agen berhasil. Model yang melayani titik akhir memerlukan akses keluar untuk mengunduh dependensi selama proses build kontainer. Agen mungkin juga perlu menjangkau API eksternal saat runtime.

Untuk agen yang disebarkan di Aplikasi Databricks, lihat Menyebarkan aplikasi di lingkungan Private Link untuk panduan rinci mengenai pengaturan kebijakan DNS atau kebijakan keluaran.

Untuk agen yang disebarkan di Model Serving, verifikasi hal berikut:

  • Dependensi saat build: Kebijakan jaringan Anda harus memungkinkan akses ke repositori paket yang diperlukan oleh lingkungan agen Anda, seperti pypi.org atau files.pythonhosted.org untuk paket Python. Azure Databricks mencatat kegagalan build yang disebabkan oleh pemblokiran akses jaringan dengan network_source_type: ML Build di tabel sistem system.access.outbound_network. Lihat Memvalidasi dengan penyajian model.
  • Dependensi runtime: Jika agen Anda memanggil API atau layanan eksternal selama inferensi, tambahkan domain tersebut ke daftar izin kebijakan jaringan Anda.
  • Resolusi DNS: Di lingkungan Private Link, verifikasi bahwa agen Anda dapat melakukan resolusi nama host layanan Azure Databricks apa pun yang diperlukan, seperti *Vector Search* atau *titik akhir SQL warehouse*.

Tindakan penyebaran terperinci

Tabel berikut ini mencantumkan tindakan penyebaran terperinci yang merupakan hasil dari panggilan deploy(). Penyebaran dapat memakan waktu hingga 15 menit untuk selesai.

MLflow 3

deploy() perbuatan Description
Membuat titik akhir penyajian model Membuat endpoint REST API yang dapat diskalakan untuk menyajikan agen Anda kepada aplikasi yang berhadapan dengan pengguna dengan penyeimbangan beban otomatis.
Mengimplementasikan autentikasi yang aman Secara otomatis menyediakan kredensial berumur pendek yang memungkinkan agen Anda mengakses sumber daya yang dikelola Databricks (indeks Pencarian Vektor, fungsi Katalog Unity, dll.) dengan izin minimum yang diperlukan.
Databricks memverifikasi pemilik titik akhir memiliki izin yang tepat sebelum mengeluarkan kredensial, mencegah akses yang tidak sah.
Untuk sumber daya non-Databricks, teruskan variabel lingkungan dengan rahasia ke deploy(). Lihat Mengonfigurasi akses ke sumber daya dari titik akhir penyajian model.
Aktifkan Tinjau Aplikasi Menyediakan antarmuka web tempat pemangku kepentingan dapat berinteraksi dengan agen Anda dan memberikan umpan balik. Lihat Mengumpulkan umpan balik dan harapan dengan melabeli jejak yang ada.
Mengaktifkan pelacakan real time Mencatat semua interaksi agen ke eksperimen MLflow secara real time, memberikan visibilitas langsung untuk pemantauan dan penelusuran kesalahan.
  • Jejak dari titik akhir Anda dicatat ke dalam eksperimen MLflow yang aktif saat ini (ditetapkan dengan mlflow.set_experiment())
  • Semua agen di titik akhir berbagi eksperimen yang sama untuk penyimpanan pelacakan
  • Jejak juga menulis ke tabel inferensi untuk penyimpanan jangka panjang
Mengaktifkan pemantauan produksi (beta) Mengonfigurasi evaluasi kualitas otomatis yang menjalankan pengukur pada lalu lintas produksi. Lihat pemantauan produksi.
Mengaktifkan tabel inferensi Membuat tabel yang mencatat input dan respons permintaan untuk audit dan analisis.
Mencatat permintaan REST API dan Meninjau umpan balik Aplikasi Mencatat permintaan API dan umpan balik ke tabel inferensi.
Peringatan:Model umpan balik tidak digunakan lagi dan akan dihapus dalam rilis mendatang. Tingkatkan ke MLflow 3 dan gunakan API sebagai gantinya log_feedback . Lihat Mengumpulkan umpan balik pengguna.
  • Buat model umpan balik untuk menerima dan mencatat umpan balik dari Aplikasi Ulasan.
  • Model ini dijalankan pada titik akhir pelayan model CPU yang sama dengan agen yang telah Anda sebarkan.

MLflow 2

deploy() perbuatan Description
Membuat titik akhir penyajian model Membuat endpoint REST API yang dapat diskalakan untuk menyajikan agen Anda kepada aplikasi yang berhadapan dengan pengguna dengan penyeimbangan beban otomatis.
Mengimplementasikan autentikasi yang aman Secara otomatis menyediakan kredensial berumur pendek yang memungkinkan agen Anda mengakses sumber daya yang dikelola Databricks (indeks Pencarian Vektor, fungsi Katalog Unity, dll.) dengan izin minimum yang diperlukan.
Databricks memverifikasi pemilik titik akhir memiliki izin yang tepat sebelum mengeluarkan kredensial, mencegah akses yang tidak sah.
Untuk sumber daya non-Databricks, teruskan variabel lingkungan dengan rahasia ke deploy(). Lihat Mengonfigurasi akses ke sumber daya dari titik akhir penyajian model.
Aktifkan Tinjau Aplikasi Menyediakan antarmuka web tempat pemangku kepentingan dapat berinteraksi dengan agen Anda dan memberikan umpan balik. Lihat Mengumpulkan umpan balik dan harapan dengan melabeli jejak yang ada.
Mengaktifkan tabel inferensi Membuat tabel yang mencatat input dan respons permintaan untuk audit dan analisis.
Peringatan: Log permintaan dan log penilaian tidak digunakan lagi dan akan dihapus dalam rilis mendatang. Lihat penghentian log permintaan dan log penilaian untuk panduan migrasi.
Mencatat permintaan REST API dan Meninjau umpan balik Aplikasi (tidak digunakan lagi) Mencatat permintaan API dan umpan balik ke tabel inferensi.
Peringatan:Model umpan balik tidak digunakan lagi dan akan dihapus dalam rilis mendatang. Tingkatkan ke MLflow 3 dan gunakan API sebagai gantinya log_feedback . Lihat Mengumpulkan umpan balik pengguna.
  • Buat model umpan balik untuk menerima dan mencatat umpan balik dari Aplikasi Ulasan.
  • Model ini dijalankan pada titik akhir pelayan model CPU yang sama dengan agen yang telah Anda sebarkan.

Langkah selanjutnya

  • Last updated on