Kelola API model (layanan model)

Note

Unity AI Gateway tidak didukung di Azure Government.

API model memberi Anda akses yang diatur ke model bahasa besar. Kirim permintaan, dapatkan respons, tanpa infrastruktur yang harus dijalankan. Secara default, setiap pengguna akun dapat melakukan query ke API model yang disediakan sistem dalam system.ai skema tanpa pengaturan. Ini adalah model dasar yang dilayani secara native oleh Azure Databricks, ditagih per token.

Di Azure Databricks, model API adalah objek yang dapat diamankan oleh Unity Catalog (layanan model) yang mewakili endpoint LLM yang diatur. Karena Unity Catalog menyimpannya, Anda mendefinisikan, membagikan, dan mengatur akses secara terpusat, bersama data Anda, dan lintas batas workspace. Untuk mengatur model tambahan atau mengekspos endpoint kustom, Anda membuat API model Anda sendiri.

API model mendukung hal-hal berikut:

  • Azure Databricks melayani model dasar pay-per-token, sebagai layanan yang disediakan sistem dalam system.ai dan sebagai layanan yang Anda buat.
  • Membuat dan mengelola API model dengan Unity AI Gateway UI, Catalog Explorer, dan Unity Catalog REST API.
  • Melakukan query API model di seluruh workspace, dari dalam dan luar Azure Databricks.

Apa itu layanan model?

Layanan model berada dalam skema Unity Catalog dan merujuk pada satu atau lebih tujuan, dengan routing dan fallback di antara keduanya. Penelepon memanggil layanan model dengan nama yang lengkap dan Unity AI Gateway mengarahkan setiap permintaan ke tujuan. Sebuah destinasi dapat berupa model Azure Databricks-served atau layanan penyedia model yang mengarahkan ke penyedia eksternal, dan satu layanan model dapat menggabungkan keduanya.

Karena layanan model merupakan objek yang dapat diamankan di Unity Catalog, layanan ini:

  • Berada dalam katalog dan skema, dan mewarisi pengaturan skema seperti pengikatan ruang kerja.
  • Membawa metadata Unity Catalog standar, seperti nama, pemilik, komentar, dan tag.
  • Diatur oleh hak akses Unity Catalog, sehingga Anda memberikan akses menggunakan pernyataan GRANT dan REVOKE yang sama seperti yang Anda gunakan untuk tabel, fungsi, dan model.
  • Dapat ditemukan di Catalog Explorer, bersama dengan aset Unity Catalog Anda lainnya.

Layanan model yang sama juga muncul sebagai titik akhir di antarmuka pengguna Unity AI Gateway, di mana tim AI dapat mengonfigurasi fitur seperti batas laju, tabel inferensi, dan pagar pembatas. Untuk informasi selengkapnya tentang fitur tersebut, lihat Tata kelola AI dengan Unity AI Gateway.

Mengapa mengatur LLM di Katalog Unity?

Titik akhir Unity AI Gateway yang dibuat di ruang kerja dibatasi pada ruang kerja tersebut. Untuk berbagi titik akhir di seluruh ruang kerja, Anda harus menduplikasinya di setiap ruang kerja dan mengelola setiap salinan secara terpisah.

Layanan model memindahkan tata kelola ke Unity Catalog, sehingga Anda dapat:

  • Tetapkan endpoint LLM sekali dan gunakan di ruang kerja mana pun yang terhubung ke metastore yang sama.
  • Mengatur akses secara terpusat menggunakan hak istimewa Katalog Unity, alih-alih izin per ruang kerja.
  • Temukan model yang tersedia untuk Anda di seluruh ruang kerja dari satu lokasi.
  • Lacak penggunaan dan biaya untuk layanan model dalam tabel sistem Unity Catalog.

Layanan model bawaan sistem

Azure Databricks menyediakan layanan model siap pakai dalam system.ai skema untuk setiap model foundation yang dilayani Azure Databricks, seperti system.ai.databricks-claude-opus-5. Azure Databricks menambahkan layanan model sistem baru saat model fondasi baru tersedia.

Layanan model yang disediakan sistem memiliki karakteristik berikut:

  • Secara bawaan, semua pengguna akun memiliki hak istimewa EXECUTE, sehingga Anda dapat membuat kueri terhadap pengguna tersebut tanpa pengaturan tambahan.
  • Pengguna sistem memilikinya, dan Anda tidak dapat menghapusnya.
  • Secara default, hanya administrator metastore yang dapat mengubahnya. Administrator metastore dapat mendelegasikan manajemen dengan memberikan MANAGE hak istimewa.

Untuk membatasi akses ke layanan model yang disediakan sistem, lihat mengatur layanan model.

Hak istimewa

Layanan model menggunakan model izin standar Unity Catalog. Hak istimewa berikut berlaku:

Hak istimewa Description
USE CATALOG, USE SCHEMA Akses katalog dan skema yang berisi layanan model. Diperlukan untuk semua operasi.
CREATE SERVICE Membuat layanan model dalam skema. Diberikan pada katalog atau skema.
EXECUTE Mengkueri layanan model.
MANAGE Ubah atau hapus layanan model dan kelola hibahnya. Pemilik memiliki sebuah superset dari MANAGE.

Layanan model menggunakan hak istimewa definer. Azure Databricks mengevaluasi kueri berdasarkan hak milik pemilik, bukan hak milik penelepon. Ketika pengguna melakukan query pada layanan model, Azure Databricks memeriksa bahwa pemilik memiliki EXECUTE pada tujuan yang direferensikan, seperti model dasar dan layanan penyedia model apa pun. Penelepon tidak perlu akses langsung ke tujuan-tujuan tersebut.

Limitations

Kemampuan berikut tidak didukung:

  • Model throughput yang disediakan sebagai tujuan.
  • Membuat dan mengelola layanan model dengan SQL.
  • Menemukan layanan model hanya dengan hak istimewa BROWSE.
  • Pencarian global untuk layanan model.

Langkah berikutnya

  • Last updated on