Tambahkan resource layanan model Unity Gateway ke aplikasi Databricks

Important

Fitur ini ada di Pratinjau Umum.

Tambahkan layanan model Unity Gateway sebagai sumber daya Databricks Apps sehingga aplikasi Anda dapat mengirim permintaan inferensi, termasuk chat, penyelesaian, dan embedding, ke model AI yang diatur dalam Unity Catalog. Layanan model Unity Gateway mencakup model dasar bayar-per-token yang tersedia di bawah system.ai, serta layanan model yang Anda buat.

Note

Atribusi pemakaian untuk layanan model Unity Gateway hanya akurat untuk Aplikasi Databricks standar. Aplikasi yang berjalan di lingkungan micro VM, seperti aplikasi pembuat aplikasi Genie, tidak melaporkan atribusi penggunaan yang akurat.

Lihat pelacakan penggunaan Unity Gateway.

Persyaratan hak istimewa

Untuk mengakses layanan model Unity Gateway, prinsipal layanan aplikasi harus memiliki USE CATALOG hak istimewa pada katalog induk, USE SCHEMA hak istimewa pada skema induk, dan EXECUTE hak istimewa pada layanan model. Ketika Anda menambahkan sumber daya layanan model, Azure Databricks secara otomatis memberikan hak istimewa ini kepada prinsipal layanan aplikasi.

Agar pemberian otomatis ini berhasil, salah satu hal berikut harus benar untuk setiap hak istimewa:

  • Untuk USE CATALOG: Semua pengguna akun memiliki USE CATALOG hak istimewa pada katalog, atau Anda memiliki MANAGE hak istimewa pada katalog.
  • Untuk USE SCHEMA: Semua pengguna akun memiliki USE SCHEMA hak istimewa pada skema, atau Anda memiliki MANAGE hak istimewa pada skema.
  • Untuk EXECUTE: Semua pengguna akun memiliki hak istimewa EXECUTE pada layanan model, atau Anda memiliki hak istimewa MANAGE pada layanan model.

Lihat Referensi hak istimewa Katalog Unity.

Tambahkan sumber daya layanan model Unity Gateway

Sebelum Anda menambahkan layanan model Unity Gateway sebagai sumber daya, tinjau prasyarat sumber daya aplikasi.

  1. Di bagian sumber daya aplikasi saat Anda membuat atau mengedit aplikasi, klik + Tambah sumber daya>Model.
  2. Di resource picker, pilih layanan model dari bagian Unity Gateway . Pemilih juga mencantumkan endpoint penyajian khusus di bawah bagian Serving Endpoints . Untuk menghubungkan salah satu endpoint ini, lihat Tambahkan model serving endpoint resource ke aplikasi Databricks. Untuk menggunakan model dasar bayar-per-token, pilih layanan model dari katalog system.ai.
  3. Pilih tingkat izin untuk aplikasi Anda:
    • Dapat menjalankan: Memberikan hak istimewa kepada service principal aplikasiEXECUTE untuk mengirim permintaan inferensi ke layanan model. Ini adalah satu-satunya tingkat izin yang tersedia untuk layanan model.
  4. (Opsional) Tentukan kunci sumber daya kustom, yaitu cara Anda mereferensikan layanan model dalam konfigurasi aplikasi Anda. Kunci defaultnya adalah model.

Konfigurasikan dengan Databricks Asset Bundles

Jika Anda mendefinisikan aplikasi menggunakan Bundle Automasi Deklaratif, tambahkan layanan model sebagai uc_securable sumber daya dalam konfigurasi bundle Anda:

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

Untuk informasi tentang sumber daya aplikasi di Bundel Otomasi Deklaratif, lihat app.resources.

Variabel lingkungan

Saat Anda menerapkan aplikasi dengan sumber daya layanan model Unity Gateway, Azure Databricks menampilkan nama lengkap tiga bagian Unity Catalog dari layanan model melalui variabel lingkungan yang dapat Anda referensikan menggunakan field valueFrom.

Konfigurasi contoh:

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

Bidang valueFrom direpresentasikan sebagai nama lengkap tiga bagian Unity Catalog dari layanan model (misalnya, system.ai.databricks-dbrx-instruct). Gunakan nama ini saat memanggil layanan model melalui Azure Databricks SDK atau Unity Gateway REST API.

Untuk informasi selengkapnya, lihat Menggunakan variabel lingkungan untuk mengakses sumber daya.

Hapus sumber daya layanan model Unity Gateway

Ketika Anda menghapus sumber daya layanan model Unity Gateway dari aplikasi, prinsipal layanan aplikasi kehilangan EXECUTE hak istimewa pada layanan model tersebut. Layanan model itu sendiri tetap tidak berubah dan tetap tersedia untuk pengguna dan aplikasi lain yang memiliki izin yang sesuai.

Praktik terbaik

Pertimbangkan hal-hal berikut saat Anda bekerja dengan sumber daya layanan model Unity Gateway:

  • EXECUTE adalah satu-satunya tingkat izin yang tersedia. Ini memberikan akses kepada aplikasi untuk mengirim permintaan inferensi dan tidak memberikan hak administratif pada layanan model.
  • Untuk menggunakan model dasar bayar-per-token tanpa pengaturan tambahan, pilih layanan model dari system.ai katalog.
  • Variabel lingkungan diuraikan menjadi nama lengkap Unity Catalog yang terdiri dari tiga bagian (catalog.schema.model_service). Gunakan nilai ini saat memanggil layanan model melalui Azure Databricks SDK atau REST API.
  • Tangani kesalahan inferensi dan batas laju dalam kode aplikasi Anda. Unity Gateway menegakkan batas laju dan pagar pengaman yang dikonfigurasi pada setiap layanan model.
  • Pemilih sumber daya Model juga mencantumkan endpoint penyajian model klasik, yang dikelompokkan di bawah bagian Endpoint Penyajian. Layanan model dan endpoint yang melayani dapat hidup berdampingan dalam satu aplikasi.
  • Terakhir diperbarui pada