Unity AI Gateway untuk melayani titik akhir

Penting

Pengalaman Unity AI Gateway baru tersedia di Beta. Unity AI Gateway baru adalah sarana kontrol perusahaan untuk mengatur titik akhir LLM dan agen pengkodan dengan fitur yang ditingkatkan. Lihat Unity AI Gateway untuk titik akhir LLM.

Halaman ini menjelaskan Unity AI Gateway untuk melayani titik akhir, yang mengatur dan memantau akses ke model AI generatif yang didukung dan titik akhir penyajian model terkait.

Apa itu Unity AI Gateway untuk melayani titik akhir?

Unity AI Gateway dirancang untuk menyederhanakan penggunaan dan manajemen model dan agen AI generatif dalam organisasi. Ini adalah layanan terpusat yang membawa tata kelola, pemantauan, dan kesiapan produksi untuk memodelkan titik akhir penyajian. Ini juga memungkinkan Anda untuk menjalankan, mengamankan, dan mengatur lalu lintas AI untuk mendemokratisasi dan mempercepat adopsi AI untuk organisasi Anda.

Semua data masuk ke tabel Delta di Unity Catalog.

Untuk mulai memvisualisasikan wawasan dari data Unity AI Gateway Anda, unduh dasbor example Unity AI Gateway dari GitHub. Dashboard ini memanfaatkan data dari tabel inferensi pelacakan penggunaan dan pencatatan payload.

Setelah Anda mengunduh file JSON, impor dasbor ke ruang kerja Anda. Untuk petunjuk tentang mengimpor dasbor, lihat Mengimpor file dasbor.

Fitur yang didukung

Penting

Unity AI Gateway baru memiliki antarmuka pengguna yang kaya, pengamatan yang lebih baik, dan cakupan API yang diperluas untuk LLM, termasuk model external dan API Model Foundation berbasis token. Sebaiknya gunakan Unity AI Gateway untuk membuka kunci kemampuan baru ini.

Tabel berikut menentukan fitur Unity AI Gateway yang tersedia dan model mana yang melayani jenis titik akhir yang mendukungnya.

Fitur	Definition	titik akhir model eksternal	Api Model Fondasi titik akhir bayar per token	Foundation Model API menyediakan titik akhir throughput	Mosaic AI agen	Titik akhir model kustom
Tersedia di Unity AI Gateway	Gunakan fitur Unity AI Gateway yang disempurnakan. Lihat Unity AI Gateway untuk titik akhir LLM.	Didukung	Didukung	Tidak didukung	Tidak didukung	Tidak didukung
Izin dan pembatasan tarif	Mengontrol siapa yang memiliki akses dan berapa banyak akses.	Didukung	Didukung	Didukung	Tidak didukung	Didukung
Pencatatan beban	Pantau dan audit data yang dikirim ke API model menggunakan tabel inferensi .	Didukung	Didukung	Didukung	Didukung	Didukung
Pelacakan penggunaan	Pantau penggunaan operasional pada titik akhir dan biaya terkait menggunakan tabel sistem .	Didukung	Didukung	Didukung	Tidak didukung	Didukung
Pagar Pembatas AI	Mencegah data yang tidak diinginkan dan tidak aman dalam permintaan dan respons. Lihat Pagar Pembatas AI.	Didukung	Didukung	Didukung	Tidak didukung	Tidak didukung
Fallback	Minimalkan pemadaman produksi selama dan setelah penyebaran.	Didukung	Tidak didukung	Tidak didukung	Tidak didukung	Tidak didukung
Pembagian lalu lintas	Distribusikan beban lalu lintas di antara model-model.	Didukung	Tidak didukung	Didukung	Tidak didukung	Didukung

Unity AI Gateway dikenakan biaya berdasarkan fitur yang diaktifkan. Fitur berbayar termasuk pengelogan payload dan pelacakan penggunaan. Fitur seperti izin kueri, pembatasan laju, solusi cadangan, dan pembagian lalu lintas tersedia tanpa biaya. Setiap fitur baru dikenakan biaya.

Pembatas AI

Penting

Fitur ini ada di Pratinjau Umum.

Pengaman AI memungkinkan pengguna untuk mengonfigurasi dan menerapkan kepatuhan data pada tingkat titik akhir model dan untuk mengurangi potensi konten berbahaya pada permintaan apa pun yang dikirim ke model dasar. Permintaan dan respons buruk diblokir dan pesan default dikembalikan kepada pengguna. Lihat cara mengonfigurasi pagar pembatas pada endpoint penyajian model.

Penting

Layanan moderasi Pagar Pembatas AI memiliki dependensi pada model API Foundation yang berbasis pembayaran per token. Dependensi ini membatasi ketersediaan layanan moderasi AI Guardrails ke wilayah yang mendukung API Model Foundation bayar per token.

Tabel berikut ini meringkas pagar pembatas yang dapat dikonfigurasi. Lihat Batasan.

Guardrail	Definition
Pemfilteran keamanan	Pemfilteran keamanan mencegah model Anda berinteraksi dengan konten yang tidak aman dan berbahaya, seperti kejahatan kekerasan, melukai diri sendiri, dan ujaran kebencian. Filter keamanan Unity AI Gateway dibangun dengan Meta Llama 3. Databricks menggunakan Llama Guard 2-8b sebagai filter keamanan. Untuk mempelajari selengkapnya tentang filter keamanan Llama Guard dan topik apa yang berlaku untuk filter keamanan, lihat kartu model Meta Llama Guard 2 8B. Meta Llama 3 dilisensikan berdasarkan LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Hak cipta dilindungi. Pelanggan bertanggung jawab untuk memastikan kepatuhan terhadap lisensi model yang berlaku.
Deteksi informasi identitas pribadi (PII)	Pelanggan dapat mendeteksi informasi sensitif seperti nomor kartu kredit untuk pengguna. Untuk fitur ini, Unity AI Gateway menggunakan Presidio untuk mendeteksi kategori PII A.S. berikut: nomor kartu kredit, alamat email, nomor telepon, nomor rekening bank, dan nomor jaminan sosial. Pengklasifikasi PII dapat membantu mengidentifikasi informasi sensitif atau PII dalam data terstruktur dan tidak terstruktur. Namun, karena menggunakan mekanisme deteksi otomatis, tidak ada jaminan bahwa layanan akan menemukan semua informasi sensitif. Akibatnya, sistem dan perlindungan tambahan harus digunakan. Metode klasifikasi ini terutama dilingkup ke kategori PII AS, seperti nomor telepon AS, dan nomor jaminan sosial.

Menggunakan Unity AI Gateway

Anda dapat mengonfigurasi fitur Unity AI Gateway pada model Anda yang melayani titik akhir menggunakan Antarmuka pengguna Penyajian. Lihat Mengonfigurasi Unity AI Gateway pada model yang melayani titik akhir.

Batasan

Berikut ini adalah batasan untuk titik akhir yang mendukung Unity AI Gateway:

• Ketika pengaman AI digunakan, ukuran batch permintaan, yaitu ukuran batch penyematan, ukuran batch penyelesaian tugas, atau parameter n permintaan obrolan, tidak boleh melebihi 16.
• Jika Anda menggunakan fungsi yang memanggil dan menentukan batasan AI, batasan tersebut tidak diterapkan pada permintaan dan respons antara fungsi tersebut. Namun, aturan pembatas diterapkan pada respons output akhir.
• Beban kerja teks ke gambar tidak didukung.
• Hanya pelacakan penggunaan yang didukung untuk beban kerja inferensi batch pada titik akhir bayar per token yang fitur Unity AI Gateway-nya diaktifkan. endpoint_usage Dalam tabel sistem hanya baris yang sesuai dengan permintaan inferensi batch yang terlihat.
• Pagar pembatas dan fallback AI tidak didukung pada model kustom yang melayani titik akhir.
• Untuk model kustom yang melayani titik akhir, hanya beban kerja yang tidak dioptimalkan rute mendukung pembatasan laju dan pelacakan penggunaan.
• Tabel inferensi untuk model yang dioptimalkan rute yang melayani titik akhir berada di Pratinjau Umum.
• Lihat Batasan tabel inferensi yang diaktifkan Unity AI Gateway untuk detail tentang batasan tabel inferensi.