Bagikan melalui

Gateway AI Mosaik

  • Artikel

Penting

Fitur ini ada di Pratinjau Publik.

Artikel ini menjelaskan Mosaic AI Gateway, solusi Databricks untuk mengatur dan memantau akses ke model AI generatif yang didukung dan model terkait yang melayani titik akhir.

Apa itu Mosaic AI Gateway?

Mosaic AI Gateway dirancang untuk menyederhanakan penggunaan dan manajemen model AI generatif dalam organisasi. Ini adalah layanan terpusat yang membawa tata kelola, pemantauan, dan kesiapan produksi untuk memodelkan titik akhir penyajian. Ini juga memungkinkan Anda untuk menjalankan, mengamankan, dan mengatur lalu lintas AI untuk mendemokratisasi dan mempercepat adopsi AI untuk organisasi Anda.

Semua data masuk ke tabel Delta di Unity Catalog.

Untuk mulai memvisualisasikan wawasan dari data Gateway AI Anda, unduh contoh dasbor Gateway AI dari GitHub. Dasbor ini memanfaatkan data dari tabel inferensi pelacakan penggunaan dan pengelogan payload.

Setelah Anda mengunduh file JSON, impor dasbor ke ruang kerja Anda. Untuk petunjuk tentang mengimpor dasbor, lihat Mengimpor file dasbor.

AI Gateway mendukung fitur berikut:

  • Pembatasan izin dan tarif untuk mengontrol siapa yang memiliki akses dan berapa banyak akses.
  • Pengelogan payload untuk memantau dan mengaudit data yang dikirim ke API model menggunakan tabel inferensi.
  • Pelacakan penggunaan untuk memantau penggunaan operasional pada titik akhir dan biaya terkait menggunakan tabel sistem.
  • Pagar Pembatas AI untuk mencegah data yang tidak diinginkan dan data yang tidak aman dalam permintaan dan respons.
  • Perutean lalu lintas untuk meminimalkan pemadaman produksi selama dan setelah penyebaran.

Mosaic AI Gateway dikenakan biaya berdasarkan fitur yang diaktifkan. Selama pratinjau fitur berbayar ini termasuk AI Guardrails, pengelogan payload, dan pelacakan penggunaan. Fitur seperti izin kueri, pembatasan tarif, dan perutean lalu lintas tidak dikenakan biaya. Setiap fitur baru dikenakan biaya.

Tabel berikut mencerminkan tingkat token unit Databricks (DBA) per juta (M) untuk fitur Gateway AI berbayar. Biaya tercantum di Serverless Real-time Inference bawah SKU.

Fitur Laju DBU
Pagar Pembatas AI 21.429 DBA per token M
Pengelogan payload 2,857 DBA per token M
Pelacakan penggunaan 0,571 DBA per token M

Pagar Pembatas AI

Pagar Pembatas AI memungkinkan pengguna untuk mengonfigurasi dan menerapkan kepatuhan data pada model yang melayani tingkat titik akhir dan untuk mengurangi konten berbahaya pada permintaan apa pun yang dikirim ke model yang mendasar. Permintaan dan respons buruk diblokir dan pesan default dikembalikan kepada pengguna. Lihat cara mengonfigurasi pagar pembatas pada model yang melayani titik akhir.

Penting

Pagar Pembatas AI hanya tersedia di wilayah yang mendukung API Model Foundation bayar per token.

Tabel berikut ini meringkas pagar pembatas yang dapat dikonfigurasi.

Pagar pembatas Definisi
Pemfilteran keamanan Pemfilteran keamanan mencegah model Anda berinteraksi dengan konten yang tidak aman dan berbahaya, seperti kejahatan kekerasan, melukai diri sendiri, dan ujaran kebencian.

Filter keamanan Gateway AI dibangun dengan Meta Llama 3. Databricks menggunakan Llama Guard 2-8b sebagai filter keamanan. Untuk mempelajari selengkapnya tentang filter keamanan Llama Guard dan topik apa yang berlaku untuk filter keamanan, lihat kartu model Meta Llama Guard 2 8B.

Meta Llama 3 dilisensikan berdasarkan LISENSI KOMUNITAS LLAMA 3, Platform Meta Hak Cipta ©, Inc. Hak Cipta Dilindungi Undang-Undang. Pelanggan bertanggung jawab untuk memastikan kepatuhan terhadap lisensi model yang berlaku.
Deteksi informasi identitas pribadi (PII) Pelanggan dapat mendeteksi informasi sensitif seperti nama, alamat, nomor kartu kredit untuk pengguna.

Untuk fitur ini, AI Gateway menggunakan Presidio untuk mendeteksi kategori PII A.S. berikut: nomor kartu kredit, alamat email, nomor telepon, nomor rekening bank, dan nomor jaminan sosial.

Pengklasifikasi PII dapat membantu mengidentifikasi informasi sensitif atau PII dalam data terstruktur dan tidak terstruktur. Namun, karena menggunakan mekanisme deteksi otomatis, tidak ada jaminan bahwa layanan akan menemukan semua informasi sensitif. Akibatnya, sistem dan perlindungan tambahan harus digunakan.

Metode klasifikasi ini terutama dilingkup ke kategori PII AS, seperti nomor telepon AS, dan nomor jaminan sosial.
Moderasi topik Kemampuan untuk mencantumkan sekumpulan topik yang diizinkan. Mengingat permintaan obrolan, pagar pembatas ini menandai permintaan jika topiknya tidak ada dalam topik yang diizinkan.
Pemfilteran kata kunci Pelanggan dapat menentukan berbagai set kata kunci yang tidak valid untuk input dan output. Salah satu kasus penggunaan potensial untuk pemfilteran kata kunci adalah sehingga model tidak berbicara tentang pesaing.

Pagar pembatas ini menggunakan kata kunci atau pencocokan string untuk memutuskan apakah kata kunci ada dalam konten permintaan atau respons.

Menggunakan Gateway AI

Anda dapat mengonfigurasi fitur Gateway AI pada model Anda yang melayani titik akhir menggunakan Antarmuka pengguna Penyajian. Lihat Mengonfigurasi Gateway AI pada model yang melayani titik akhir.

Batasan

Berikut ini adalah batasan selama pratinjau:

  • AI Gateway hanya didukung untuk model yang melayani titik akhir yang melayani model eksternal.
  • Saat pagar pembatas digunakan, ukuran batch permintaan, yaitu ukuran batch penyematan, ukuran batch penyelesaian, atau n parameter permintaan obrolan, tidak boleh melebihi 16.