Menggunakan Pemantauan Risiko & Keselamatan di Azure OpenAI Studio (pratinjau)

Saat Anda menggunakan penyebaran model Azure OpenAI dengan filter konten, Anda mungkin ingin memeriksa hasil aktivitas pemfilteran. Anda dapat menggunakan informasi tersebut untuk menyesuaikan konfigurasi filter Anda lebih lanjut untuk melayani kebutuhan bisnis spesifik Anda dan prinsip AI yang Bertanggung Jawab.

Azure OpenAI Studio menyediakan dasbor pemantauan Risiko & Keselamatan untuk setiap penyebaran Anda yang menggunakan konfigurasi filter konten.

Risiko Akses & Pemantauan keselamatan

Untuk mengakses Risiko & Pemantauan keselamatan, Anda memerlukan sumber daya Azure OpenAI di salah satu wilayah Azure yang didukung: US Timur, Swiss Utara, Prancis Tengah, Swedia Tengah, Kanada Timur. Anda juga memerlukan penyebaran model yang menggunakan konfigurasi filter konten.

Buka Azure OpenAI Studio dan masuk dengan kredensial yang terkait dengan sumber daya Azure OpenAI Anda. Pilih tab Penyebaran di sebelah kiri lalu pilih penyebaran model Anda dari daftar. Pada halaman penyebaran, pilih tab Risiko & Keamanan di bagian atas.

Deteksi konten

Panel Deteksi konten memperlihatkan informasi tentang aktivitas filter konten. Konfigurasi filter konten Anda diterapkan seperti yang dijelaskan dalam dokumentasi Pemfilteran konten.

Deskripsi laporan

Data pemfilteran konten diperlihatkan dengan cara berikut:

• Jumlah permintaan dan laju blok yang diblokir total: Tampilan ini menunjukkan tampilan global tentang jumlah dan tingkat konten yang difilter dari waktu ke waktu. Ini membantu Anda memahami tren permintaan berbahaya dari pengguna dan melihat aktivitas tak terduga.
• Permintaan yang diblokir menurut kategori: Tampilan ini menunjukkan jumlah konten yang diblokir untuk setiap kategori. Ini adalah statistik semua permintaan berbahaya di seluruh rentang waktu yang dipilih. Saat ini mendukung kategori bahaya kebencian, seksual, menyakiti diri sendiri, dan kekerasan.
• Laju blok dari waktu ke waktu menurut kategori: Tampilan ini menunjukkan tingkat blok untuk setiap kategori dari waktu ke waktu. Saat ini mendukung kategori bahaya kebencian, seksual, menyakiti diri sendiri, dan kekerasan.
• Distribusi tingkat keparahan menurut kategori: Tampilan ini menunjukkan tingkat keparahan yang terdeteksi untuk setiap kategori bahaya, di seluruh rentang waktu yang dipilih. Ini tidak terbatas pada konten yang diblokir , melainkan mencakup semua konten yang ditandai oleh filter konten.
• Distribusi tingkat keparahan dari waktu ke waktu menurut kategori: Tampilan ini menunjukkan tingkat keparahan yang terdeteksi dari waktu ke waktu, untuk setiap kategori bahaya. Pilih tab untuk beralih di antara kategori yang didukung.

Tindakan yang disarankan

Sesuaikan konfigurasi filter konten Anda agar lebih selaras dengan kebutuhan bisnis dan prinsip AI yang Bertanggung Jawab.

Deteksi pengguna yang berpotensi melecehkan

Panel Deteksi pengguna yang berpotensi melecehkan memanfaatkan pelaporan penyalahgunaan tingkat pengguna untuk menampilkan informasi tentang pengguna yang perilakunya telah mengakibatkan konten yang diblokir. Tujuannya adalah untuk membantu Anda mendapatkan tampilan sumber konten berbahaya sehingga Anda dapat mengambil tindakan responsif untuk memastikan model digunakan dengan cara yang bertanggung jawab.

Untuk menggunakan deteksi pengguna yang berpotensi melecehkan, Anda perlu:

• Konfigurasi filter konten diterapkan ke penyebaran Anda.
• Anda harus mengirim informasi ID pengguna dalam permintaan Penyelesaian Obrolan Anda (lihat parameter pengguna API Penyelesaian, misalnya).

  Perhatian

  Gunakan string GUID untuk mengidentifikasi pengguna individual. Jangan sertakan informasi pribadi sensitif di bidang "pengguna".

• Database Azure Data Explorer disiapkan untuk menyimpan hasil analisis pengguna (instruksi di bawah).

Menyiapkan database Azure Data Explorer Anda

Untuk melindungi privasi data informasi pengguna dan mengelola izin data, kami mendukung opsi bagi pelanggan kami untuk membawa penyimpanan mereka sendiri untuk mendapatkan wawasan deteksi pengguna yang berpotensi melecehkan (termasuk GUID pengguna dan statistik pada permintaan berbahaya berdasarkan kategori) yang disimpan dengan cara yang sesuai dan dengan kontrol penuh. Ikuti langkah-langkah berikut untuk mengaktifkannya:

1. Di Azure OpenAI Studio, navigasikan ke penyebaran model yang ingin Anda siapkan analisis penyalahgunaan pengguna, dan pilih Tambahkan penyimpanan data.
2. Isi informasi yang diperlukan dan pilih Simpan. Kami sarankan Anda membuat database baru untuk menyimpan hasil analisis.
3. Setelah Anda menyambungkan penyimpanan data, lakukan langkah-langkah berikut untuk memberikan izin untuk menulis hasil analisis ke database yang tersambung:
   1. Buka halaman sumber daya Azure OpenAI Anda di portal Azure, dan pilih tab Identitas.
   2. Aktifkan status ke Aktif untuk identitas yang ditetapkan sistem, dan salin ID yang dihasilkan.
   3. Buka sumber daya Azure Data Explorer Anda di portal Azure, pilih database, lalu pilih database tertentu yang Anda buat untuk menyimpan hasil analisis pengguna.
   4. Pilih izin, dan tambahkan peran admin ke database.
   5. Tempelkan identitas Azure OpenAI yang dihasilkan di langkah sebelumnya, dan pilih identitas yang dicari. Sekarang identitas sumber daya Azure OpenAI Anda berwenang untuk membaca/menulis ke akun penyimpanan.
4. Berikan akses ke database Azure Data Explorer yang tersambung ke pengguna yang perlu melihat hasil analisis:
   1. Buka sumber daya Azure Data Explorer yang telah Anda sambungkan, pilih kontrol akses dan tambahkan peran pembaca kluster Azure Data Explorer untuk pengguna yang perlu mengakses hasilnya.
   2. Pilih database dan pilih database tertentu yang tersambung untuk menyimpan hasil analisis penyalahgunaan tingkat pengguna. Pilih izin dan tambahkan peran pembaca database untuk pengguna yang perlu mengakses hasilnya.

Deskripsi laporan

Deteksi pengguna yang berpotensi melecehkan bergantung pada informasi pengguna yang dikirim pelanggan dengan panggilan Api Azure OpenAI mereka, bersama dengan konten permintaan. Wawasan berikut ditampilkan:

• Jumlah pengguna yang berpotensi melecehkan: Tampilan ini menunjukkan jumlah pengguna yang berpotensi melecehkan yang terdeteksi dari waktu ke waktu. Ini adalah pengguna yang pola penyalahgunaannya terdeteksi dan yang mungkin menimbulkan risiko tinggi.
• Daftar pengguna yang berpotensi melecehkan: Tampilan ini adalah daftar terperinci pengguna yang berpotensi melecehkan. Ini memberikan informasi berikut untuk setiap pengguna:
  • UserGUID: Ini dikirim oleh pelanggan melalui bidang "pengguna" di API Azure OpenAI.
  • Skor penyalahgunaan: Ini adalah angka yang dihasilkan oleh model yang menganalisis permintaan dan perilaku setiap pengguna. Skor dinormalisasi menjadi 0-1. Skor yang lebih tinggi menunjukkan risiko penyalahgunaan yang lebih tinggi.
  • Tren skor penyalahgunaan: Perubahan skor Penyalahgunaan selama rentang waktu yang dipilih.
  • Tanggal evaluasi: Tanggal hasil dianalisis.
  • Total rasio/jumlah permintaan penyalahgunaan
  • Rasio/jumlah penyalahgunaan menurut kategori

Tindakan yang disarankan

Gabungkan data ini dengan sinyal yang diperkaya untuk memvalidasi apakah pengguna yang terdeteksi benar-benar kasar atau tidak. Jika ya, ambil tindakan responsif seperti pembatasan atau tangguhkan pengguna untuk memastikan penggunaan aplikasi Anda yang bertanggung jawab.

Langkah berikutnya

Selanjutnya, buat atau edit konfigurasi filter konten di Azure OpenAI Studio.

• Mengonfigurasi filter konten dengan Azure OpenAI Service