Cara mengonfigurasi filter konten dengan Azure OpenAI Service
Sistem pemfilteran konten yang diintegrasikan ke dalam Azure OpenAI Service berjalan bersama model inti, termasuk model pembuatan gambar DALL-E. Ini menggunakan ansambel model klasifikasi multi-kelas untuk mendeteksi empat kategori konten berbahaya (kekerasan, kebencian, seksual, dan bahaya diri) masing-masing pada empat tingkat keparahan (aman, rendah, sedang, dan tinggi), dan pengklasifikasi biner opsional untuk mendeteksi risiko jailbreak, teks yang ada, dan kode di repositori publik. Konfigurasi pemfilteran konten default diatur untuk memfilter pada ambang keparahan sedang untuk keempat kategori konten membahayakan untuk perintah dan penyelesaian. Itu berarti bahwa konten yang terdeteksi pada tingkat keparahan sedang atau tinggi difilter, sementara konten yang terdeteksi pada tingkat keparahan rendah atau aman tidak difilter oleh filter konten. Pelajari selengkapnya tentang kategori konten, tingkat keparahan, dan perilaku sistem pemfilteran konten di sini. Deteksi risiko Jailbreak dan model teks dan kode yang dilindungi bersifat opsional dan nonaktif secara default. Untuk model teks dan kode material yang dilindungi dan jailbreak, fitur konfigurasi memungkinkan semua pelanggan untuk mengaktifkan dan menonaktifkan model. Model secara default nonaktif dan dapat diaktifkan per skenario Anda. Beberapa model harus aktif untuk skenario tertentu untuk mempertahankan cakupan berdasarkan Komitmen Hak Cipta Pelanggan.
Catatan
Semua pelanggan memiliki kemampuan untuk memodifikasi filter konten dan mengonfigurasi ambang keparahan (rendah, sedang, tinggi). Persetujuan diperlukan untuk menonaktifkan filter konten sebagian atau sepenuhnya. Pelanggan terkelola hanya dapat mengajukan kontrol pemfilteran konten penuh melalui formulir ini: Tinjauan Akses Terbatas Azure OpenAI: Filter Konten yang Dimodifikasi. Saat ini, tidak mungkin untuk menjadi pelanggan terkelola.
Filter konten dapat dikonfigurasi di tingkat sumber daya. Setelah konfigurasi baru dibuat, konfigurasi dapat dikaitkan dengan satu atau beberapa penyebaran. Untuk informasi selengkapnya tentang penyebaran model, lihat panduan penyebaran sumber daya.
Prasyarat
- Anda harus memiliki sumber daya Azure OpenAI dan penyebaran model bahasa besar (LLM) untuk mengonfigurasi filter konten. Ikuti mulai cepat untuk memulai.
Memahami konfigurasi filter konten
Layanan Azure OpenAI menyertakan pengaturan keamanan default yang diterapkan ke semua model, tidak termasuk Azure OpenAI Whisper. Konfigurasi ini memberi Anda pengalaman yang bertanggung jawab secara default, termasuk model pemfilteran konten, daftar blokir, transformasi permintaan, kredensial konten, dan lainnya. Baca selengkapnya tentang hal itu di sini.
Semua pelanggan juga dapat mengonfigurasi filter konten dan membuat kebijakan keamanan kustom yang disesuaikan dengan persyaratan kasus penggunaan mereka. Fitur konfigurasi memungkinkan pelanggan untuk menyesuaikan pengaturan, secara terpisah untuk permintaan dan penyelesaian, untuk memfilter konten untuk setiap kategori konten pada tingkat keparahan yang berbeda seperti yang dijelaskan dalam tabel di bawah ini. Konten yang terdeteksi pada tingkat keparahan 'aman' diberi label dalam anotasi tetapi tidak tunduk pada pemfilteran dan tidak dapat dikonfigurasi.
| Tingkat keparahan difilter | Dapat dikonfigurasi untuk perintah | Dapat dikonfigurasi untuk penyelesaian | Deskripsi |
|---|---|---|---|
| Rendah, sedang, tinggi | Ya | Ya | Konfigurasi pemfilteran paling ketat. Konten yang terdeteksi pada tingkat keparahan rendah, sedang, dan tinggi difilter. |
| Sedang, tinggi | Ya | Ya | Konten yang terdeteksi pada tingkat keparahan rendah tidak difilter, konten pada sedang dan tinggi difilter. |
| Sangat Penting | Ya | Ya | Konten yang terdeteksi pada tingkat keparahan rendah dan sedang tidak difilter. Hanya konten pada tingkat keparahan tinggi yang difilter. |
| Tidak ada filter | Jika disetujui1 | Jika disetujui1 | Tidak ada konten yang difilter terlepas dari tingkat keparahan yang terdeteksi. Memerlukan persetujuan1. |
| Anotasi saja | Jika disetujui1 | Jika disetujui1 | Menonaktifkan fungsionalitas filter, sehingga konten tidak akan diblokir, tetapi anotasi dikembalikan melalui respons API. Memerlukan persetujuan1. |
1 Untuk model Azure OpenAI, hanya pelanggan yang telah disetujui untuk pemfilteran konten yang dimodifikasi yang memiliki kontrol pemfilteran konten penuh dan dapat menonaktifkan filter konten. Terapkan untuk filter konten yang dimodifikasi melalui formulir ini: Tinjauan Akses Terbatas Azure OpenAI: Filter Konten yang Dimodifikasi. Untuk pelanggan Azure Government, ajukan filter konten yang dimodifikasi melalui formulir ini: Azure Government - Minta Pemfilteran Konten yang Dimodifikasi untuk Layanan Azure OpenAI.
Filter konten yang dapat dikonfigurasi untuk input (perintah) dan output (penyelesaian) tersedia untuk model Azure OpenAI berikut:
- Seri model GPT
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 dan 3
Filter konten yang dapat dikonfigurasi tidak tersedia untuk
- pratinjau o1
- o1-mini
*Hanya tersedia untuk GPT-4 Turbo Vision GA, tidak berlaku untuk pratinjau GPT-4 Turbo Vision
Konfigurasi pemfilteran konten dibuat dalam Sumber Daya di Azure AI Studio, dan dapat dikaitkan dengan Penyebaran. Pelajari selengkapnya tentang konfigurasi di sini.
Pelanggan bertanggung jawab untuk memastikan bahwa aplikasi yang mengintegrasikan Azure OpenAI mematuhi Kode Etik.
Memahami filter lain
Anda dapat mengonfigurasi kategori filter berikut selain filter kategori bahaya default.
| Kategori filter | Status | Pengaturan default | Diterapkan untuk perintah atau penyelesaian? | Deskripsi |
|---|---|---|---|---|
| Prompt Shields untuk serangan langsung (jailbreak) | GA | Aktif | Permintaan pengguna | Filter / membuat anotasi permintaan pengguna yang mungkin menyajikan Risiko Jailbreak. Untuk informasi selengkapnya tentang anotasi, kunjungi Pemfilteran konten Azure OpenAI Service. |
| Prompt Shields untuk serangan tidak langsung | GA | Aktif | Permintaan pengguna | Filter /anotasi Serangan Tidak Langsung, juga disebut sebagai Serangan Prompt Tidak Langsung atau Serangan Injeksi Prompt Lintas Domain, potensi kerentanan di mana pihak ketiga menempatkan instruksi berbahaya di dalam dokumen yang dapat diakses dan diproses oleh sistem AI generatif. Diperlukan: Pemformatan dokumen . |
| Bahan yang dilindungi - kode | GA | Aktif | Penyelesaian | Memfilter kode yang dilindungi atau mendapatkan contoh kutipan dan informasi lisensi dalam anotasi untuk cuplikan kode yang cocok dengan sumber kode publik apa pun, yang didukung oleh GitHub Copilot. Untuk informasi selengkapnya tentang menggunakan anotasi, lihat panduan konsep pemfilteran konten |
| Bahan yang dilindungi - teks | GA | Aktif | Penyelesaian | Mengidentifikasi dan memblokir konten teks yang diketahui agar tidak ditampilkan dalam output model (misalnya, lirik lagu, resep, dan konten web yang dipilih). |
Mengonfigurasi filter konten melalui Azure OpenAI Studio
Langkah-langkah berikut menunjukkan cara menyiapkan konfigurasi pemfilteran konten yang dikustomisasi untuk sumber daya Anda.
Buka Azure OpenAI Studio dan navigasi ke tab Filter Konten (di navigasi kiri bawah, seperti yang ditunjuk oleh kotak merah di bawah).
Buat konfigurasi pemfilteran konten baru yang dikustomisasi.
Ini mengarah ke tampilan konfigurasi berikut, di mana Anda dapat memilih nama untuk konfigurasi pemfilteran konten kustom. Setelah memasukkan nama, Anda dapat mengonfigurasi filter input (perintah pengguna) dan filter output (respons model). Untuk empat kategori konten pertama ada tiga tingkat keparahan yang dapat dikonfigurasi: Rendah, sedang, dan tinggi. Anda dapat menggunakan penggeser untuk mengatur ambang keparahan jika Anda menentukan bahwa aplikasi atau skenario penggunaan Anda memerlukan pemfilteran yang berbeda dari nilai default. Beberapa filter memungkinkan Anda menentukan apakah model harus membuat anotasi dan/atau memblokir. Memilih Anotasi menjalankan model masing-masing dan mengembalikan anotasi melalui respons API, tetapi tidak akan memfilter konten. Selain anotasi, Anda juga dapat memilih untuk memfilter konten dengan mengalihkan tombol Filter ke aktif.
Jika kasus penggunaan Anda disetujui untuk filter konten yang dimodifikasi seperti yang diuraikan di atas, Anda menerima kontrol penuh atas konfigurasi pemfilteran konten dan dapat memilih untuk menonaktifkan pemfilteran sebagian atau sepenuhnya.
Anda dapat membuat beberapa konfigurasi pemfilteran konten sesuai kebutuhan Anda.
Selanjutnya, untuk membuat konfigurasi pemfilteran konten kustom beroperasi, tetapkan konfigurasi ke satu atau beberapa penyebaran di sumber daya Anda. Untuk melakukan ini, buka tab Penyebaran dan pilih penyebaran Anda. Kemudian pilih Edit.
Di jendela Perbarui penyebaran yang muncul, pilih filter kustom Anda dari menu dropdown Filter konten. Lalu pilih Simpan dan tutup untuk menerapkan konfigurasi yang dipilih ke penyebaran.
Anda juga dapat mengedit dan menghapus konfigurasi filter konten jika diperlukan. Untuk melakukan ini, navigasikan ke tab filter konten dan pilih konfigurasi. Kemudian pilih tindakan yang diinginkan. Anda hanya dapat mengedit satu konfigurasi pemfilteran pada satu waktu.
Catatan
Sebelum menghapus konfigurasi pemfilteran konten, Anda harus menghapus penetapannya dari penyebaran apa pun di tab Penyebaran.
Mengikutii praktik terbaik
Sebaiknya informasikan keputusan konfigurasi pemfilteran konten Anda melalui identifikasi berulang (misalnya, pengujian tim merah, pengujian stres, dan analisis) dan proses pengukuran untuk mengatasi potensi bahaya yang relevan untuk model, aplikasi, dan skenario penyebaran tertentu. Setelah Anda menerapkan mitigasi seperti pemfilteran konten, ulangi pengukuran untuk menguji efektivitas. Rekomendasi dan praktik terbaik untuk AI Bertanggung Jawab untuk Azure OpenAI, yang beralasan di Microsoft Responsible AI Standard dapat ditemukan di Gambaran Umum AI yang Bertanggung Jawab untuk Azure OpenAI.
Konten terkait
- Pelajari selengkapnya tentang praktik AI yang Bertanggung Jawab untuk Azure OpenAI: Gambaran umum praktik AI yang Bertanggung Jawab untuk model Azure OpenAI.
- Baca selengkapnya tentang kategori pemfilteran konten dan tingkat keparahan dengan Azure OpenAI Service.
- Pelajari selengkapnya tentang tim merah dari kami: Pengantar artikel model bahasa besar (LLM) beregu merah.