Pemfilteran konten

Penting

Sistem pemfilteran konten tidak diterapkan ke perintah dan penyelesaian yang diproses oleh model Whisper di Azure OpenAI Service. Pelajari selengkapnya tentang model Whisper di Azure OpenAI.

Azure OpenAI Service menyertakan sistem pemfilteran konten yang berfungsi bersama model inti. Sistem ini bekerja dengan menjalankan perintah dan penyelesaian melalui ansambel model klasifikasi yang bertujuan mendeteksi dan mencegah output konten berbahaya. Sistem pemfilteran konten mendeteksi dan mengambil tindakan pada kategori tertentu dari konten yang berpotensi berbahaya dalam perintah input dan penyelesaian output. Variasi dalam konfigurasi API dan desain aplikasi dapat memengaruhi penyelesaian dan dengan demikian memfilter perilaku.

Model pemfilteran konten untuk kategori kebencian, seksual, kekerasan, dan bahaya diri telah dilatih dan diuji secara khusus pada bahasa berikut: Inggris, Jerman, Jepang, Spanyol, Prancis, Italia, Portugis, dan Cina. Namun, layanan ini dapat bekerja dalam banyak bahasa lain, tetapi kualitasnya mungkin bervariasi. Dalam semua kasus, Anda harus melakukan pengujian Anda sendiri untuk memastikan bahwa itu berfungsi untuk aplikasi Anda.

Selain sistem pemfilteran konten, Layanan Azure OpenAI melakukan pemantauan untuk mendeteksi konten dan/atau perilaku yang menyarankan penggunaan layanan dengan cara yang mungkin melanggar ketentuan produk yang berlaku. Untuk informasi selengkapnya tentang memahami dan mengurangi risiko yang terkait dengan aplikasi Anda, lihat Catatan Transparansi untuk Azure OpenAI. Untuk informasi selengkapnya tentang cara data diproses untuk pemfilteran konten dan pemantauan penyalahgunaan, lihat Data, privasi, dan keamanan untuk Azure OpenAI Service.

Bagian berikut memberikan informasi tentang kategori pemfilteran konten, tingkat keparahan pemfilteran dan konfigurasinya, dan skenario API untuk dipertimbangkan dalam desain dan implementasi aplikasi.

Kategori pemfilteran konten

Sistem pemfilteran konten yang terintegrasi dalam Layanan Azure OpenAI berisi:

• Model klasifikasi multi-kelas neural yang bertujuan mendeteksi dan memfilter konten berbahaya; model mencakup empat kategori (kebencian, seksual, kekerasan, dan bahaya diri) di empat tingkat keparahan (aman, rendah, sedang, dan tinggi). Konten yang terdeteksi pada tingkat keparahan 'aman' diberi label dalam anotasi tetapi tidak tunduk pada pemfilteran dan tidak dapat dikonfigurasi.
• Model klasifikasi opsional lainnya yang bertujuan mendeteksi risiko jailbreak dan konten yang diketahui untuk teks dan kode; model ini adalah pengklasifikasi biner yang menandai apakah perilaku pengguna atau model memenuhi syarat sebagai serangan jailbreak atau cocok dengan teks atau kode sumber yang diketahui. Penggunaan model ini bersifat opsional, tetapi penggunaan model kode bahan yang dilindungi mungkin diperlukan untuk cakupan Komitmen Hak Cipta Pelanggan.

Kategori bahaya

Kategori	Deskripsi
Kebencian dan keadilan	Bahaya terkait kebencian dan keadilan mengacu pada konten apa pun yang menyerang atau menggunakan bahasa pejoratif atau diskriminatif dengan mengacu pada seseorang atau kelompok Identitas berdasarkan atribut pembeda tertentu dari kelompok-kelompok ini termasuk tetapi tidak terbatas pada ras, etnis, kebangsaan, kelompok identitas gender dan ekspresi, orientasi seksual, agama, status imigrasi, status kemampuan, penampilan pribadi, dan ukuran tubuh.  Kewajaran dikhawatirkan dengan memastikan bahwa sistem AI memperlakukan semua kelompok orang secara setara tanpa berkontribusi pada ketidaksetaraan masyarakat yang ada. Mirip dengan ujaran kebencian, kewajaran terkait bahaya engsel setelah perlakuan berbeda terhadap kelompok Identitas.
Seksual	Seksual menggambarkan bahasa yang terkait dengan organ dan alat kelamin anatomi, hubungan romantis, tindakan yang digambarkan dalam istilah erotis atau kasih sayang, kehamilan, tindakan seksual fisik, termasuk yang digambarkan sebagai penyerangan atau tindakan kekerasan seksual paksa terhadap kehendak, prostitusi, pornografi, dan penyalahgunaan seseorang.
Kekerasan	Kekerasan menjelaskan bahasa yang terkait dengan tindakan fisik yang dimaksudkan untuk menyakiti, melukai, merusak, atau membunuh seseorang atau sesuatu; menjelaskan senjata, senjata dan entitas terkait, seperti manufaktur, asosiasi, undang-undang, dll.
Melukai Diri Sendiri	Melukai diri sendiri menggambarkan bahasa yang terkait dengan tindakan fisik yang dimaksudkan untuk melukai, melukai, merusak tubuh seseorang, atau membunuh diri sendiri.
Risiko Jailbreak	Serangan Jailbreak adalah Perintah Pengguna yang dirancang untuk memprovokasi model AI Generatif ke dalam perilaku pameran yang dilatih untuk menghindari atau melanggar aturan yang ditetapkan dalam Pesan Sistem. Serangan tersebut dapat bervariasi dari peran yang rumit hingga subversi yang halus dari tujuan keselamatan.
Bahan Yang Dilindungi untuk Teks*	Teks materi yang dilindungi menjelaskan konten teks yang diketahui (misalnya, lirik lagu, artikel, resep, dan konten web yang dipilih) yang dapat dihasilkan oleh model bahasa besar.
Bahan yang Dilindungi untuk Kode	Kode materi yang dilindungi menjelaskan kode sumber yang cocok dengan sekumpulan kode sumber dari repositori publik, yang dapat dihasilkan oleh model bahasa besar tanpa kutipan repositori sumber yang tepat.

^* Jika Anda adalah pemilik materi teks dan ingin mengirimkan konten teks untuk perlindungan, ajukan permintaan.

Konten teks

Peringatan

Peringatan

Tab Definisi tingkat keparahan dalam dokumen ini berisi contoh konten berbahaya yang mungkin mengganggu beberapa pembaca.

Definisi tingkat keparahan

Tingkat keparahan kebencian dan keadilan

Tingkat Keparahan	Keterangan	Contoh Teks
Aman	Konten aman tetapi mungkin mengandung istilah terkait kebencian dan kewajaran yang digunakan dalam konteks umum dan aman seperti: Education Media Statistik resmi Riwayat Obat Ilmu Konteks serupa lainnya	"Black people should not be killed by police or mistreated just because of their skin color."
Kurang Penting	Konten yang berisi karakterisasi positif atau perlindungan grup Identitas, menampilkan diskriminasi, stereotip, dan pandangan atau sikap yang berprasangka, menghakimi, atau berpendapat terkait dengan ujaran kebencian atau menargetkan grup identitas. Drive ini termasuk: Slur dalam makalah penelitian, kamus, atau media dengan kutipan langsung Ujaran kebencian umum yang menargetkan objek, individu, atau grup Ujaran kebencian terbatas atau penggambutan sentimen negatif dalam konteks fiktif (misalnya, game, film, sastra)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Medium	Konten yang berisi penghinaan, bullying, intimidasi, de-humanisasi atau derogasi individu atau kelompok. Ini termasuk: Bahasa yang meniru dan meniru atribut Grup identitas Menjelaskan individu atau grup sebagai inferior atau kekurangan Menolak atau mendesak keberadaan grup identitas Teks yang menolak peristiwa historis, terdokumentasi dengan baik, dan kekerasan seperti Holocaust, perbudakan, atau kolonisasi	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Sangat Penting	Konten yang berisi ujaran kebencian sebagai propaganda yang mengancam atau menyerukan kekerasan terhadap kelompok Identitas, radikal, merekrut, atau menghasut orang untuk bergabung dengan upaya ekstremis atau menyebarkan ujaran kebencian. Ini termasuk: Bahasa pembakar, menyinggung, dan vulgar yang menargetkan individu atau grup identitas tertentu Klaim keunggulan untuk membenarkan diskriminasi, pemisahan, atau pengecualian Teks yang berisi segala bentuk kemuliaan simbolisme Nazi dan SS, KKK dan bendera konfederasi di luar pengaturan historis, pendidikan, atau artistik Teks yang menampilkan persiapan kejahatan kebencian, pujian dan pengagungan kekerasan terhadap kelompok Identitas, atau yang memuji, memuliakan, atau mendukung genosida	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Tingkat keparahan seksual

Tingkat Keparahan	Keterangan	Contoh Teks
Aman	Konten aman tetapi mungkin mengandung istilah terkait seksual yang digunakan dalam konteks umum dan aman seperti: Pendidikan Media Statistik resmi Riwayat Obat Ilmu Penyebutan hubungan keluarga atau romantis	"Fewer young adults are having sex than in previous generations."
Kurang Penting	Konten yang mengekspresikan pandangan berprasangka, menghakimen, atau berpendapat tentang topik terkait seksual atau menyebutkan istilah terkait seksual dalam pengalaman fiksi atau dunia nyata yang tidak sangat grafis. Ini termasuk: Penyebutan anatomi seksual atau adegan seks dalam konteks fiksi dan artistik Resep medis dan diagnosis Pengalaman pribadi, masalah seksual, dan trauma dengan beberapa konten grafis termasuk mekanisme penyalinan dan sumber daya	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Medium	Konten yang menggambarkan gaibung seksual dan aktivitas dalam istilah eksplisit dan grafis, termasuk fantasi tentang seks dan pelecehan seksual. Ini termasuk: Penyebutan stimulasi seksual dan masturbasi Pornografi terbatas pada bisnis dan prostitusi, pengawalan, dll. sebagai karier tanpa adegan seks Iklan untuk produk dewasa seperti mainan seks Pengalaman dan deskripsi pribadi yang terkait dengan pijat seksual, erotis atau tantric, klub strip, pertunjukan erotis, atribut dan praktik BDSM	"We both climaxed at the same time."
Tingkat 7	Konten yang menjelaskan ajakan layanan komersial seksual, berisi deskripsi terperinci tentang aktivitas seksual, pelecehan seksual dan pemerkosaan kekerasan, dan pertukaran kekuasaan non-konsensual, penyalahgunaan, dan voyeurisme. Ini juga termasuk konten yang digunakan untuk mempromosikan, mendukung, atau memuliakan tindakan seksual ekstrem atau ilegal. Ini termasuk: Penggambutan Materi Pelecehan Seksual Anak (CSAM) termasuk referensi eksplisit atau potensial terhadap seks di bawah umur Perawatan anak, pelecehan anak, dan eksploitasi anak lainnya Referensi eksplisit atau potensial untuk incest, zoophilia, necrophilia, dll. Perekrutan perdagangan seks manusia, termasuk manipulasi korban	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Tingkat keparahan kekerasan

Tingkat Keparahan	Keterangan	Contoh Teks
Aman	Konten aman tetapi mungkin berisi istilah yang terkait dengan kekerasan yang digunakan dalam konteks umum dan aman seperti: Pendidikan Media Statistik resmi Riwayat Obat Ilmu Objek umum saat tidak digunakan sebagai senjata Spesifikasi teknis olahraga berburu atau menembak dan senjata	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Kurang Penting	Konten dalam konteks fiksi (misalnya, game, sastra, seni) yang menggambarkan adegan kekerasan atau grafis tanpa kemuliaan, dukungan, atau niat jahat. Ini termasuk: Pengalaman pribadi kekerasan (tanpa niat kekerasan) Pandangan bias, berprasangka, menghakimen, atau berpendapat tentang kekerasan Menyebutkan tindakan kekerasan dan kematian dengan intensitas rendah	"Some people just need to be slapped."
Medium	Konten yang berisi penggambaran grafis kekerasan dan kematian dengan intensitas sedang serta fantasi tentang tindakan kekerasan atau ancaman. Ini termasuk: Teks yang membuat korban salah atau menggambarkan pelaku dalam cahaya positif Referensi historis untuk genosida dan Holocaust tanpa dukungan atau kemuliaan Referensi ke penembakan massal yang diketahui tanpa dukungan atau kemuliaan Referensi ke kelompok dan peristiwa ekstremis teroris dan kekerasan tanpa dukungan atau kemuliaan Teks yang mencari saran atau rekomendasi atau teks yang memberikan instruksi tentang cara melakukan tindakan kekerasan terhadap hewan, individu, sekelompok individu atau objek atau infrastruktur yang dapat mengakibatkan kerusakan individu atau massa Bullying dan intimidasi	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Sangat Penting	Konten yang berisi propaganda teroris atau ekstremis kekerasan dan ideologi kekerasan di Internet yang menggambarkan, memuji, mendukung, mendukung, atau memuliakan pembunuhan sebagai bagian dari aktivitas teroristik, membantu menawarkan kepada organisasi atau penyebab teroris. Ini termasuk: Teks yang mencari petunjuk tentang afiliasi dengan teroris dan kelompok ekstremis kekerasan Teks yang memberikan instruksi tentang cara merekrut pengikut, memengaruhi orang-orang terhadap penyebab teroris atau ideologi ekstremis, mengadopsi pandangan radikal atau memberikan pelatihan tentang bagaimana teroris dan kelompok ekstremis kekerasan beroperasi, atau memberikan informasi tentang pemimpin dan anggota mereka Teks yang merencanakan dan mengoordinasikan serangan terhadap individu atau kelompok orang, termasuk peristiwa penembakan, penggunaan bom dan bahan peledak pada infrastruktur sipil, atau serangan senjata blad ketika dilakukan oleh non-kombatan atau non-teroris Konten yang mereferensikan kerja paksa termasuk anak-anak, pelayanan domestik, menguntit, dan prosedur medis paksa	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Tingkat keparahan yang membahayakan diri sendiri

Tingkat Keparahan	Keterangan	Contoh Teks
Aman	Konten aman tetapi mungkin berisi istilah yang terkait dengan bahaya diri sendiri yang digunakan dalam konteks umum dan aman seperti: Statistik resmi Pendidikan Media Medis Tindakan yang menjelaskan bahaya diri sendiri yang tidak disengaja, tips pertolongan pertama, dll.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Kurang Penting	Konten yang berisi referensi ke karakter merencanakan atau melakukan bunuh diri dalam konteks fiksi (misalnya, literatur, film) atau berisi penggambaran tindakan melukai diri sendiri atau bunuh diri dengan intensitas rendah. Ini termasuk: Bias pribadi, berprasangka buruk, pandangan menghakiaya, atau berpendapat tentang bahaya diri sendiri Asosiasi dengan gangguan makan, mencari atau memberikan instruksi untuk penurunan berat badan drastis dan tidak sehat Pengalaman pribadi yang terkait dengan bahaya diri sendiri, termasuk mencari bantuan profesional	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Medium	Konten yang meniru korban atau korban yang selamat dari bahaya diri sendiri seperti gangguan makan atau bunuh diri, serta bullying dan intimidasi yang menghasut dan mempromosikan tindakan menyakiti diri sendiri. Ini termasuk: Cedera mandiri yang disajikan sebagai solusi untuk masalah Fantasi, keinginan, keinginan, atau pengalaman pribadi tentang melukai diri sendiri/bunuh diri Teks yang mencari atau memberikan saran, instruksi, atau rekomendasi tentang cara melakukan tindakan membahayakan diri sendiri Bullying dan intimidasi yang menghasut dan mempromosikan tindakan menyakiti diri sendiri	"Go kill yourself, you are worthless."
Sangat Penting	Konten yang mencakup penelitian untuk saran atau memberikan instruksi dan metode tentang cara terlibat dalam bahaya diri sendiri yang menyebabkan kematian atau cara melakukan bunuh diri serta kemuliaan dan dukungan bunuh diri, atau jenis bahaya diri lainnya yang parah. Ini termasuk: Teks yang menginstruksikan cara menulis pesan selamat tinggal kepada keluarga Anda Pemisahan diri Membakar hidup-hidup	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Konten gambar

Peringatan

Peringatan

Tab Definisi tingkat keparahan dalam dokumen ini berisi contoh konten berbahaya yang mungkin mengganggu beberapa pembaca.

Definisi tingkat keparahan

Tingkat keparahan kebencian dan keadilan

Tingkat Keparahan	Keterangan	Contoh gambar
Tingkat 0 – Brankas	Konten aman tetapi mungkin mengandung citra terkait kebencian dan keadilan tanpa sentimen atau sentimen netral dalam cara non-diskriminasi yang tidak menyinggung dalam konteks berikut atau yang mirip dengan: Jurnalistik Historis Medis Hukum Pendidikan Geografis	Bendera non-konfederasi, misalnya Bendera negara atau negara bagian yang fiturnya bersilangan Gambar bendera Union Jack dari Inggris Raya Penggambatan emansipasi orang-orang yang diperbudak di AS dalam foto historis
Tingkat 2 - Rendah	Konten yang berisi sentimen positif, sentimen positif palsu, atau sentimen negatif dan bias yang membedakan grup identitas dari orang lain. Konten ini dimaksudkan untuk memicu respons emosional. Drive ini termasuk: Proteksi Simbolisme Nazi, bendera konfederasi, simbolisme Ku Klux Klan Stereotip Diskriminasi pekerjaan	Representasi gerakan 'Tidak Ada Ujaran Kebencian' Representasi dari kandidat pekerjaan yang diramalkan seperti kandidat penyandang disabilitas dalam pengaturan wawancara
Tingkat 4 - Sedang	Konten yang berisi tindakan sentimen negatif terhadap grup identitas dan lainnya yang mengarah pada promosi tindakan terhadap grup identitas dan sentimen keunggulan. Drive ini termasuk: Penghinaan, isolasi, tiruan Bendera Nazi, bendera konfederasi, dan variasi dan merchandise LGBTQIA+	Citra yang mempromosikan penghindarian sosial [grup identitas] Citra yang menggambarkan teori peningkatan rasial dan eugenika
Tingkat 6 – Tinggi	Konten yang berisi sentimen negatif dan ujaran kebencian terhadap kelompok identitas yang mengarah ke generasi ujaran kebencian atau kejahatan kebencian. Drive ini termasuk: Rasisme Serangan pada LGBTQIA+ Disablisme Diskriminasi berbasis seks Simbolisme Nazi yang dimuliakan, bendera Konfederasi, simbolisme Ku Klux Klan Bendera konfederasi kekerasan	Gambar antimitik yang menggambarkan "Southern Cross" yang menampilkan saltire biru (saltire diagonal) dengan afiliasi kekerasan yang jelas (misalnya senjata dalam tampilan/penggunaan)

Tingkat keparahan seksual

Tingkat Keparahan	Keterangan	Contoh gambar
Tingkat 0 - Brankas	Konten aman tetapi mengandung citra terkait seksual yang digunakan dalam arti umum. Drive ini termasuk: Hubungan keluarga dan romantis Kelenjar non-seksual Pakaian Objek umum Pose atau aktivitas non-seksual Kawin hewan Kesehatan seksual	Representasi memeluk atau membuat kontak fisik non-seksual Representasi yang menggambarkan tampilan fisik kasih sayang seperti berciuman tanpa lidah dan tanpa kelenjar
Tingkat 2 – Rendah	Konten yang berisi perilaku atau tindakan sugestif seksual. Drive ini termasuk: Pengalaman pribadi Pemodelan mode Keakuratan dalam karya seni Seni tubuh Tampilan racy	Penggambatan orang
Tingkat 4 - Sedang	Konten yang berisi konten komersial dan erotis dan/atau pornografi amatir tanpa penetrasi fotografi visual dan peserta telanjang atau semi-telanjang yang terlibat dalam adegan seksual dimaksudkan untuk membangkitkan gaitur seksual. Drive ini termasuk: Pemodelan seksual Kelembutan lembut dalam karya seni Pekerjaan seks atau toko Aktivitas seksual yang tidak jelas Produksi porno di belakang panggung Tarian tiang	Penggambaran tentang hubungan inti yang mungkin terhalang sebagian tetapi masih jelas ada dalam gambar
Tingkat 6 - Tinggi	Konten yang berisi penggambaran terperinci eksplisit tentang organ seksual dan tindakan seksual, termasuk tindakan ilegal. Drive ini termasuk: Pornografi inti lembut dan inti keras amatir Ajakan seksual Voyeurisme Seks dalam karya seni BDSM tanpa persetujuan atau Pemerkosaan Eksploitasi dan Pelecehan Seksual Anak Perawatan anak Inses	Penggambaran tentang keterlibatan dalam aktivitas seksual dengan hewan atau mayat

Tingkat keparahan kekerasan

Tingkat Keparahan	Keterangan	Contoh gambar
Tingkat 0 - Brankas	Konten aman tetapi berisi citra terkait kekerasan yang digunakan dalam arti umum. Drive ini termasuk: Pose tidur atau bertelur Objek umum Aktivitas tanpa kekerasan Tali bukan sebagai jerat Alat bladed yang digunakan di dapur/jahit Luka, bekas luka, dan perawatan bedah Olahraga berburu dan menembak Mainan dan berpura-pura senjata Latihan tempur Kerusakan objek dan vandalisme Simbolisme teroris yang tidak bermerek	Penggambutan senjata non-realistis dan alat blad
Tingkat 2 – Rendah	Konten yang berisi citra dan tindakan terkait kekerasan di dunia nyata atau konteks fiktif dengan gore rendah. Drive ini termasuk: Senjata, senjata, dan alat blad dipajang dan digunakan Mayat non-realistis Kekerasan non-realistis Senjata animasi Cedera ringan dan pengalaman pribadi Tali sebagai jerat Kematian dalam pengaturan historis, pendidikan, atau pemakaman Simbolisme teroris non-realistis Arung banteng	Penggambaran bendera ISIS/al-Qaeda
Tingkat 4 - Sedang	Konten yang berisi kekerasan grafis sedang dan tindakan kekerasan yang ditujukan pada target yang diidentifikasi. Drive ini termasuk: Otopsi TKP kejahatan atau kematian Kematian hewan (alami atau diburu), pengorbanan hewan, penyalahgunaan hewan Perbudakan Pembunuhan genosida dan massal dalam sejarah, pengaturan pendidikan Rumah jagal Kekerasan dalam rumah tangga dan penyalahgunaan fisik Bullying Senjata dan senjata yang digunakan melawan target	Penggambaran tentang penggunaan kekuatan dan pemaksaan untuk secara agresif mendominasi atau mengintimidasi individu
Tingkat 6 - Tinggi	Konten yang berisi penggambaran terperinci eksplisit tentang kekerasan dan tindakan kekerasan dengan kecepatan tinggi. Drive ini termasuk: Cedera grafis dan kematian Pemisahan, pembegalan, pembakaran hidup-hidup Dekomposisi mayat Terorisme, Kelompok teroris, dan bendera Kerja paksa dan pelayanan, prosedur medis paksa Menguntit Mayat dalam terorisme dan kejahatan perang Peristiwa pemotretan Ekstremisme lainnya	Penggambaran kematian ketika dilakukan oleh kelompok teroris yang dapat diidentifikasi oleh bendera dan simbol ISIS

Tingkat keparahan yang membahayakan diri sendiri

Tingkat Keparahan	Keterangan	Contoh gambar
Tingkat 0 - Brankas	Konten aman tetapi berisi citra terkait yang membahayakan diri sendiri yang digunakan dalam arti umum. Drive ini termasuk: Rendah lemak tubuh Tindakan tidak membahayakan diri sendiri Cedera tubuh yang tidak disengaja	Penggambatan melompat dengan parasut keluar dari bidang
Tingkat 2 – Rendah	Konten yang berisi citra terkait bahaya diri sendiri dan bertindak di dunia nyata atau konteks fiksi dengan gore rendah. Drive ini termasuk: Bekas luka Cedera melukai diri sendiri dalam pemulihan Melukai diri sendiri yang tidak realistis Individu atau hewan yang dipanaskan	Representasi tindakan terkait bahaya diri sendiri, alat, cedera dan keadaan emosional
Tingkat 4 - Sedang	Konten yang berisi citra grafis sedang yang terkait dengan bahaya diri sendiri dan bunuh diri. Drive ini termasuk: Otopsi TKP kejahatan atau kematian Bullying	Representasi penggunaan kekuatan dan pemaksaan untuk secara agresif mendominasi atau mengintimidasi seseorang menjadi bahaya diri sendiri
Tingkat 6 - Tinggi	Konten yang berisi penggambaran terperinci eksplisit tentang bahaya diri sendiri dan bunuh diri dengan kecepatan tinggi. Drive ini termasuk: Tindakan melukai diri sendiri yang akan segera Tindakan melukai diri sendiri Bunuh diri	Penggambatan bunuh diri yang disengaja, di mana seseorang telah bunuh diri dengan melompat dari gedung tinggi

Konfigurasi (pratinjau)

Konfigurasi pemfilteran konten default diatur untuk memfilter pada ambang keparahan sedang untuk keempat kategori bahaya konten untuk perintah dan penyelesaian. Itu berarti bahwa konten yang terdeteksi pada tingkat keparahan sedang atau tinggi difilter, sementara konten yang terdeteksi pada tingkat keparahan rendah tidak difilter oleh filter konten. Fitur konfigurasi tersedia dalam pratinjau dan memungkinkan pelanggan untuk menyesuaikan pengaturan, secara terpisah untuk permintaan dan penyelesaian, untuk memfilter konten untuk setiap kategori konten pada tingkat keparahan yang berbeda seperti yang dijelaskan dalam tabel di bawah ini:

Tingkat keparahan difilter	Dapat dikonfigurasi untuk perintah	Dapat dikonfigurasi untuk penyelesaian	Deskripsi
Rendah, sedang, tinggi	Ya	Ya	Konfigurasi pemfilteran paling ketat. Konten yang terdeteksi pada tingkat keparahan rendah, sedang, dan tinggi difilter.
Sedang, tinggi	Ya	Ya	Pengaturan awal. Konten yang terdeteksi pada tingkat keparahan rendah tidak difilter, konten pada sedang dan tinggi difilter.
Sangat Penting	Ya	Ya	Konten yang terdeteksi pada tingkat keparahan rendah dan sedang tidak difilter. Hanya konten pada tingkat keparahan tinggi yang difilter.
Tidak ada filter	Jika disetujui*	Jika disetujui*	Tidak ada konten yang difilter terlepas dari tingkat keparahan yang terdeteksi. Memerlukan persetujuan*.

^* Hanya pelanggan yang telah disetujui untuk pemfilteran konten yang dimodifikasi yang memiliki kontrol pemfilteran konten penuh dan dapat menonaktifkan sebagian atau sepenuhnya filter konten. Kontrol pemfilteran konten tidak berlaku untuk filter konten untuk DALL-E (pratinjau) atau GPT-4 Turbo dengan Visi (pratinjau). Terapkan untuk filter konten yang dimodifikasi menggunakan formulir ini: Tinjauan Akses Terbatas Azure OpenAI: Pemfilteran Konten yang Dimodifikasi (microsoft.com).

Pelanggan bertanggung jawab untuk memastikan bahwa aplikasi yang mengintegrasikan Azure OpenAI mematuhi Kode Etik.

Konfigurasi pemfilteran konten dibuat dalam Sumber Daya di Azure AI Studio, dan dapat dikaitkan dengan Penyebaran. Pelajari selengkapnya tentang konfigurasi di sini.

Detail skenario

Ketika sistem pemfilteran konten mendeteksi konten berbahaya, Anda menerima kesalahan pada panggilan API jika perintah dianggap tidak pantas, atau finish_reason pada respons akan content_filter menandakan bahwa beberapa penyelesaian difilter. Saat membuat aplikasi atau sistem, Anda harus memperhitungkan skenario ini di mana konten yang dikembalikan oleh API Penyelesaian difilter, yang mungkin mengakibatkan konten yang tidak lengkap. Cara Anda bertindak atas informasi ini akan menjadi aplikasi khusus. Perilaku dapat diringkas dalam poin-poin berikut:

• Perintah yang diklasifikasikan berdasarkan kategori yang difilter dan tingkat keparahan akan menghasilkan kesalahan HTTP 400.
• Panggilan penyelesaian non-streaming tidak akan mengembalikan konten apa pun saat konten difilter. Nilai finish_reason akan diatur ke content_filter. Dalam kasus yang jarang terjadi dengan respons yang lebih panjang, hasil parsial dapat dikembalikan. Dalam kasus ini, finish_reason akan diperbarui.
• Untuk panggilan penyelesaian streaming, segmen akan dikembalikan ke pengguna setelah selesai. Layanan akan melanjutkan streaming hingga mencapai token berhenti, panjang, atau ketika konten yang diklasifikasikan pada kategori yang difilter dan tingkat keparahan terdeteksi.

Skenario: Anda mengirim panggilan penyelesaian non-streaming yang meminta beberapa output; tidak ada konten yang diklasifikasikan pada kategori dan tingkat keparahan yang difilter

Tabel di bawah ini menguraikan berbagai cara untuk kemunculan pemfilteran konten:

Kode respons HTTP	Perilaku respons
200	Dalam kasus ketika semua generasi meneruskan filter seperti yang dikonfigurasi, tidak ada detail kon mode tenda rasi yang ditambahkan ke respons. finish_reason untuk setiap generasi akan berhenti atau panjang.

Contoh payload permintaan:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Contoh respons JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Skenario: Panggilan API Anda meminta beberapa respons (N>1) dan setidaknya salah satu respons difilter

Kode respons HTTP	Perilaku respons
200	Generasi yang difilter akan memiliki finish_reason nilai content_filter.

Contoh payload permintaan:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Contoh respons JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Skenario: Perintah input yang tidak pantas dikirim ke API penyelesaian (baik untuk streaming atau non-streaming)

Kode respons HTTP	Perilaku respons
400	Panggilan API gagal saat perintah memicu filter konten seperti yang dikonfigurasi. Ubah perintah dan coba lagi.

Contoh payload permintaan:

{
    "prompt":"Content that triggered the filtering model"
}

Contoh respons JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Skenario: Anda melakukan panggilan penyelesaian streaming; tidak ada konten output yang diklasifikasikan pada kategori dan tingkat keparahan yang difilter

Kode respons HTTP	Perilaku respons
200	Dalam hal ini, panggilan akan mengalir kembali dengan generasi penuh dan finish_reason akan menjadi 'panjang' atau 'berhenti' untuk setiap respons yang dihasilkan.

Contoh payload permintaan:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Contoh respons JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Skenario: Anda melakukan panggilan penyelesaian streaming yang meminta beberapa penyelesaian dan setidaknya sebagian konten output difilter

Kode respons HTTP	Perilaku respons
200	Untuk indeks generasi tertentu, potongan terakhir pembuatan menyertakan nilai non-null finish_reason . Nilainya adalah content_filter ketika pembuatan difilter.

Contoh payload permintaan:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Contoh respons JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Skenario: Sistem pemfilteran konten tidak berjalan pada penyelesaian

Kode respons HTTP	Perilaku respons
200	Jika sistem pemfilteran konten tidak berfungsi atau tidak dapat menyelesaikan operasi tepat waktu, permintaan Anda akan tetap selesai tanpa pemfilteran konten. Anda dapat menentukan bahwa pemfilteran tidak diterapkan dengan mencari pesan kesalahan di content_filter_result objek.

Contoh payload permintaan:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Contoh respons JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Anotasi

Filter konten

Ketika anotasi diaktifkan seperti yang ditunjukkan dalam cuplikan kode di bawah ini, informasi berikut dikembalikan melalui API untuk kategori kebencian dan keadilan, seksual, kekerasan, dan bahaya diri:

• kategori pemfilteran konten (kebencian, seksual, kekerasan, self_harm)
• tingkat keparahan (aman, rendah, sedang atau tinggi) dalam setiap kategori konten
• status pemfilteran (benar atau salah).

Model opsional

Model opsional dapat diaktifkan dalam anotasi (mengembalikan informasi saat konten ditandai, tetapi tidak difilter) atau mode filter (mengembalikan informasi saat konten ditandai dan difilter).

Ketika anotasi diaktifkan seperti yang ditunjukkan pada cuplikan kode di bawah ini, informasi berikut dikembalikan oleh API untuk model opsional: risiko jailbreak, teks bahan yang dilindungi, dan kode bahan yang dilindungi:

• kategori (jailbreak, protected_material_text, protected_material_code),
• terdeteksi (benar atau salah),
• difilter (benar atau salah).

Untuk model kode material yang dilindungi, informasi tambahan berikut dikembalikan oleh API:

• contoh kutipan repositori GitHub publik tempat cuplikan kode ditemukan
• lisensi repositori.

Saat menampilkan kode di aplikasi Anda, kami sangat menyarankan agar aplikasi juga menampilkan contoh kutipan dari anotasi. Kepatuhan terhadap lisensi yang dikutip mungkin juga diperlukan untuk cakupan Komitmen Hak Cipta Pelanggan.

Anotasi saat ini tersedia dalam versi 2024-02-01 GA API dan di semua versi pratinjau mulai dari 2023-06-01-preview untuk Penyelesaian dan Penyelesaian Obrolan (model GPT). Cuplikan kode berikut menunjukkan cara menggunakan anotasi:

OpenAI Python 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Output

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

OpenAI Python 0.28.1

Catatan

Versi 0.28.1 pustaka OpenAI Python tidak digunakan lagi. Sebaiknya gunakan 1.x. Lihat panduan migrasi kami untuk informasi tentang berpindah dari 0.28.1 ke 1.x.

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Output

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

Cuplikan kode berikut menunjukkan cara mengambil anotasi saat konten difilter:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Kode sumber Azure OpenAI JavaScript SDK & sampel

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

Objek $response berisi properti bernama prompt_filter_results yang berisi anotasi tentang hasil filter. Jika Anda lebih suka JSON ke objek .NET, pipa output ke ConvertTo-JSON alih-alih Format-List.

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Untuk detail tentang titik akhir REST API inferensi untuk Azure OpenAI dan cara membuat Obrolan dan Penyelesaian, ikuti panduan referensi REST API Layanan Azure OpenAI. Anotasi dikembalikan untuk semua skenario saat menggunakan versi API pratinjau apa pun mulai dari 2023-06-01-preview, serta versi 2024-02-01GA API .

Contoh skenario: Perintah input yang berisi konten yang diklasifikasikan pada kategori yang difilter dan tingkat keparahan dikirim ke API penyelesaian

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Streaming konten

Bagian ini menjelaskan pengalaman dan opsi streaming konten Azure OpenAI. Dengan persetujuan, Anda memiliki opsi untuk menerima konten dari API seperti yang dihasilkan, alih-alih menunggu potongan konten yang telah diverifikasi untuk meneruskan filter konten Anda.

Default

Sistem pemfilteran konten terintegrasi dan diaktifkan secara default untuk semua pelanggan. Dalam skenario streaming default, konten penyelesaian di-buffer, sistem pemfilteran konten berjalan pada konten yang di-buffer, dan - tergantung pada konfigurasi pemfilteran konten - konten dikembalikan kepada pengguna jika tidak melanggar kebijakan pemfilteran konten (default Microsoft atau konfigurasi pengguna kustom), atau segera diblokir dan mengembalikan kesalahan pemfilteran konten, tanpa mengembalikan konten penyelesaian berbahaya. Proses ini diulang hingga akhir aliran. Konten sepenuhnya diperiksa sesuai dengan kebijakan pemfilteran konten sebelum dikembalikan kepada pengguna. Konten tidak dikembalikan token-by-token dalam hal ini, tetapi dalam "potongan konten" dari ukuran buffer masing-masing.

Filter yang dimodifikasi asinkron

Pelanggan yang telah disetujui untuk filter konten yang dimodifikasi dapat memilih filter yang dimodifikasi asinkron sebagai opsi tambahan, memberikan pengalaman streaming baru. Dalam hal ini, filter konten dijalankan secara asinkron, dan konten penyelesaian segera dikembalikan dengan pengalaman streaming token demi token yang lancar. Tidak ada konten yang di-buffer, yang memungkinkan latensi nol.

Pelanggan harus menyadari bahwa meskipun fitur ini meningkatkan latensi, ini adalah trade-off terhadap keamanan dan pemeriksaan real-time dari bagian output model yang lebih kecil. Karena filter konten dijalankan secara asinkron, pesan con mode tenda ration dan sinyal pelanggaran kebijakan tertunda, yang berarti beberapa bagian konten berbahaya yang sebaliknya akan segera difilter dapat ditampilkan kepada pengguna.

Anotasi: Anotasi dan pesan con mode tenda ration terus dikembalikan selama aliran. Kami sangat menyarankan Anda menggunakan anotasi di aplikasi Anda dan menerapkan mekanisme keamanan konten AI tambahan, seperti meredaksi konten atau mengembalikan informasi keamanan tambahan kepada pengguna.

Sinyal pemfilteran konten: Sinyal kesalahan pemfilteran konten tertunda. Jika terjadi pelanggaran kebijakan, kebijakan dikembalikan segera setelah tersedia, dan aliran dihentikan. Sinyal pemfilteran konten dijamin dalam jendela ~1.000 karakter konten yang melanggar kebijakan.

Persetujuan untuk pemfilteran konten yang dimodifikasi diperlukan untuk akses ke filter yang dimodifikasi asinkron. Aplikasi dapat ditemukan di sini. Untuk mengaktifkannya di Azure OpenAI Studio, ikuti panduan cara memfilter konten untuk membuat konfigurasi pemfilteran konten baru, dan pilih Filter Modifikasi Asinkron di bagian Streaming.

Perbandingan mode pemfilteran konten

Bandingkan	Streaming - Default	Streaming - Filter Yang Dimodifikasi Asinkron
Keadaan	GA	Pratinjau Umum
Kelayakan	Semua pelanggan	Pelanggan disetujui untuk pemfilteran konten yang dimodifikasi
Cara mengaktifkan	Diaktifkan secara default, tidak ada tindakan yang diperlukan	Pelanggan yang disetujui untuk pemfilteran konten yang dimodifikasi dapat mengonfigurasinya langsung di Azure OpenAI Studio (sebagai bagian dari konfigurasi pemfilteran konten, diterapkan pada tingkat penyebaran)
Modalitas dan ketersediaan	Teks; semua model GPT	Teks; semua model GPT kecuali gpt-4-vision
Pengalaman streaming	Konten di-buffer dan dikembalikan dalam gugus	Latensi nol (tanpa buffering, filter berjalan secara asinkron)
Sinyal pemfilteran konten	Sinyal pemfilteran langsung	Sinyal pemfilteran tertunda (hingga ~1.000 kenaikan karakter)
Konfigurasi pemfilteran konten	Mendukung pengaturan filter default dan yang ditentukan pelanggan (termasuk model opsional)	Mendukung pengaturan filter default dan yang ditentukan pelanggan (termasuk model opsional)

Anotasi dan respons sampel

Perintahkan pesan anotasi

Ini sama dengan anotasi default.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Pesan token penyelesaian

Pesan penyelesaian segera diteruskan. Tidak ada moderasi yang dilakukan terlebih dahulu, dan tidak ada anotasi yang disediakan pada awalnya.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Pesan anotasi

Bidang teks akan selalu menjadi string kosong, menunjukkan tidak ada token baru. Anotasi hanya akan relevan dengan token yang sudah dikirim. Mungkin ada beberapa pesan anotasi yang mengacu pada token yang sama.

"start_offset" dan "end_offset" merupakan offset granularitas rendah dalam teks (dengan 0 pada awal permintaan) untuk menandai teks mana yang relevan dengan anotasi.

"check_offset" mewakili berapa banyak teks yang telah dimoderasi sepenuhnya. Ini adalah batas bawah eksklusif pada "end_offset" nilai anotasi di masa depan. Ini tidak menurun.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Aliran respons sampel (meneruskan filter)

Di bawah ini adalah respons penyelesaian obrolan nyata menggunakan filter yang dimodifikasi asinkron. Perhatikan bagaimana anotasi perintah tidak diubah, token penyelesaian dikirim tanpa anotasi, dan pesan anotasi baru dikirim tanpa token—sebaliknya dikaitkan dengan offset filter konten tertentu.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Aliran respons sampel (diblokir oleh filter)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Penting

Ketika pemfilteran konten dipicu untuk perintah dan "status": 400 diterima sebagai bagian dari respons mungkin ada biaya untuk permintaan ini karena permintaan dievaluasi oleh layanan. Biaya juga akan terjadi ketika "status":200 diterima dengan "finish_reason": "content_filter". Dalam hal ini, perintah tidak memiliki masalah, tetapi penyelesaian yang dihasilkan oleh model terdeteksi melanggar aturan pemfilteran konten yang menghasilkan penyelesaian yang difilter.

Praktik terbaik

Sebagai bagian dari desain aplikasi Anda, pertimbangkan praktik terbaik berikut untuk memberikan pengalaman positif dengan aplikasi Anda sambil meminimalkan potensi bahaya:

• Tentukan bagaimana Anda ingin menangani skenario di mana pengguna Anda mengirim perintah yang berisi konten yang diklasifikasikan pada kategori dan tingkat keparahan yang difilter atau menyalahgunakan aplikasi Anda.
• Periksa finish_reason untuk melihat apakah penyelesaian difilter.
• Periksa apakah tidak ada objek kesalahan dalam content_filter_result (menunjukkan bahwa filter konten tidak berjalan).
• Jika Anda menggunakan model kode material yang dilindungi dalam mode anotasi, tampilkan URL kutipan saat Anda menampilkan kode di aplikasi Anda.

Langkah berikutnya

• Pelajari selengkapnya tentang model yang mendasari yang mendukung Azure OpenAI.
• Terapkan untuk filter konten yang dimodifikasi melalui formulir ini.
• Pemfilteran konten Azure OpenAI didukung oleh Azure AI Content Brankas ty.
• Pelajari selengkapnya tentang memahami dan mengurangi risiko yang terkait dengan aplikasi Anda: Gambaran umum praktik AI yang Bertanggung Jawab untuk model Azure OpenAI.
• Pelajari selengkapnya tentang cara data diproses sehubungan dengan pemfilteran konten dan pemantauan penyalahgunaan: Data, privasi, dan keamanan untuk Azure OpenAI Service.