Bagikan melalui


Kategori bahaya di Azure AI Content Brankas ty

Panduan ini menjelaskan semua kategori bahaya dan peringkat yang digunakan Azure AI Content Brankas ty untuk menandai konten. Konten teks dan gambar menggunakan serangkaian bendera yang sama.

Kategori bahaya

Konten Brankas ty mengenali empat kategori konten yang berbeda yang tidak dapat ditolak.

Kategori Deskripsi
Kebencian dan Keadilan Bahaya terkait kebencian dan keadilan mengacu pada konten apa pun yang menyerang atau menggunakan bahasa pejoratif atau diskriminatif dengan mengacu pada seseorang atau kelompok identitas berdasarkan atribut pembeda tertentu dari kelompok-kelompok ini termasuk tetapi tidak terbatas pada ras, etnis, kebangsaan, identitas dan ekspresi gender, orientasi seksual, agama, status imigrasi, status kemampuan, penampilan pribadi, dan ukuran tubuh.

Kewajaran dikhawatirkan dengan memastikan bahwa sistem AI memperlakukan semua kelompok orang secara setara tanpa berkontribusi pada ketidaksetaraan masyarakat yang ada. Mirip dengan ujaran kebencian, kewajaran terkait bahaya engsel setelah perlakuan berbeda terhadap kelompok identitas.
Seksual Seksual menggambarkan bahasa yang terkait dengan organ dan alat kelamin anatomi, hubungan romantis, tindakan yang digambarkan dalam istilah erotis atau kasih sayang, kehamilan, tindakan seksual fisik, termasuk yang digambarkan sebagai penyerangan atau tindakan kekerasan seksual paksa terhadap kehendak, prostitusi, pornografi, dan penyalahgunaan seseorang.
Kekerasan Kekerasan menjelaskan bahasa yang terkait dengan tindakan fisik yang dimaksudkan untuk menyakiti, melukai, merusak, atau membunuh seseorang atau sesuatu; menjelaskan senjata, senjata dan entitas terkait, seperti manufaktur, asosiasi, undang-undang, dan sebagainya.
Melukai Diri Sendiri Melukai diri sendiri menggambarkan bahasa yang terkait dengan tindakan fisik yang dimaksudkan untuk melukai, melukai, merusak tubuh seseorang, atau membunuh diri sendiri.

Klasifikasi dapat dilabeli secara multi-label. Misalnya, ketika sampel teks melewati model moderasi teks, sampel tersebut dapat diklasifikasikan sebagai Konten seksual dan Kekerasan.

Tingkat keparahan

Setiap kategori bahaya yang diterapkan layanan juga dilengkapi dengan peringkat tingkat keparahan. Tingkat keparahan dimaksudkan untuk menunjukkan tingkat keparahan konsekuensi dari menampilkan konten yang ditandai.

Teks: Versi model teks saat ini mendukung skala tingkat keparahan 0-7 penuh. Pengklasifikasi mendeteksi di antara semua tingkat keparahan di sepanjang skala ini. Jika ditentukan pengguna, pengguna dapat mengembalikan tingkat keparahan dalam skala 0, 2, 4, dan 6 yang dipangkas; masing-masing dua tingkat yang berdekatan dipetakan ke satu tingkat.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Gambar: Versi model gambar saat ini mendukung versi yang dipangkas dari skala tingkat keparahan 0-7 penuh. Pengklasifikasi hanya mengembalikan tingkat keparahan 0, 2, 4, dan 6; masing-masing dua tingkat yang berdekatan dipetakan ke satu tingkat.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Konten teks

Peringatan

Tab Definisi tingkat keparahan dalam dokumen ini berisi contoh konten berbahaya yang mungkin mengganggu beberapa pembaca.

Konten gambar

Peringatan

Tab Definisi tingkat keparahan dalam dokumen ini berisi contoh konten berbahaya yang mungkin mengganggu beberapa pembaca.

Langkah berikutnya

Ikuti mulai cepat untuk mulai menggunakan Azure AI Content Brankas ty di aplikasi Anda.