Mempelajari konsep moderasi teks
Gunakan model moderasi teks Content Moderator untuk menganalisis konten teks, seperti ruang obrolan, papan diskusi, bot obrolan, katalog e-niaga, dan dokumen.
Respons layanan mencakup informasi berikut:
- Kata-kata kotor: pencocokan berbasis istilah dengan daftar bawaan istilah kata-kata kotor dalam berbagai bahasa
- Klasifikasi: klasifikasi yang dibantu mesin ke dalam tiga kategori
- Data pribadi
- Teks yang dikoreksi otomatis
- Teks asli
- Bahasa
Kasar
Jika API mendeteksi istilah dengan kata-kata kasar dalam salah satu bahasa yang didukung, persyaratan tersebut disertakan dalam respons. Respons juga berisi lokasinya (Index
) dalam teks asli. ListId
Dalam contoh JSON berikut mengacu pada istilah yang ditemukan dalam daftar istilah kustom jika tersedia.
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 0,
"Term": "<offensive word>"
}
Catatan
Untuk parameter language, tetapkan eng
atau biarkan kosong untuk melihat respons klasifikasi yang dibantu mesin (fitur pratinjau). Fitur ini hanya mendukung bahasa Inggris.
Untuk deteksi istilah kata-kata kotor, gunakan kode ISO 639-3 dari bahasa yang didukung yang tercantum dalam artikel ini, atau biarkan kosong.
Klasifikasi
Fitur klasifikasi teks yang dibantu mesin Content Moderator hanya mendukung bahasa Inggris, dan membantu mendeteksi konten yang berpotensi tidak diinginkan. Konten yang ditandai dapat dinilai tidak pantas tergantung pada konteks. Ini menyampaikan kemungkinan setiap kategori. Fitur ini menggunakan model terlatih untuk mengidentifikasi kemungkinan bahasa yang kasar, menghina, atau diskriminatif. Ini termasuk bahasa gaul, kata-kata singkat, menyinggung, dan kata-kata yang sengaja salah eja.
Ekstrak berikut dalam ekstrak JSON menunjukkan contoh output:
"Classification": {
"ReviewRecommended": true,
"Category1": {
"Score": 1.5113095059859916E-06
},
"Category2": {
"Score": 0.12747249007225037
},
"Category3": {
"Score": 0.98799997568130493
}
}
Penjelasan
Category1
mengacu pada potensi keberadaan bahasa yang mungkin dianggap eksplisit secara seksual atau dewasa dalam situasi tertentu.Category2
mengacu pada potensi keberadaan bahasa yang mungkin dianggap sugestif secara seksual atau dewasa dalam situasi tertentu.Category3
mengacu pada potensi keberadaan bahasa yang mungkin dianggap menyinggung dalam situasi tertentu.Score
adalah antara 0 dan 1. Semakin tinggi skor, semakin tinggi model memprediksi bahwa kategori mungkin berlaku. Fitur ini mengandalkan model statistik daripada hasil yang dikodekan secara manual. Kami merekomendasikan pengujian dengan konten Anda sendiri untuk menentukan bagaimana setiap kategori sesuai dengan kebutuhan Anda.ReviewRecommended
benar atau salah tergantung pada ambang skor internal. Pelanggan harus menilai apakah akan menggunakan nilai ini atau memutuskan ambang kustom berdasarkan kebijakan konten mereka.
Data pribadi
Fitur data pribadi mendeteksi potensi keberadaan informasi ini:
- Alamat email
- Alamat surat AS
- Alamat IP
- Nomor telepon AS
Contoh berikut menunjukkan respons sampel:
"pii":{
"email":[
{
"detected":"abcdef@abcd.com",
"sub_type":"Regular",
"text":"abcdef@abcd.com",
"index":32
}
],
"ssn":[
],
"ipa":[
{
"sub_type":"IPV4",
"text":"255.255.255.255",
"index":72
}
],
"phone":[
{
"country_code":"US",
"text":"6657789887",
"index":56
}
],
"address":[
{
"text":"1 Microsoft Way, Redmond, WA 98052",
"index":89
}
]
}
Koreksi otomatis
Respons moderasi teks secara opsional dapat mengembalikan teks dengan koreksi otomatis dasar yang diterapkan.
Misalnya, teks input berikut memiliki kesalahan ejaan.
Seekor rubah coklat yang cepat melompati anjing pemalas.
Jika Anda meminta koreksi otomatis, respons berisi versi teks yang dikoreksi:
The quick brown fox jumps over the lazy dog.
Membuat dan mengelola daftar istilah kustom Anda
Meskipun default, daftar istilah global sangat bagus untuk sebagian besar kasus, Anda mungkin ingin menyaring istilah yang khusus untuk kebutuhan bisnis Anda. Misalnya, Anda mungkin ingin memfilter nama merek yang kompetitif dari posting oleh pengguna.
Catatan
Ada batas maksimum 5 daftar istilah dengan setiap daftar tidak melebihi 10.000 istilah.
Contoh berikut menunjukkan ID Daftar yang cocok:
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 231.
"Term": "<offensive word>"
}
Content Moderator menyediakan Term List API dengan operasi untuk mengelola daftar istilah kustom. Lihat mulai cepat .NET Daftar Istilah jika Anda terbiasa dengan Visual Studio dan C#.
Langkah berikutnya
Uji API dengan Mulai Cepat.