Mempelajari konsep moderasi teks

  • Artikel

Gunakan model moderasi teks Content Moderator untuk menganalisis konten teks, seperti ruang obrolan, papan diskusi, bot obrolan, katalog e-niaga, dan dokumen.

Respons layanan mencakup informasi berikut:

  • Kata-kata kotor: pencocokan berbasis istilah dengan daftar bawaan istilah kata-kata kotor dalam berbagai bahasa
  • Klasifikasi: klasifikasi yang dibantu mesin ke dalam tiga kategori
  • Data pribadi
  • Teks yang dikoreksi otomatis
  • Teks asli
  • Bahasa

Kasar

Jika API mendeteksi istilah dengan kata-kata kasar dalam salah satu bahasa yang didukung, persyaratan tersebut disertakan dalam respons. Respons juga berisi lokasinya (Index) dalam teks asli. ListId di sampel JSON berikut mengacu pada istilah yang ditemukan dalam daftar istilah kustom jika tersedia.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Catatan

Untuk parameter language, tetapkan eng atau biarkan kosong untuk melihat respons klasifikasi yang dibantu mesin (fitur pratinjau). Fitur ini hanya mendukung bahasa Inggris.

Untuk deteksi istilah kata-kata kotor, gunakan kode ISO 639-3 dari bahasa yang didukung yang tercantum dalam artikel ini, atau biarkan kosong.

Klasifikasi

Fitur klasifikasi teks yang dibantu mesin Content Moderator hanya mendukung bahasa Inggris, dan membantu mendeteksi konten yang berpotensi tidak diinginkan. Konten yang ditandai dapat dinilai tidak pantas tergantung pada konteks. Ini mencerminkan kemungkinan setiap kategorinya. Fitur ini menggunakan model terlatih untuk mengidentifikasi kemungkinan bahasa yang kasar, menghina, atau diskriminatif. Ini termasuk bahasa gaul, kata-kata yang disingkat, kata yang menyinggung, dan kata-kata yang sengaja salah eja.

Ekstrak berikut dalam ekstrak JSON menunjukkan contoh output:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Penjelasan

  • Category1 mengacu pada potensi keberadaan bahasa yang mungkin dianggap eksplisit secara seksual atau dewasa dalam situasi tertentu.
  • Category2 mengacu pada potensi keberadaan bahasa yang mungkin dianggap sugestif secara seksual atau dewasa dalam situasi tertentu.
  • Category3 mengacu pada potensi keberadaan bahasa yang mungkin dianggap menyinggung dalam situasi tertentu.
  • Score adalah antara 0 dan 1. Semakin tinggi skor, semakin tinggi model memprediksi bahwa kategori mungkin berlaku. Fitur ini mengandalkan model statistik daripada hasil yang dikodekan secara manual. Sebaiknya uji dengan konten Anda sendiri untuk menentukan bagaimana setiap kategori sesuai dengan kebutuhan Anda.
  • ReviewRecommended benar atau salah tergantung pada ambang skor internal. Pelanggan harus menilai apakah akan menggunakan nilai ini atau memutuskan ambang kustom berdasarkan kebijakan konten mereka.

Data pribadi

Fitur data pribadi mendeteksi potensi keberadaan informasi ini:

  • Alamat email
  • Alamat surat AS
  • Alamat IP
  • Nomor telepon AS

Contoh berikut menunjukkan respons sampel:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Koreksi otomatis

Respons moderasi teks secara opsional dapat mengembalikan teks dengan koreksi otomatis dasar yang diterapkan.

Misalnya, teks input berikut memiliki kesalahan ejaan.

Seekor rubah coklat yang cepat melompati anjing pemalas.

Jika Anda meminta koreksi otomatis, respons berisi versi teks yang dikoreksi:

The quick brown fox jumps over the lazy dog.

Membuat dan mengelola daftar istilah kustom Anda

Meskipun default, daftar istilah global sangat bagus untuk sebagian besar kasus, Anda mungkin ingin menyaring istilah yang khusus untuk kebutuhan bisnis Anda. Misalnya, Anda mungkin ingin memfilter nama merek yang kompetitif dari posting oleh pengguna.

Catatan

Ada batas maksimum 5 daftar istilah dengan setiap daftar tidak melebihi 10.000 istilah.

Contoh berikut menunjukkan ID Daftar yang cocok:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator menyediakan Term List API dengan operasi untuk mengelola daftar istilah kustom. Mulai dengan Konsol Term Lists API dan gunakan sampel kode REST API. Lihat juga mulai cepat Term Lists .NET jika Anda memahami Visual Studio dan C#.

Langkah berikutnya

Uji API dengan konsol API Moderasi teks.