Jak Content Moderator funguje

  • 10 min

Použití služby Content Moderator vyžaduje předplatné Azure a prostředek Content Moderatoru. Prostředek je nutný pro přístup ke službě a poskytuje koncový bod a přístupový klíč pro službu.

Microsoft poskytuje bezplatnou cenovou úroveň, kterou můžete použít k otestování služby. Pomocí úrovně Free můžete určit, jestli je služba Content Moderator pro vaši organizaci správnou volbou.

Ke službě Content Moderator je možné přistupovat prostřednictvím REST nebo pomocí příslušné sady SDK (Software Development Kit). Aktuálně podporované jazyky v sadě SDK jsou:

  • .NET
  • Java
  • Node.js
  • Python
  • Přejít

Moderování textu

Můžete volat jednu metodu v rozhraní API, ModerateText, která prohledá text v souboru. Do volání metody zadáte vstupní soubor a výstupní soubor. Služba prohledá text v souboru a vrátí výsledky ve výstupním souboru. Rozhraní API vrátí výsledek ve formátu JSON zpět do volající aplikace. Použití ukázkového textového vstupu:

"Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052"

Služba identifikuje některé osobní údaje (e-mail, telefon, IP adresu a adresu) a potom klasifikuje text doporučením ke kontrole.

{
  "OriginalText": "Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "NormalizedText": "   janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "Misrepresentation": null,
  "PII": {
    "Email": [{
      "Detected": "abcdef@abcd.com",
      "SubType": "Regular",
      "Text": "abcdef@abcd.com",
      "Index": 21
    }],
    "IPA": [{
      "SubType": "IPV4",
      "Text": "255.255.255.255",
      "Index": 61
    }],
    "Phone": [{
      "CountryCode": "US",
      "Text": "6657789887",
      "Index": 45
    }],
    "Address": [{
      "Text": "1 Microsoft Way, Redmond, WA 98052",
      "Index": 78
    }],
    "SSN": []
  },
  "Classification": {
    "ReviewRecommended": true,
    "Category1": {
      "Score": 0.00040505084325559437
    },
    "Category2": {
      "Score": 0.22345089912414551
    },
    "Category3": {
      "Score": 0.98799997568130493
    }
  },
  "Language": "eng",
  "Terms": [{
    "Index": 3,
    "OriginalIndex": 10,
    "ListId": 0,
    "Term": "janky"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "7a6e3717-1382-4b63-a8f4-24922e041f82"
}

Moderování obrázků

Použití služby pro moderování obrázků vyžaduje, aby obrázky byly přístupné prostřednictvím adresy URL. Pokud máte více obrázků, umístíte adresy URL pro každý obrázek jako samostatnou položku řádku do textového souboru a odešlete je do služby. Služba vyhodnocuje každou image samostatně.

Po vyhodnocení obrázku se vrátí výsledek JSON označující skóre a klasifikaci pro kategorie dospělých arací.

{
  "AdultClassificationScore": 0.02518901415169239,
  "IsImageAdultClassified": false,
  "RacyClassificationScore": 0.052860850468277931,
  "IsImageRacyClassified": false,
  "Result": false,
  "AdvancedInfo": [{
    "Key": "ImageDownloadTimeInMs",
    "Value": "499"
  }, {
    "Key": "ImageSizeInBytes",
    "Value": "273405"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "d993e832-1bf5-48b2-b2b3-73e57b2bd6a2"
}

Rozhraní API pro obrázky také nabízí možnost spouštět detekci tváří, provádět OCR ke skenování textu na obrázku nebo provádět porovnávání obrázků se seznamem vlastních obrázků. Každé volání rozhraní API je samostatná funkce.