Content Moderator のしくみ

10 分

Content Moderator サービスを使用するには、Azure サブスクリプションと Content Moderator リソースが必要です。このリソースは、サービスにアクセスするために必要であり、サービスのエンドポイントとアクセスキーが提供されます。

Microsoft では、サービスのテストに使用できる無料の価格レベルを提供しています。無料レベルを使用して、Content Moderator サービスが組織に適した選択肢かどうかを判断できます。

Content Moderator サービスには、REST を介して、または適切なソフトウェア開発キット (SDK) を使用してアクセスできます。 SDK で現在サポートされている言語は次のとおりです。

.NET
Java
Node.js
Python
Go

テキストのモデレート

API の 1 つのメソッド (ModerateText) を呼び出して、ファイル内のテキストをスキャンできます。メソッド呼び出しに入力ファイルと出力ファイルを指定します。サービスにより、ファイル内のテキストがスキャンされ、結果が出力ファイルに返されます。 API により、JSON 形式の結果が呼び出し元のアプリケーションに返されます。次のサンプルテキスト入力を使用します。

"Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052"

このサービスは、一部の個人データ (メール、電話、IP、アドレス) を識別し、テキストをレビューレコメンデーションを使用して分類します。

{
  "OriginalText": "Is this a janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "NormalizedText": "   janky email abcdef@abcd.com, phone: 6657789887, IP: 255.255.255.255, 1 Microsoft Way, Redmond, WA 98052",
  "Misrepresentation": null,
  "PII": {
    "Email": [{
      "Detected": "abcdef@abcd.com",
      "SubType": "Regular",
      "Text": "abcdef@abcd.com",
      "Index": 21
    }],
    "IPA": [{
      "SubType": "IPV4",
      "Text": "255.255.255.255",
      "Index": 61
    }],
    "Phone": [{
      "CountryCode": "US",
      "Text": "6657789887",
      "Index": 45
    }],
    "Address": [{
      "Text": "1 Microsoft Way, Redmond, WA 98052",
      "Index": 78
    }],
    "SSN": []
  },
  "Classification": {
    "ReviewRecommended": true,
    "Category1": {
      "Score": 0.00040505084325559437
    },
    "Category2": {
      "Score": 0.22345089912414551
    },
    "Category3": {
      "Score": 0.98799997568130493
    }
  },
  "Language": "eng",
  "Terms": [{
    "Index": 3,
    "OriginalIndex": 10,
    "ListId": 0,
    "Term": "janky"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "7a6e3717-1382-4b63-a8f4-24922e041f82"
}

画像のモデレート

サービスを画像モデレーションに使用するには、URL を介して画像にアクセスできる必要があります。画像が複数ある場合は、各画像の URL を別の行の項目としてテキストファイルに配置し、それをサービスに送信します。サービスが、各画像を個別に評価します。

画像が評価されると、アダルトカテゴリとわいせつカテゴリのスコアと分類を示す JSON 形式の結果が返されます。

{
  "AdultClassificationScore": 0.02518901415169239,
  "IsImageAdultClassified": false,
  "RacyClassificationScore": 0.052860850468277931,
  "IsImageRacyClassified": false,
  "Result": false,
  "AdvancedInfo": [{
    "Key": "ImageDownloadTimeInMs",
    "Value": "499"
  }, {
    "Key": "ImageSizeInBytes",
    "Value": "273405"
  }],
  "Status": {
    "Code": 3000,
    "Description": "OK",
    "Exception": null
  },
  "TrackingId": "d993e832-1bf5-48b2-b2b3-73e57b2bd6a2"
}

画像 API には、顔検出を実行する、OCR を実行して画像内のテキストをスキャンする、カスタム画像リストに対する画像照合を実行する機能も用意されています。各 API 呼び出しは個別の関数です。

続行

テキストのモデレート

画像のモデレート

フィードバック