Content Moderator とは
コンテンツ モデレーションは、簡単な手順を伴うプロセスです。 コンテンツを表示またはリリースして一般利用されるようにする前に、コンテンツをレビュー、監視、解釈します。 ただし、大量のコンテンツをモデレートするのは時間がかかる可能性があります。 Content Moderator のようなサービスを使用すると、このプロセスの多くを自動化し、必要に応じて人間によるレビューの必要性を設定できます。
Content Moderator サービスは、人工知能を利用した API であり、Azure で実行されます。 このサービスは、テキスト、画像、およびビデオ コンテンツをスキャンして、不快感を与える、危険な、または望ましくない可能性のある側面を探すことができます。 コンテンツ フラグが自動適用されますが、レビュー ツールとも統合されます。 レビュー ツールは、フラグが付けられたコンテンツの人間によるレビューを容易にするために使用するオンラインのモデレーター環境です。
API
Content Moderator で使用できる API にはさまざまな種類があります。 次の表では、現在の API についてそれぞれ説明します。
| API | 機能 |
|---|---|
| テキスト モデレーション | テキストをスキャンし、不快感を与える言葉、性的表現が露骨な言葉、性的表現を暗示している言葉、下品な言葉、個人を特定するデータがないか調べます。 |
| 画像モデレーション | 画像をスキャンし、アダルト コンテンツまたはわいせつコンテンツが含まれているか判断します。 また、光学式文字認識 (OCR) を使用して画像内のテキストをスキャンでき、画像内の顔を検出することもできます。 |
| ビデオ モデレーション | ビデオ ファイルをスキャンして、アダルト コンテンツまたはわいせつコンテンツが含まれているかを調べます。 API によって、コンテンツが見つかったタイム マーカーが返されます。 |
| カスタム用語リスト | テキストをスキャンし、事前に作成した用語リストと照合します。 このリストを使用すると、組織のコンテンツ ポリシーに基づいてコンテンツをブロックまたは許可することができます。 |
| カスタム画像リスト | 画像をスキャンして、カスタム画像リストと照合します。 このリストを使用すると、何度も出現し、そのたびに分類するのが煩わしいコンテンツを除外することができます。 |
コンテンツのレビュー
自動コンテンツ モデレーションでは、検証が依然として必要とされる場合があります。 また、モデレーション タスクでサービスがどのように実行されているかを監視したい場合もあります。 Content Moderator サービスは、一連のレビュー API もサポートしています。 レビュー API を使用して、人間のレビュー担当者をワークフローに組み込むことができます。 人間がレビュー ツールを使用してサービスとやり取りします。これは人間のモデレーターが処理および監視できるコンテンツ レビューがホストされる Web ベースのインターフェイスです。