Azure AI Content Safety の危害カテゴリ

このガイドでは、Azure AI Content Safety でコンテンツにフラグを設定するために使用される危害カテゴリと評価について説明します。 テキストと画像の両方のコンテンツで同じフラグ セットが使用されます。

危害カテゴリ

Content Safety により、不快なコンテンツの 4 つの異なるカテゴリが認識されます。

カテゴリ 説明
ヘイトと公平性 ヘイトと公平性に関連する危害カテゴリは、人種、民族、国籍、性同一性と性表現、性的指向、宗教、在留資格、能力状態、容姿、体格などを含む (ただしこれらに限定せず)、これらのグループ特有の識別属性に基づいて、個人またはアイデンティティ グループに関連した、軽蔑的または差別的な言葉を含む、コンテンツの使用を指します。

公平性は、AI システムが既存の社会の不公平を助長することなく、すべてのグループの人々を公平に扱うことを保証することです。 ヘイトスピーチと同様に、公平性関連の危害は、アイデンティティ グループに対する不公平な扱いに左右されます。
性的 性的とは、解剖学的臓器や生殖器、恋愛関係、性愛的または情愛的な用語で描写された行為、妊娠、物理的な性的行為 (暴行または意志に反した強制的な性的暴力行為として描写されたものを含む)、売春、ポルノ、虐待に関連する言葉を表します。
暴力 暴力とは、人や何かに苦痛を与える、傷つける、損傷を与える、殺害することを意図した物理的な行動に関連する言葉、または武器、銃、関連エンティティ (製造業者、協会、法律など) などを表します。
自傷行為 自傷行為とは、故意に自分の体に苦痛を与える、傷つける、損傷を与える、または自殺を意図した物理的な行為に関連する言葉を表します。

分類には複数のラベルを付けることができます。 たとえば、テキスト サンプルがテキスト モデレーション モデルを通過すると、性的コンテンツと暴力の両方として分類される可能性があります。

セキュリティ レベル

サービスで適用されるすべての危害カテゴリには、重大度レベルも含まれます。 重大度レベルは、フラグが設定されたコンテンツを表示した結果の重大度を示すためのものです。

テキスト: テキスト モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

画像: 画像モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールをトリミングしたバージョンがサポートされています。 この分類子は重大度 0、2、4、および 6 のみを返し、隣接する 2 つのレベルは、それぞれ 1 つのレベルにマップされます。

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

テキスト コンテンツ

警告

このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。

画像コンテンツ

警告

このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。

次のステップ

クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。