Azure AI Content Safety を使用すると、特定のポリシーやユース ケースに一致する強化されたモデレーションとフィルター処理のために、独自のコンテンツ カテゴリを作成して管理できます。
カスタマイズの種類
複数のメソッドを使用して、カスタム カテゴリを定義して使用できます。 このセクションでは、これらのメソッドについて詳しく説明し、比較します。
| API | 機能 |
|---|---|
| カスタム カテゴリ (標準) API | カスタマイズ可能な機械学習モデルを使用して、カスタマイズされたカテゴリを作成、取得、クエリ、削除します。 または、カスタマイズしたすべてのカテゴリをリストして、さらに注釈タスクを行います。 |
| カスタム カテゴリ (急速) API | 大規模言語モデル (LLM) を使用して、新たに発生するコンテンツ インシデントの特定のコンテンツ パターンをすばやく学習します。 |
カスタム カテゴリ (標準) API
カスタム カテゴリ (標準) API を使用すると、ニーズに固有のカテゴリを定義し、サンプル データを提供し、カスタム機械学習モデルをトレーニングし、それを使用して学習したカテゴリに従って新しいコンテンツを分類できます。
この API は、機械学習モデルを使用してカスタマイズするための標準的なワークフローを提供します。 トレーニング データの品質によっては、非常に優れたパフォーマンス レベルに達する可能性がありますが、モデルのトレーニングには数時間かかることがあります。
この実装はテキスト コンテンツに対して機能しますが、画像コンテンツに対しては機能しません。
カスタム カテゴリ (急速) API
カスタム カテゴリ (迅速) API は、標準メソッドよりも迅速かつ柔軟です。 これを使用して、オンライン プラットフォーム上の不適切または有害なコンテンツを含むサイバー インシデントの特定、分析、包含、根絶、復旧を行います。
インシデントには、Microsoft コミュニティ のガイドラインや顧客独自のポリシーと期待に違反する一連の新しいコンテンツ パターン (テキスト、画像、またはその他のモダリティ) が含まれる場合があります。 潜在的なライブ サイトの問題やユーザーやコミュニティへの損害を回避するには、これらのインシデントを迅速かつ正確に軽減する必要があります。
この実装はテキスト コンテンツと画像コンテンツの両方に対して機能します。
ヒント
新しいコンテンツ インシデントに対処するもう 1 つの方法は 、ブロックリストを使用することですが、このオプションでは、正確なテキスト マッチングのみが許可され、画像の一致は許可されません。 カスタム カテゴリ (急速) API では、次の高度な機能が提供されます。
- 軽量の分類子による埋め込み検索を使用したセマンティック テキスト照合
- 軽量オブジェクト追跡モデルと埋め込み検索を使用した画像照合
しくみ
Azure AI Content Safety カスタム カテゴリ機能では、カスタム コンテンツ分類モデルを作成、トレーニング、および使用するためのマルチステップ プロセスが使用されます。 ワークフローを次に示します。
ステップ 1: 定義とセットアップ
カスタム カテゴリを定義するときは、識別するコンテンツの種類を AI に教える必要があります。 この手順では、明確な カテゴリ名 と、コンテンツの特性をカプセル化する詳細な 定義 を指定します。
次に、AI がカテゴリの微妙な違いを学習するのに役立つ 、肯定的 な例と (必要に応じて) 否定的な 例を含むバランスの取れたデータセットを収集します。 このデータは、実際のシナリオでモデルが遭遇するさまざまなコンテンツを表す必要があります。
ステップ 2: モデル トレーニング
データセットを準備してカテゴリを定義すると、Azure AI Content Safety サービスによって新しい機械学習モデルがトレーニングされます。 このモデルでは、定義とアップロードされたデータセットを使用して、大規模な言語モデルを使用してデータ拡張を実行します。 その結果、トレーニング データセットは、より大きく、より高い品質になります。 トレーニング中、AI モデルはデータを分析し、指定されたカテゴリに合ったコンテンツとそうでないコンテンツを区別することを学習します。
手順 3: モデルの評価
トレーニング後、モデルを評価して、精度要件を満たしていることを確認します。 トレーニング中に受け取らなかった新しいコンテンツでモデルをテストします。 評価フェーズは、運用環境にモデルをデプロイする前に行う必要がある潜在的な調整を特定するのに役立ちます。
ステップ 4: モデルの使用
analyzeCustomCategory API を使用してテキスト コンテンツを分析し、定義したカスタム カテゴリと一致するかどうかを判断します。 サービスは、コンテンツが指定されたカテゴリと一致するかどうかを示すブール値を返します。
制限事項
利用できる言語
カスタム カテゴリ API は、Content Safety テキスト モデレーションがサポートするすべての言語をサポートします。 言語のサポートに関するページを参照してください。
入力制限
カスタム カテゴリ (標準) API の入力制限については、次の表を参照してください。
| Object | 制限事項 |
|---|---|
| サポートされている言語 | 英語のみ |
| ユーザーごとのカテゴリの数 | 3 |
| カテゴリごとのバージョン数 | 3 |
| カテゴリごとの同時実行ビルド (プロセス) の数 | 1 |
| 1 秒あたりの推論操作数 | 5 |
| カテゴリ バージョン内のサンプル数 | 肯定的サンプル (必須): 最小 50、最大 5,000 合計 (否定的サンプルと肯定的サンプルの両方): 10,000 重複するサンプルは許可されません。 |
| サンプル ファイル サイズ | 最大 128,000 バイト |
| テキスト サンプルの長さ | 最大 125,000 文字 |
| カテゴリ定義の長さ | 最大 1,000 文字 |
| カテゴリ名の長さ | 最大 128 文字 |
| BLOB URL の長さ | 最大 500 文字 |
利用可能なリージョン
これらの API を使用するには、サポートされているリージョンのいずれかに Azure AI Content Safety リソースを作成する必要があります。 詳細については、「 リージョンの可用性」を参照してください。
次のステップ
攻略ガイドに従って、Azure AI Content Safety API を使用してカスタム カテゴリを作成します。