Azure AI Content Safety とは?

Azure AI Content Safety を使うと、アプリケーションやサービス内の有害なユーザー生成コンテンツや AI 生成コンテンツを検出できます。 Azure AI Content Safety には、有害な素材を検出できるテキストと画像の API が含まれています。 また、さまざまなモダリティで有害なコンテンツを検出するサンプル コードを表示、探索、試用できる対話型の Content Safety Studio も用意されています。

コンテンツ フィルタリング ソフトウェアは、アプリで法的規制に準拠したり、ユーザーが意図する環境を維持したりするのに役立ちます。

このドキュメントには、次の種類の記事が含まれています。

• クイックスタートは、サービスへの要求の実行方法を説明する概要手順です。
• 攻略ガイドには、より具体的またはカスタマイズした方法でサービスを使用するための手順が記載されています。
• 概念では、サービスの機能と特徴について詳しく説明します。

使用場所

ソフトウェア開発者またはチームがコンテンツ モデレーション サービスを使用するシナリオをいくつか次に示します。

• 生成 AI サービスに送信されたユーザー プロンプト。
• 生成 AI モデルによって生成されたコンテンツ。
• ユーザーが生成した製品カタログなどのコンテンツをモデレートするオンライン マーケットプレース。
• ユーザーが生成したゲームの成果物とチャット ルームをモデレートするゲーム会社。
• ユーザーによって追加された画像とテキストをモデレートするソーシャル メッセージング プラットフォーム。
• コンテンツに対する一元的なモデレーションを実装するエンタープライズ メディア企業。
• 学生および教育者にとって不適切なコンテンツをフィルター処理して除外する K-12 教育ソリューション プロバイダー。

重要

Azure AI Content Safety を使用し、子どもの搾取に該当する違法な画像を検出することはできません。

製品タイプ

このサービスからは、さまざまな種類の分析を使用できます。 次の表は、現在使用できる API を説明したものです。

種類	機能
プロンプト シールド (プレビュー)	大規模言語モデルに対するユーザー入力攻撃のリスクがないか、テキストをスキャンします。 クイックスタート
グラウンデッドネス検出 (プレビュー)	大規模言語モデル (LLM) のテキスト応答が、ユーザーが提供するソース資料に基づいているかどうかを検出します。 クイックスタート
保護対象テキストの検出 (プレビュー)	既知のテキスト コンテンツ (曲の歌詞、記事、レシピ、一部の Web コンテンツなど) がないか、AI によって生成されたテキストをスキャンします。 クイックスタート
カスタム カテゴリ (急速) API (プレビュー)	新たな有害コンテンツ パターンを定義し、テキストと画像をスキャンして一致を確認できます。 攻略ガイド
テキスト分析 API	性的コンテンツ、暴力、憎悪、自傷行為に関するテキストを複数の重大度レベルでスキャンします。
画像分析 API	性的コンテンツ、暴力、憎悪、自傷行為に関する画像を複数の重大度レベルでスキャンします。

Content Safety Studio

Azure AI Content Safety Studio は、最先端のコンテンツ モデレーション ML モデルを使って、不快、危険、または望ましくない可能性があるコンテンツを処理するように設計されたオンライン ツールです。 テンプレートとカスタマイズされたワークフローを備えており、ユーザーは独自のコンテンツ モデレーション システムを選び、構築することができます。 ユーザーは、自分のコンテンツをアップロードしたり、用意されているサンプル コンテンツを使って試したりすることができます。

Content Safety Studio は、そのまま利用できる AI モデルだけでなく、不適切な表現を検出し常に最新の傾向を把握するための Microsoft による組み込みの用語ブロックリストも含んでいます。 また、独自のブロックリストをアップロードして、ユース ケースに固有の有害コンテンツの範囲を拡張することもできます。

Studio では、コンテンツ モデレーションのパフォーマンスを継続的に監視し向上させることができるモデレーション ワークフローを設定することができます。 ゲーム、メディア、教育、eコマースなど、あらゆる業界のコンテンツ要件に対応できます。 企業は、自社のサービスを Studio に簡単に接続し、ユーザー生成か AI 生成かを問わず、リアルタイムでコンテンツをモデレートできます。

これらの機能はすべて Studio とそのバックエンドによって処理されるので、お客様はモデル開発について心配する必要はありません。 データをオンボードして手早く検証し、その結果に応じて、技術メトリック (待ち時間、精度、再現率) やビジネス メトリック (ブロック率、ブロック量、カテゴリ比率、言語比率など) のような KPI を監視できます。 操作と構成はシンプルなので、お客様は手動でカスタム モデルの実験やモデレーションを行うことに時間を費やすことなく、短期間でさまざまなソリューションをテストし、最適なものを見つけることができます。

Content Safety Studio

Content Safety Studio の機能

Content Safety Studio では、Azure AI Content Safety サービス機能が利用できます。

• テキスト コンテンツをモデレートする: テキスト モデレーション ツールを使うと、テキスト コンテンツのテストを簡単に実行できます。 1 文のテストでもデータセット全体のテストでも、ユーザー フレンドリなインターフェイスのツールを使い、ポータルで直接テスト結果を評価できます。 さまざまな感度レベルを実験してコンテンツ フィルターとブロックリスト管理を構成できます。こうすることで、常に想定した仕様どおりにコンテンツをモデレートできます。 さらに、コードをエクスポートする機能を使って、ツールをアプリケーションに直接実装できるので、ワークフローを合理化し、時間を節約できます。

• 画像コンテンツをモデレートする: 画像モデレーション ツールを使うと、画像のテストを簡単に実行し、コンテンツ基準を満たすかどうかを確認できます。 ユーザーフレンドリなインターフェイスを使い、テスト結果をポータルで直接評価することができます。また、さまざまな感度レベルを実験してコンテンツ フィルターを構成できます。 設定をカスタマイズしたら、コードをエクスポートして、簡単にアプリケーションにツールを実装できます。

• オンライン アクティビティを監視する: 強力な監視ページを使って、さまざまなモダリティのモデレーション API の使用状況や傾向を簡単に追跡できます。 この機能を使うと、カテゴリや重大度の分布、待機時間、エラー、ブロックリストの検出など、詳細な応答情報にアクセスできます。 この情報からコンテンツ モデレーションのパフォーマンスの全体像を把握して、ワークフローを最適化し、常に想定した仕様どおりにコンテンツをモデレートできます。 インターフェイスはユーザーフレンドリなので、監視ページを短時間で簡単に操作できるようになり、コンテンツ モデレーション戦略について情報に基づいて決定を下すために必要な情報にアクセスできます。 コンテンツ モデレーションのパフォーマンスを常に把握し、コンテンツの目標を達成するために必要なツールが用意されています。

セキュリティ

Microsoft Entra ID またはマネージド ID を使用してアクセスを管理する

セキュリティの強化には、Microsoft Entra ID またはマネージド ID (MI) によるリソース アクセス管理が役立ちます。

• Content Safety リソースを作成すると、マネージド ID が自動的に有効になります。
• Microsoft Entra ID は、API シナリオと SDK シナリオの両方に対応しています。 「Microsoft Entra ID を使用して認証する」で説明されている一般的な AI サービス ガイドラインを参照してください。 また、組織内の他のユーザーに Cognitive Services Users と Reader というロールを割り当ててアクセス権を付与することもできます。 Azure portal を使って Azure リソースへのアクセス権をユーザーに付与する方法については、ロールベースのアクセス制御ガイドに関する記事を参照してください。

保存データの暗号化

Azure AI Content Safety がデータの暗号化と復号化を処理する方法に関する記事を参照してください。 カスタマー マネージド キー (CMK) (Bring Your Own Key (BYOK) とも呼ばれます) を使用すると、アクセス制御の作成、ローテーション、無効化、取り消しを、いっそう柔軟に行うことができます。 また、データを保護するために使われる暗号化キーを監査することもできます。

価格

現在、Azure AI Content Safety には F0 と S0 という 2 つの価格レベルが用意されています。 詳細については、Azure の価格ページを参照してください。

サービスの制限

入力の要件

各機能の入力要件については、次の一覧を参照してください。

• Analyze text API:
  • 既定の最大長: 10,000 文字 (必要に応じて長いテキストを分割)。
• Analyze Image API:
  • 最大画像ファイル サイズ: 4 MB
  • 50 x 50 から 2048 x 2048 ピクセルの寸法。
  • 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
• プロンプト シールド (プレビュー):
  • プロンプトの最大長: 10,000 文字。
  • 合計 10,000 文字の最大 5 つのドキュメント。
• グラウンデッドネス検出 (プレビュー):
  • 根拠となるソースの最大長: 55,000 文字 (API 呼び出しあたり)。
  • テキストとクエリの最大長: 7,500 文字。
• 保護されたマテリアルの検出 (プレビュー):
  • 既定の最大長: 1,000 文字。
  • 既定の最小長: 110 文字 (ユーザー プロンプトではなく LLM の完了をスキャンする場合)。

言語のサポート

Content Safety モデルには、英語、ドイツ語、日本語、スペイン語、フランス語、イタリア語、ポルトガル語、中国語に特化したトレーニングとテストが施されています。 サービスはその他の多くの言語でも利用いただけます (品質は言語によって異なる場合があります)。 いずれの場合も、独自のテストを実行して、アプリケーションに対して動作することを確認する必要があります。

詳細については、「言語サポート」を参照してください。

利用可能なリージョン

Content Safety API を使用するには、対応そているリージョン内に Azure AI Content Safety リソースを作成する必要があります。 現在、コンテンツの安全性機能を使用できる Azure リージョンは次のとおりです。

リージョン	モデレート API	プロンプト シールド (プレビュー)	保護済み素材 検出 (プレビュー)	現実性 検出 (プレビュー)	カスタム カテゴリ (迅速) (プレビュー)	ブロックリスト
米国東部	✅	✅	✅	✅	✅	✅
米国東部 2	✅			✅		✅
米国西部					✅
米国西部 2	✅					✅
米国中部	✅					✅
米国中北部	✅					✅
米国中南部	✅					✅
カナダ東部	✅					✅
スイス北部	✅					✅
スウェーデン中部	✅			✅	✅	✅
英国南部	✅					✅
フランス中部	✅					✅
西ヨーロッパ	✅	✅	✅			✅
東日本	✅					✅
オーストラリア東部	✅	✅				✅

お客様のビジネスに他のリージョンが必要な場合は、お気軽にお問い合わせください。

クエリ速度

コンテンツの安全性機能には、10 秒あたりの要求数に対するクエリ速度制限があります。 各機能の速度制限については、次の表を参照してください。

価格レベル	モデレート API	プロンプト シールド (プレビュー)	保護済み素材 検出 (プレビュー)	現実性 検出 (プレビュー)	カスタム カテゴリ (迅速) (プレビュー)
F0	1000	1000	1000	50	1000
S0	1000	1000	1000	50	1000

より高速なレートが必要な場合は、お問い合わせいただき、リクエストしてください。

お問い合わせ

行き詰まった場合は、Microsoft にメールを送信するか、Microsoft Learn ページの下部にあるフィードバック ウィジェットを使用してください。

次のステップ

クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。

Content Safety のクイックスタート