Azure AI Content Safety とは?
Azure AI Content Safety を使うと、アプリケーションやサービス内の有害なユーザー生成コンテンツや AI 生成コンテンツを検出できます。 Azure AI Content Safety には、有害な素材を検出できるテキストと画像の API が含まれています。 また、さまざまなモダリティで有害なコンテンツを検出するサンプル コードを表示、探索、試用できる対話型の Content Safety Studio も用意されています。
コンテンツ フィルタリング ソフトウェアは、アプリで法的規制に準拠したり、ユーザーが意図する環境を維持したりするのに役立ちます。
このドキュメントには、次の種類の記事が含まれています。
- クイックスタートは、サービスへの要求の実行方法を説明する概要手順です。
- 攻略ガイドには、より具体的またはカスタマイズした方法でサービスを使用するための手順が記載されています。
- 概念では、サービスの機能と特徴について詳しく説明します。
使用場所
ソフトウェア開発者またはチームがコンテンツ モデレーション サービスを使用するシナリオをいくつか次に示します。
- ユーザーが生成した製品カタログなどのコンテンツをモデレートするオンライン マーケットプレース。
- ユーザーが生成したゲームの成果物とチャット ルームをモデレートするゲーム会社。
- ユーザーによって追加された画像とテキストをモデレートするソーシャル メッセージング プラットフォーム。
- コンテンツに対する一元的なモデレーションを実装するエンタープライズ メディア企業。
- 学生および教育者にとって不適切なコンテンツをフィルター処理して除外する K-12 教育ソリューション プロバイダー。
重要
Azure AI Content Safety を使用し、子どもの搾取に該当する違法な画像を検出することはできません。
製品タイプ
このサービスからは、さまざまな種類の分析を使用できます。 次の表は、現在使用できる API を説明したものです。
| 種類 | 機能 |
|---|---|
| テキスト分析 API | 性的コンテンツ、暴力、憎悪、自傷行為に関するテキストを複数の重大度レベルでスキャンします。 |
| 画像分析 API | 性的コンテンツ、暴力、憎悪、自傷行為に関する画像を複数の重大度レベルでスキャンします。 |
| プロンプト シールド (プレビュー) | 大規模言語モデルに対するユーザー入力攻撃のリスクがないか、テキストをスキャンします。 クイックスタート |
| 根拠性検出 (プレビュー) | 大規模言語モデル (LLM) のテキスト応答が、ユーザーが提供するソース資料に基づいているかどうかを検出します。 クイックスタート |
| 保護されたマテリアルのテキスト検出 (プレビュー) | 既知のテキスト コンテンツ (曲の歌詞、記事、レシピ、一部の Web コンテンツなど) がないか、AI によって生成されたテキストをスキャンします。 クイックスタート |
Content Safety Studio
Azure AI Content Safety Studio は、最先端のコンテンツ モデレーション ML モデルを使って、不快、危険、または望ましくない可能性があるコンテンツを処理するように設計されたオンライン ツールです。 テンプレートとカスタマイズされたワークフローを備えており、ユーザーは独自のコンテンツ モデレーション システムを選び、構築することができます。 ユーザーは、自分のコンテンツをアップロードしたり、用意されているサンプル コンテンツを使って試したりすることができます。
Content Safety Studio には、そのまま直ちに使用できる AI モデルが用意されているだけでなく、内蔵された Microsoft の用語ブロックリストにより、冒涜的な表現を検出し、常に最新の傾向にも対応していくことができます。 また、独自のブロックリストをアップロードして、ユース ケースに固有の有害コンテンツの範囲を拡張することもできます。
Studio でモデレーション ワークフローを設定し、コンテンツ モデレーションのパフォーマンスを継続的に監視し、向上させることができます。 ゲーム、メディア、教育、eコマースなど、あらゆる業界のコンテンツ要件に対応できます。 企業は、自社のサービスを Studio に簡単に接続し、ユーザー生成か AI 生成かを問わず、リアルタイムでコンテンツをモデレートできます。
これらの機能はすべて Studio とそのバックエンドによって処理されるので、お客様はモデル開発について心配する必要はありません。 データをオンボードして手早く検証し、その結果に応じて、技術メトリック (待ち時間、精度、再現率) やビジネス メトリック (ブロック率、ブロック量、カテゴリ比率、言語比率など) のような KPI を監視できます。 操作と構成はシンプルなので、お客様は手動でカスタム モデルの実験やモデレーションを行うことに時間を費やすことなく、短期間でさまざまなソリューションをテストし、最適なものを見つけることができます。
Content Safety Studio の機能
Content Safety Studio では、Azure AI Content Safety サービス機能が利用できます。
テキスト コンテンツをモデレートする: テキスト モデレーション ツールを使うと、テキスト コンテンツのテストを簡単に実行できます。 1 文のテストでもデータセット全体のテストでも、ユーザー フレンドリなインターフェイスのツールを使い、ポータルで直接テスト結果を評価できます。 さまざまな感度レベルを実験してコンテンツ フィルターとブロックリスト管理を構成できます。こうすることで、常に想定した仕様どおりにコンテンツをモデレートできます。 さらに、コードをエクスポートする機能を使って、ツールをアプリケーションに直接実装できるので、ワークフローを合理化し、時間を節約できます。
画像コンテンツをモデレートする: 画像モデレーション ツールを使うと、画像のテストを簡単に実行し、コンテンツ基準を満たすかどうかを確認できます。 ユーザーフレンドリなインターフェイスを使い、テスト結果をポータルで直接評価することができます。また、さまざまな感度レベルを実験してコンテンツ フィルターを構成できます。 設定をカスタマイズしたら、コードをエクスポートして、簡単にアプリケーションにツールを実装できます。
オンライン アクティビティを監視する: 強力な監視ページを使って、さまざまなモダリティのモデレーション API の使用状況や傾向を簡単に追跡できます。 この機能を使うと、カテゴリや重大度の分布、待機時間、エラー、ブロックリストの検出など、詳細な応答情報にアクセスできます。 この情報からコンテンツ モデレーションのパフォーマンスの全体像を把握して、ワークフローを最適化し、常に想定した仕様どおりにコンテンツをモデレートできます。 インターフェイスはユーザーフレンドリなので、監視ページを短時間で簡単に操作できるようになり、コンテンツ モデレーション戦略について情報に基づいて決定を下すために必要な情報にアクセスできます。 コンテンツ モデレーションのパフォーマンスを常に把握し、コンテンツの目標を達成するために必要なツールが用意されています。
入力の要件
テキスト送信の既定の最大長は 1,000 文字です。 さらに長いテキスト ブロックを分析する必要がある場合は、入力テキストを (たとえば、句読点や間隔によって) 複数の関連する送信に分割できます。
画像送信の最大サイズは 4 MB で、画像の寸法は 50 x 50 ピクセルから 2,048 x 2,048 ピクセルの間である必要があります。 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
セキュリティ
Microsoft Entra ID またはマネージド ID を使用してアクセスを管理する
セキュリティの強化には、Microsoft Entra ID またはマネージド ID (MI) によるリソース アクセス管理が役立ちます。
- Content Safety リソースを作成すると、マネージド ID が自動的に有効になります。
- Microsoft Entra ID は、API シナリオと SDK シナリオの両方に対応しています。 「Microsoft Entra ID を使用して認証する」で説明されている一般的な AI サービス ガイドラインを参照してください。 また、組織内の他のユーザーに Cognitive Services Users と Reader というロールを割り当ててアクセス権を付与することもできます。 Azure portal を使って Azure リソースへのアクセス権をユーザーに付与する方法については、ロールベースのアクセス制御ガイドに関する記事を参照してください。
保存データの暗号化
Azure AI Content Safety がデータの暗号化と復号化を処理する方法に関する記事を参照してください。 カスタマー マネージド キー (CMK) (Bring Your Own Key (BYOK) とも呼ばれます) を使用すると、アクセス制御の作成、ローテーション、無効化、取り消しを、いっそう柔軟に行うことができます。 また、データを保護するために使われる暗号化キーを監査することもできます。
価格
現在、Azure AI Content Safety には F0 と S0 という 2 つの価格レベルが用意されています。
サービスの制限
言語のサポート
Content Safety モデルには、英語、ドイツ語、日本語、スペイン語、フランス語、イタリア語、ポルトガル語、中国語に特化したトレーニングとテストが施されています。 サービスはその他の多くの言語でも利用いただけます (品質は言語によって異なる場合があります)。 いずれの場合も、独自のテストを実行して、アプリケーションに対して動作することを確認する必要があります。
詳細については、「言語サポート」を参照してください。
リージョンと場所
Content Safety API を使用するには、対応そているリージョン内に Azure AI Content Safety リソースを作成する必要があります。 現在対応している Azure リージョンは以下のとおりです。
- オーストラリア東部
- カナダ東部
- 米国中部
- 米国東部
- 米国東部 2
- フランス中部
- 東日本
- 米国中北部
- 米国中南部
- スイス北部
- 英国南部
- 西ヨーロッパ
- 米国西部 2
- スウェーデン中部
プロンプト シールドや保護されたマテリアルの検出などのパブリック プレビュー機能は、以下の Azure リージョンで利用可能です。
- 米国東部
- 西ヨーロッパ
お客様のビジネスに他のリージョンが必要な場合は、お気軽にお問い合わせください。
クエリ速度
| 価格レベル | 10 秒あたりの要求数 (RPS) |
|---|---|
| F0 | 1000 |
| S0 | 1000 |
より高速なレートが必要な場合は、お問い合わせいただき、リクエストしてください。
お問い合わせ
行き詰まった場合は、メールでお問い合わせいただくか、ドキュメント ページの右上にあるフィードバック ウィジェットを使ってください。
次のステップ
クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。