Share via

クイックスタート: Azure AI Content Safety Studio

  • [アーティクル]

このクイックスタートでは、ブラウザーで Content Safety Studio を使用し、Azure AI Content Safety サービスの使用を開始します。

注意事項

Content Safety Studio で提供されるサンプル コンテンツには、不快なものも含まれます。 サンプル画像は既定でぼかされています。 ユーザーの裁量が推奨されます。

前提条件

  • アクティブな Azure アカウントアカウントがない場合、Azure 試用版にサインアップして、最大 10 件の無料 Mobile Apps を入手できます。 持っていない場合は、無料で作成できます。
  • Content Safety Azure リソース。
  • Azure サブスクリプションと Content Safety リソースを使って Content Safety Studio にサインインします。

テキスト コンテンツの分析

[Moderate text content] (テキスト コンテンツのモデレート) ページでは、テキスト モデレーションをすぐに試すことができます。

[Analyze Text] (テキストの分析) パネルのスクリーンショット。

  1. [Moderate text content] (テキスト コンテンツのモデレート) パネルを選びます。
  2. 入力フィールドにテキストを追加するか、ページ上のパネルからサンプル テキストを選びます。

    ヒント

    テキストのサイズと細分性

    テキスト送信の既定の最大長は 1,000 文字です。

  3. [テストの実行] を選択します。

このサービスからは、検出されたすべてのカテゴリと、それぞれの重大度レベル (0 - 安全、2 - 低、4 - 中、6 - 高) が返されます。 また、構成したフィルターに基づいて、バイナリ Accepted/Rejected の結果も返されます。 右側の [フィルターの構成] タブのマトリックスを使って、各カテゴリの許容または禁止される重大度レベルを設定します。 次に、テキストをもう一度実行すると、フィルターの効果を確認できます。

右側の [ブロックリストの使用] タブでは、ブロックリストの作成、編集、モデレーション ワークフローへの追加を行うことができます。 テストの実行時にブロックリストを有効にしている場合、[結果] の下に [Blocklist detection] (ブロックリストの検出) パネルが表示されます。 ブロックリストと一致するものがあれば報告されます。

ユーザー入力攻撃を検出する

[プロンプト シールド] パネルでは、ユーザー入力のリスク検出を試すことができます。 システム メッセージに設定されたルールを回避または破るようにトレーニングされた動作を生成 AI モデルに示させる目的で設計されたユーザー プロンプトを検出します。 こうした攻撃は、複雑なロールプレイから安全目標の巧妙な裏切りまで、さまざまです。

ユーザー入力リスク検出パネルが選択されているコンテンツ セーフティ スタジオのスクリーンショット。

  1. [プロンプト シールド] パネルを選択します。
  2. ページ上のサンプル テキストを選択するか、テスト用に独自のコンテンツを入力します。 CSV ファイルをアップロードしてバッチ テストを実行することもできます。
  3. テストの実行を選択します。

サービスによって各サンプルのリスク フラグと種類が返されます。

詳細については、『Prompt Shields conceptual guide (プロンプト シールドの概念ガイド)』を参照してください。

イメージ コンテンツの分析

[Moderate image content] (画像コンテンツのモデレート) ページでは、画像モデレーションをすぐに試すことができます。

[画像の分析] パネルのスクリーンショット。

  1. [Moderate image content] (画像コンテンツのモデレート) パネルを選びます。
  2. ページ上のパネルからサンプル画像を選ぶか、独自の画像をアップロードします。 画像送信の最大サイズは 4 MB で、画像の寸法は 50 x 50 ピクセルから 2,048 x 2,048 ピクセルの間である必要があります。 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
  3. [テストの実行] を選択します。

このサービスからは、検出されたすべてのカテゴリと、それぞれの重大度レベル (0 - 安全、2 - 低、4 - 中、6 - 高) が返されます。 また、構成したフィルターに基づいて、バイナリ Accepted/Rejected の結果も返されます。 右側の [フィルターの構成] タブのマトリックスを使って、各カテゴリの許容または禁止される重大度レベルを設定します。 次に、テキストをもう一度実行すると、フィルターの効果を確認できます。

コードの表示とエクスポート

[Analyze text content] (テキスト コンテンツの分析) または [Analyze image content] (画像コンテンツの分析) ページの [コードの表示] 機能を使うと、重大度のフィルター処理、ブロックリスト、モデレーション機能の構成を含むサンプル コードを表示し、コピーすることができます。 次に、このコードを自分側に展開できます。

[コードの表示] のスクリーンショット。

オンライン アクティビティを監視する

[Monitor online activity] (オンライン アクティビティの監視) ページでは、API の使用状況と傾向を表示できます。

[監視] パネルのスクリーンショット。

監視する [メディアの種類] を選ぶことができます。 また、[次に指定する直近の期間のデータを表示する: __] を選ぶことで、確認する時間の範囲を指定できます。

[Reject rate per category] (カテゴリごとの拒否率) グラフでは、カテゴリごとの重大度のしきい値を調整することもできます。

重大度のしきい値テーブルのスクリーンショット。

また、一部の用語を変更する場合は、[Top 10 blocked terms] (上位 10 個のブロック済み用語) グラフに基づいてブロックリストを編集できます。

リソースを管理する

名前や価格レベルなどのリソースの詳細を表示するには、Content Safety Studio ホーム ページの右上にある [設定] アイコンを選び、[リソース] タブを選びます。他のリソースがある場合は、ここでリソースを切り替えることもできます。

[リソースの管理] のスクリーンショット。

リソースをクリーンアップする

Azure AI サービス リソースをクリーンアップして削除したい場合は、リソースまたはリソース グループを削除することができます。 リソース グループを削除すると、それに関連付けられている他のリソースも削除されます。

次のステップ

次に、REST API またはクライアント SDK を介して Azure AI Content Safety を使用し、サービスをアプリケーションにシームレスに統合できるようにします。

クイックスタート: REST API とクライアント SDK