次の方法で共有

Azure AI Content Safety に関するよく寄せられる質問

ヒント

この FAQ にお客様の疑問に対する回答が見つからない場合は、Stack Overflow の Cognitive Services API コミュニティに質問するか、UserVoice のヘルプとサポートにお問い合わせください

全般情報

Content Safety の使用を開始するにはどうすればよいですか? 最初の手順は何ですか?

Azure AI Content Safety へのテキストと画像の送信を開始し、モデルの応答と結果を表示する方法については、Azure AI Foundry ポータルのページを参照してください。 サイドバーを使用して、[ガードレール + コントロール] ページに移動できます。

Azure AI Content Safety で分類/モデレートできるメディアの種類は何ですか?

現在、コンテンツ有害分類モデルでは、テキスト、画像、マルチモーダル コンテンツ (テキストと OCR を使用した画像) のモデレーションをサポートしています。 保護済み素材、プロンプト シールド、典拠性検出モデルは、テキスト コンテンツのみで動作します。

Azure AI Content Safety のモデルの価格はどのように設定されていますか?

A: 通常、ボリューム別に課金されます。 たとえば、Image API は、送信された画像の数に基づいて価格が設定されます。 Text API は、サービスに送信されたテキスト レコードの数に対して課金されます。 しかし、各モデルには独自の対応するレートがあります。 価格レベルの詳細については、Azure の価格に関するページを参照してください。

Azure Content Moderator から Azure AI Content Safety に移行しなければならないのはなぜですか?

Azure Content Moderator は、2024 年 3 月の時点で非推奨となっています。 Microsoft では、次の理由から、Azure Content Moderator ユーザーには Azure AI Content Safety に移行することをお勧めしています。

  • Azure AI Content Safety では、最先端の AI モデルを使用して、テキストや画像内の有害なコンテンツをより正確かつ詳細に検出できます。
  • Azure AI Content Safety では、多言語コンテンツ モデレーション (言語サポートに関するページを参照) をサポートしています。
  • Azure AI Content Safety を使用すると、ユーザー生成と AI 生成の両方のコンテンツを監視して、責任ある AI のプラクティスを実現できます。

Azure Content Moderator と Azure AI Content Safety の違いは何ですか?

2 つのサービスの主な違いは次のとおりです。

  • Azure Content Moderator では、コンテンツ フラグごとに二項分類を使用しますが (不適切な表現や成人向けなど)、Azure AI Content Safety では、さまざまなクラスで複数の重大度レベルを使用します (性的、暴力、ヘイト、自傷行為)。
  • Azure AI Content Safety では、多言語コンテンツ モデレーション (言語サポートに関するページを参照) をサポートしていますが、Azure Content Moderator の AI 分類子でサポートするのは英語のみです。
  • Azure Content Moderator には組み込みの用語リストとカスタム用語リスト機能がありますが、Azure AI Content Safety には組み込みの用語リストはなく、有害なコンテンツを検出するために高度な言語およびビジョン モデルに依存しています。 また、カスタマイズ用のカスタム用語リスト機能も提供します。
  • Azure AI Content Safety には、サービスの機能を探索してテストするための対話型スタジオが用意されていますが、Azure Content Moderator にはありません。

Azure AI Content Safety ではコンテンツを削除したり、ユーザーをプラットフォームから締め出したりしますか?

いいえ。 Azure AI Content Safety API では、モデルの出力に基づいて分類メタデータを返します。 結果では、返される重大度レベル (Text API など) またはバイナリ結果 (Prompt Shields API など) を介して、さまざまなクラス (性的、暴力、ヘイト、自傷行為) の素材が入力コンテンツに存在するかどうかがユーザーに示されます。

ユーザーは、これらの結果を使用して、その独自のポリシーとプラクティスに基づいて適切な適用アクション (特定のコンテンツの自動タグ付けや削除など) を通知します。

Azure AI Content Safety の Free レベルのトランザクション制限を超えるとどうなりますか?

Free レベルでトランザクションの制限に達すると、サービス使用量が抑えられます。

コンテンツは Content Safety API に同期的または非同期的のどちらで送信する必要がありますか?

Content Safety API は、リアルタイム (同期) のモデレーションのニーズに合わせて最適化されています。 モデルの結果は、API 応答メッセージで直接返されます。

各 API の現在の RPS (1 秒あたりの要求数) の制限は何ですか? RPS を増やす場合は、どのような手順を行う必要がありますか?

各 API の現在の RPS 制限については、概要を参照してください。 RPS の引き上げを要求する場合は、正当な理由と推定トラフィック予測をメールで送信してください。

モデレーションに推奨される重大度レベルのしきい値は何ですか?

0、2、4、6 のうち、どの重大度レベルでフィルター処理するかを決定するには、「危害カテゴリ」に一覧表示されている各重大度レベルの説明的な例を参照することを強くお勧めします。 一般に、重大度レベル 0 でスコアを付けるテキストでは、機密性の高いトピックを参照する可能性がありますが、無害である場合があります。 2 と 4 のどちらのレベルでモデレートするかを決定することは、コミュニティのガイドラインと、議論の余地のあるトピックに関する機密性によって異なります。

全体的に、データセットと独自のポリシーとリスク許容度によって異なります。 新しいプロジェクトでは、重大度レベル 4 で開始することをお勧めします。 その後、モデルのパフォーマンスに基づいて重大度レベルを調整できます。

しきい値を推奨するためにデータで評価を実行することもできます。ベスト プラクティスの詳細については、Content Safety Studio のバッチ評価を参照してください。

データの保持方法と、使用できる顧客コントロール

検出中にモデルによって入力テキストや画像が保存されるわけではなく (顧客が指定したブロックリストは除きます)、ユーザー入力は Azure AI Content Safety モデルのトレーニング、再トレーニング、改善には使用されません。

Microsoft のプライバシーとセキュリティに関するコミットメントの詳細については、Azure AI Content Safety のデータ、プライバシー、セキュリティに関するページを参照してください。

Azure AI Content Safety によって処理される顧客データは、Azure AI Content Safety サービスまたは選択したリージョンの外部で送信されますか?

いいえ。 Microsoft は、Azure インフラストラクチャ内で Azure AI Content Safety モデルをホストします。 Azure AI Content Safety に送信されるすべての顧客データは、処理中および選択したリージョン内の Azure AI Content Safety 内に残り、他のリージョンには送信されません。

Content Safety でバッチ処理はサポートされていますか?

Content Safety API ではバッチ処理はサポートされていません。 現在、Content Safety API では、モデルに応じて、1 分あたり 1000 の多くの既定のレート制限を使用する処理で高いコンカレンシーを実現しています。 これはほとんどのユーザーにとって十分ですが、より大きなボリュームを処理する、または処理しようとしているユーザーのレート制限を喜んで引き上げさせていただきます。

1 つの API 呼び出しで複数のモデルにアクセスできますか?

Microsoft では複数の分類を 1 つの API エンドポイントにまとめる API を開発し、ユーザーが両方のモデル出力に 1 つのタスクでアクセスできるようにしました。ただし、この API はプレビュー段階です。 アクセスを申請するには、メールを送信してください。

不満なケース

偽陽性と偽陰性の報告や、他のフィードバックの送信はどのように行いますか?

標準の DSAT プロセスでは、メールではトリアージ プロセスが開始されないため、ユーザーはケースを送信するためのチケットを作成する必要があります。 ユーザーは Azure portal を使用してケースを送信でき、カスタマー サポート エンジニアは ICM チケットの作成を支援できます。

サポート リクエストを作成してチケットを送信します。

  • [問題の種類] で、 [技術] を選択します。
  • [サブスクリプション] で、ご使用のサブスクリプションを選択します。
  • [サービス] で [すべてのサービス] を選択し、[Content Safety] を選びます。
  • [要約] に、問題の説明を追加します。

偽陽性と偽陰性を迅速に軽減するにはどうすればよいですか?

このモデルには、反復処理と再トレーニングに時間が必要です。 Azure portal を使用してサポート チケットを作成すると、カスタマー サポート エンジニアが状態の追跡と進行状況の更新を支援します。 しかし、製品チームは、ブロックリストなどの推奨ツールを使用して、ご自分で問題をより迅速に軽減することをお勧めします。 「Azure AI Content Safety で誤った結果を軽減する」を参照してください。

テキスト モデレート API

テキスト モデレーションの文字制限を引き上げることはできますか?

いいえ。 現在、テキスト モデレーション タスクは 10,000 文字の送信に制限されています。 しかし、さらに長いテキスト コンテンツを (たとえば、句読点や間隔に基づいて) セグメントに分割し、各セグメントを関連タスクとして Content Safety API に送信できます。

カスタム カテゴリ

自分で定義したカスタム カテゴリで有害なコンテンツを検出できますか?

はい。Azure AI Content Safety のカスタム カテゴリ (標準) API を使って、カテゴリの作成、例のアップロード、類似したコンテンツを検出するためのサービスのトレーニングを行うことができます。 カスタム カテゴリは、テキストと画像の両方のモデレーションに使用できます。

データのセキュリティを確保するために、カスタム カテゴリのトレーニングはどのように扱われますか?

カスタム カテゴリのトレーニング プロセスは、専用 BLOB ストレージ コンテナーへのデータのアップロードから始まります。 その後、Azure AI Content Safety リソースへの BLOB アクセスを許可します。 トレーニングが開始されると、データは一時的に厳密な管理下で格納され、48 時間後に自動的に削除されます。

トレーニング済みモデルはどこに格納され、どのようなセキュリティ対策が実施されていますか?

トレーニング済みのモデルは、組織と選択されたリージョンに限定されたままになるようにセキュリティで保護され、他の組織と共有されないため、機密性とデータの整合性が維持されます。 モデルは、多層暗号化を使用して Microsoft のストレージに格納されます。 カスタマー マネージド キー (CMK) は、セキュリティを強化するために使用されます。

カスタム カテゴリのアクセス制御と承認について、特に目的が異なる部門またはエンド ユーザーへのカスタム カテゴリの提供である場合、何が行われていますか?

特に API キーの使用に関する懸念がある場合に、アクセスのセキュリティと制御を強化するために、キーベースのアクセスに対するローカル認証の無効化など、多層的なアプローチを取ることができます。API キーに依存するローカル認証方法を無効にすると、承認されていないアクセスを防ぎ、資格情報の漏洩のリスクを軽減できます。 これにより、ユーザーとアプリケーションは、Microsoft Entra ID などのより安全なマネージド ID ソリューションを介して確実に認証されます。

また、部門またはユーザー固有の構成をサポートするために、より詳細なアクセス制御を調べることもできます。これにより、組織内のさまざまなグループに対して、カスタマイズされたアクセス許可とセキュリティで保護されたアクセスが可能になります。 これにより、各部門またはユーザー グループは、全体的なセキュリティを損なうことなく、確実にカスタム カテゴリの安全な管理およびアクセスが可能になります。

サービスのデプロイごとに 3 つのカスタム カテゴリの制限があります。 そのクォータを増やす計画やオプションはありますか?

はい。ユーザーは、特定のサービス デプロイのカスタム カテゴリ クォータの引き上げを要求できます。 必要なクォータ量をメールで送信してください。Microsoft のチームがそのリクエストを確認し、可能な限り、お客様のニーズに対応します。