不正使用の監視
Azure OpenAI Service は、倫理規定またはその他の該当する製品条件に違反する可能性のある方法でのサービスの使用を示唆する繰り返しのコンテンツや行動のインスタンスを検出して緩和します。 データの処理方法の詳細については、「データ、プライバシー、セキュリティ」ページを参照してください。 [Azure OpenAI の制限付きアクセス レビュー: 変更された不正使用の監視] フォームを使用して、変更された不正使用の監視を申請します。
不正使用監視のコンポーネント
不正使用の監視には、いくつかのコンポーネントがあります。
コンテンツ分類: 分類子モデルは、ユーザー プロンプト (入力) と入力候補 (出力) 内の有害な言葉や画像を検出します。 システムは、コンテンツの要件で定義されている有害カテゴリを探し、「コンテンツのフィルタリング」ページで詳しく説明されているように重大度レベルを割り当てます。
不正使用パターン キャプチャ: Azure OpenAI Service の不正使用の監視では、顧客の使用パターンを調べ、アルゴリズムとヒューリスティックを使用して、潜在的な不正使用のインジケーターを検出します。 検出されたパターンは、たとえば、顧客のプロンプトと入力候補で有害なコンテンツが検出される頻度と重大度を考慮します。
人によるレビューと決定: 前述のように、コンテンツ分類と不正使用パターン キャプチャによってプロンプトや入力候補にフラグが設定されると、権限を付与された Microsoft 従業員がそのフラグ設定されたコンテンツを評価し、定義済みのガイドラインとポリシーに基づいて分類または決定を確認または修正できます。 データは、人によるレビューのために、権限を付与された Microsoft 従業員のみが、チーム マネージャーによって Just-In-Time (JIT) 要求承認を付与された Secure Access Workstations (SAW) を介してアクセスできます。 欧州経済地域にデプロイされた Azure OpenAI Service リソースの場合、権限を付与された Microsoft 従業員が配置されているのは欧州経済地域内です。
通知とアクション: 前の 3 つの手順に基づいて不正使用行動のしきい値が確認されると、顧客にメールで決定が通知されます。 重大または繰り返しの不正使用の場合を除き、通常、顧客には不正使用行為を説明または修復し、その再発を防止するためのメカニズムを実装する機会が与えられます。 この行為 (つまり繰り返しまたは重大な不正使用) に対処できない場合、その顧客による Azure OpenAI リソースや機能へのアクセスの中断または終了を招く可能性があります。
次の手順
- Azure OpenAI をサポートする基となるモデルに関する記事を確認します。
- アプリケーションに関連するリスクの理解と軽減策について詳しくは、「Azure OpenAI モデルの責任ある AI プラクティスの概要」をご覧ください。
- コンテンツ フィルタリングと不正使用の監視に関連したデータ処理方法について詳しくは、「Azure OpenAI Service のデータ、プライバシー、セキュリティ」をご覧ください。