Power Automate でプロンプトを実行する際の人間によるレビューの重要な役割について説明します。 プロンプトは、Azure OpenAI Service を搭載した 生成 AI モデルを使用します。 これらのモデルは非常に効果的ですが、誤解を招く情報や捏造された情報を生成する場合があり、即時インジェクション攻撃を受けやすいです。
重要
- AI Builder は、Azure OpenAI サービスを活用した GPT モデルで実行されます。
- この機能は 一部の地域に限定されています。
- この機能は、使用制限または容量帯域幅調整の対象となる場合があります。
プロンプト インジェクション攻撃
プロンプト インジェクション攻撃は、サードパーティがすべての入力ソースに対するモデル固有の信頼を利用するときに発生します。 攻撃者は、正規のユーザーが AI ソリューションに対話を要求するコンテンツにプロンプトを挿入し、AI ソリューションの出力と、場合によってはその動作を変更します。
市民開発者がプロンプトを使用して、電子メール、ソーシャル メディア、フォーラムなどのさまざまなプラットフォームから収集した顧客からの苦情に対する回答を作成するシナリオを考えてみましょう。 攻撃者は、これらのソースの 1 つからコンテンツにプロンプトを挿入し、モデルを欺いて意図しない応答を生成する可能性があります。 応答は、不適切、不正確、または有害である可能性があります。 顧客に誤った情報を送信すると、会社の評判や顧客との関係が損なわれる可能性があります。
AI モデルの捏造
ハルシネーションとしても知られるファブリケーションは、プロンプトが使用する生成 AI モデルを含め、AI モデルが直面するもう一つの課題です。 捏造は、AI モデルが、提供された入力または既存のデータに基づいていない情報を生成する場合に発生します。つまり、本質的に情報を 発明 または 幻覚 とします。
たとえば、AI モデルが特定のテキストに基づいて歴史的出来事の概要を生成するよう要求された場合、ソース テキストで言及されていない詳細や出来事が含まれる可能性があります。 たとえば、クラウド フローは、録音データのトランスクリプトに基づいて会議の概要を作成します。 入力データには、出席者、議論された記事、下された決定に関する詳細が含まれます。 ただし、モデルは、会議で議論されなかったアクションアイテムや決定を含む概要を生成する可能性があります。 この状況は捏造の一例であり、モデルが入力データには存在しない情報を 幻覚 させています。
捏造のリスクを軽減するには、責任ある AI 実践を実装することが重要です。 これには、プロンプトとクラウド フローの厳密なテスト、モデルにできるだけ多くのグラウンディング情報の提供、そして最終的に人間による監視のための堅牢なシステムの実装が含まれます。
責任ある AI 実践を通じてリスクに対処する
私たちは、リスクを軽減する手段として、責任ある AI の実践を提唱します。 モデルによって生成されるコンテンツを調整するための戦略が用意されているにもかかわらず、捏造された応答を生成したり、プロンプト インジェクション攻撃に屈したりするモデルの傾向を管理することは依然として複雑な課題です。 私たちはこれらのリスクを認識し、人間による監視と制御への取り組みを再確認します。
シームレスな自動化の必要性を認識し、当社は安全システムを積極的に強化し、これらの課題についてのより深い理解を求めています。 私たちの目的は、設計上の責任ある AI の原則に沿って、プロンプトで使用される 生成 AI モデルをさらに洗練させ、可能な限り開発者に制御を返すことです。