学術および業界の実験では、モデルの盗難の可能性が検証されています。 2016 年、コーネルとカリフォルニア大学の研究者は、 パブリック API を使用して機械学習モデルの機能を盗み、出力から学習することでほぼ同じパフォーマンスで再構築できることを示しました。
最近では、2023年に、Metaの独自のLLaMA LLMが研究者にリリースされ、オンラインで違法に漏洩し、誰もが多大なコストでトレーニングされたモデルに無料でアクセスできるようにしたときに、「LLaMAリーク」と呼ばれるインシデントが発生しました。 これは外部攻撃よりも内部リークでしたが、価値のあるモデルが意図した範囲を超えてどれだけ速く増殖できるかを強調しました。
一方、ハイテク企業は、パブリック AI サービスを使用して コピーキャット モデルを安価に構築 する可能性がある競合他社に対して警告を発しています。1 つのケースでは、小規模なチームが、何百万ものプロンプトで体系的にクエリを実行し、応答を使用して新しいモデルをトレーニングすることで、一般的な言語モデルをレプリケートしました。 これらの例は、適切なセーフガードがなければ、 今日公開されている質問に答える API が、明日モデルのクローンを構築し、競争上の優位性を損なうのに役立つ可能性があることを示しています。****
このシナリオでの動作
モデルの盗難やモデル抽出攻撃では、敵対者が承認なしで AI モデルの知識や機能を盗みます。 最も一般的な方法は API を使用することです。攻撃者は AI (API またはサービスを介して公開される) と対話し、それを体系的に照会してレプリカ モデルを再構築します。 例えば次が挙げられます。
ある企業が、アプリケーションのクラウド API を介してアクセスできる独自の LLM を持っているとします。 API アクセス権を持つ攻撃者 (悪意のある内部関係者や API キーを取得したユーザーなど) は、大量の巧妙に選択されたクエリをモデルに送信し、その出力を記録する可能性があります。
これらの入力と出力のペアを使用して、攻撃者は独自のモデルをトレーニングして、元の動作を模倣します。 時間の経過と同時に、攻撃者のモデルはターゲット モデルの忠実度に近づきます。
攻撃者は、知的財産を効果的に 盗み 出しました。元のコードや重みに直接アクセスすることなく、コア機能を再現するモデルを持っています。
また、モデルの盗難は、内部関係者がモデル ファイルをコピーすること (モデルが十分に小さいか安全でない場合)、または不適切にセキュリティで保護されたモデル リポジトリ (保護されていないためにオンライン ストレージからモデルをダウンロードする) を介して発生する可能性があります。
この手法が有効な理由
企業は AI モデルのトレーニングにリソースを注ぎ込みます。モデル自体が貴重な IP になります。 ただし、モデルがサービスとして提供されている場合 (たとえば、API や一般向けのチャットボットを介して)、攻撃者とそのモデルの間の唯一のことは、クエリを実行できる速度です。 LLM は多くの場合、確率論的な出力 (トークンの確率や信頼度スコアなど) を提供します。調査では、クエリごとにより多くの情報を提供することで 、モデルの抽出を高速化できることを 示しています。
確率がなくても、モデルのクエリに無制限にアクセスするだけで、攻撃者はその動作を近似できる可能性があります。 従来のソフトウェアとは異なり、それが発生しているのを知らない可能性があります。有効な API キーを持つ攻撃者は、単なる通常のユーザーと見なされ、モデルの "知識" をゆっくりと吸い取ります。
さらに、多くの組織ではモデルの使用パターンを厳密に監視していないので、特に時間やさまざまなアカウントに分散している場合は、何千ものクエリが気付かない可能性があります。 最後に、内部関係者がモデル ファイル (たとえば、微調整されたモデルのコピーを使用して会社を離れるデータ サイエンティスト) に直接アクセスできる場合、これはさらに迅速なパスです。多くのモデルは、特別な注意を払わない限り、保存時に暗号化されない可能性があるディスク上のファイルにすぎません。
推奨されるコントロール
レート制限と使用状況の監視: DoS シナリオと同様に、クエリのレートを制限します。 ただし、具体的には、 列挙パターンを監視します。 たとえば、あるユーザーが体系的に構造化されたクエリや、広い入力領域をカバーする異常に大量のクエリを作成している場合、モデルを学習しようとしている可能性があります。 分析を使用してこれを特定します (たとえば、1 つのソースからのクエリの多様性やボリュームの急激な急増など)。
出力の詳細を制限する: 必要以上の内部を公開しないでください。 多くのモデル抽出攻撃は、API が各回答の 信頼度スコアまたはロジット を返す場合に簡単になります (一部の ML API は、不確実な測定を支援するために行います)。 不要な場合は、これらを無効にするか、大量に量子化して、情報漏えいを減らします。
透かしと監視の出力: 他のユーザーがそれらの出力を使用してクローンをトレーニングした場合に検出できるように、AI モデルの出力の "透かし" に関する調査が進行中です。 成熟している間、より単純なアナログを検討してください。たとえば、モデルの出力に一意の応答や追跡可能なトークンを含めます (通常のユーザーには気付かないが、別のモデルの応答でモデルの "DNA" を識別できます)。
暗号化されたモデルの重み: エッジ デバイスまたはブラウザー (攻撃者が直接取得できる) にモデルをデプロイする場合は、 セキュリティで保護されたエンクレーブ やモデル暗号化などの手法を検討してください。 一部の AI フレームワークでは、信頼された実行環境内でのモデルの実行がサポートされているため、攻撃者がデバイスを取得した場合でも、生モデルの抽出は簡単ではありません。
法的および契約上の保護: 法的なコントロールで技術的な管理を補完します。 API サービス条件で、自動スクレイピングまたはリバース エンジニアリングが禁止されていることを確認します。 これにより、特定された攻撃者は阻止されませんが、頼りにするための法的手段を提供し、カジュアルな試行を阻止します。 また、盗まれたモデルに対する法的紛争の証拠となる可能性がある透かしまたは一意の応答形式を使用します。
考慮すべきテクノロジ
API の管理と異常検出: API ゲートウェイ (Azure API Management など) を使用して、レート制限だけでなく、異常な使用パターン (不自然に幅広い入力をカバーするシーケンシャル クエリなど) を監視します。 これを Azure Sentinel と組み合わせて使用すると、低速で継続的なモデル抽出 (たとえば、複数のアカウントですべてのモデルに対して調整された方法でクエリを実行する) を検出できます。
コンフィデンシャル コンピューティング: Azureコンフィデンシャル コンピューティングまたは同様のオファリングを調べて、セキュリティで保護されたエンクレーブにモデルをデプロイします。 これらのテクノロジは、データとモデル コードをメモリ内に暗号化し続け、ハードウェアに物理的にアクセスしても、攻撃者がモデルの重みを直接コピーすることが非常に困難になります。
フェデレーション学習または分割ナレッジ トレーニング: 可能な場合は、モデルのナレッジの一部をオンプレミスに保持します。 たとえば、クラウド LLM が一般的な言語タスクを処理するが、独自のデータ決定のために内部モデルを呼び出すハイブリッド アプローチでは、コア IP が環境から離れることがないようにすることができます。
クローンの監視: インターネットをスキャンしてモデルや出力をスキャンするサービスを使用します。 たとえば、一部の企業では ML モデルのフィンガープリントを 使用し、盗まれたパラメーターを示す可能性のある類似点がないか、パブリック モデル リポジトリまたは既知の競合他社製品を定期的に確認します。
OWASP 上位 10 のマッピング
OWASP Top 10 for LLM and Generative AI (2025)
OWASP の GenAI LLM Top 10 (2025) には専用の "モデル盗難/IP 盗難" カテゴリは含まれていないため、最も近いマッピングは攻撃者の方法によって異なります。 盗難が、侵害されたモデル成果物、レジストリ、CI/CD パイプライン、またはサード パーティの配信パス (盗難された重み、漏洩したチェックポイント、流出した微調整されたモデル パッケージなど) によって発生した場合、最も直接的に LLM03: サプライ チェーンと依存関係リスクに合わせて調整されます。
攻撃者は大量の高コストの推論に依存してモデルをレプリケートするのに十分な入力/出力ペアを収集するため、ホストされたモデルの大規模で体系的なクエリを通じて実行され、その動作 (モデル抽出) を概算または再構築する場合は 、LLM10: 無制限の従量課金にマップされます。 どちらの場合も、独自のモデル ファイル、内部プロンプト、トレーニング成果物、またはその他の機密資産が単に推論されるのではなく公開されている場合は、 LLM02 と 交差する可能性があります。
MITRE ATLAS マッピング
このシナリオは、モデルの抽出、推論の不正使用、サプライ チェーンの盗難、モデル資産への資格情報が有効なアクセスに関する MITRE ATLAS の動作に広く対応しています。
MITRE ATLAS 手法 (攻撃): 攻撃は主にモデルの抽出またはアーティファクトの盗難を反映しています。敵対者は、モデルを大規模に照会してその動作を近似するか、モデルの重み、チェックポイント、またはデプロイ パッケージを流出させます。
- Aml。T0010.003 AI サプライ チェーンの侵害: モデル
- Aml。T0024.002 AI モデルの抽出
- Aml。T0025 サイバー手段による流出
- AML。T0035 AI アーティファクト コレクション
- Aml。T0040 AI モデル推論 API アクセス
- Aml。T0044 フル AI モデル アクセス
- Aml。T0055 セキュリティで保護されていない資格情報
MITRE ATLAS 軽減策 (防御): クエリの調整、API 認証、出力透かし、モデル資産の暗号化、CI/CD のセキュリティ強化、系列の追跡に優先順位を付けます。
- AML。M0002 パッシブ AI 出力難読化
- Aml。M0004 AI モデル クエリの数を制限する
- Aml。M0005 AI モデルへのアクセスと保存データの制御
- Aml。M0012 機密情報の暗号化
- Aml。M0024 AI テレメトリ ログ