Dev Proxy でローカル言語モデルを使用する

概要
目標： 開発プロキシ機能用にローカル LLM を構成する
時間: 10 分
Plugins:OpenAIMockResponsePlugin
前提条件:開発プロキシ、ローカル LLM ホスト (例: Ollama) を設定する

開発プロキシをローカル言語モデルに接続することで、開発プロキシの機能を向上させることができます。 一部の Dev Proxy プラグインでは、自然言語が関わる場合、言語モデルを使用して出力の質を向上させています。 ローカル言語モデルを使用すると、追加のコストを発生させることなく、機能の改善を利用できます。

前提条件

Dev Proxy は、OpenAI 互換 API を公開する言語モデル ホストをサポートしています。 また、Ollama API もサポートしています。 ローカル言語モデルホストを設定するには、そのドキュメントに記載されている手順に従ってください。

ローカル言語モデルを使用するように開発プロキシを構成する

Dev Proxy でローカルの言語モデルを使用するように構成するには、devproxyrc.json ファイル内の languageModel 設定を使用してください。

ファイル：devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

languageModel 設定の一部として、以下のオプションを使用できます:

オプション 説明 既定値
cacheResponses 言語モデルからの応答をキャッシュするかどうかを指定します。 true
client 使用するクライアントのタイプ。 使用できる値: Ollama、 OpenAI OpenAI
enabled ローカル言語モデルを使用するかどうかを指定します。 false
model 使用する言語モデルの名前。 llama3.2
url ローカルの言語モデルクライアントのURL。 http://localhost:11434/v1/

デフォルトでは、Dev Proxy は、Ollama の OpenAI 互換 API を使用する llama3.2 モデルを備えた標準的な Ollama 設定を採用しています。 また、言語モデルからの応答もキャッシュされるため、同じプロンプトに対しては、言語モデルによる処理を待たずに即座に応答を取得できます。

重要

ローカル言語モデルを使用する場合は、Dev Proxy を起動する前に、必ずローカル言語モデル クライアントを起動してください。

ローカル言語モデルを使用できる開発プロキシ プラグイン

次の開発プロキシ プラグインには、ローカル言語モデルが必要です。 ローカル言語モデルを有効にしない場合、開発プロキシは次のプラグインを無効にします。

以下の Dev Proxy プラグインは、利用可能な場合、ローカル言語モデルを使用します:

こちらも参照ください

  • 最終更新: