使用 Dev Proxy 搭配本機語言模型

一目了然
目標： 為 Dev Proxy 功能配置本地 LLM（大型語言模型）
時間： 10分鐘
插件：OpenAIMockResponsePlugin
前置條件：設定開發代理、本地大型語言模型主機（例如 Ollama）

藉由將 Dev Proxy 連線到本機語言模型，您可以改善 Dev Proxy 的功能。選取 [開發 Proxy 外掛程式] 會使用語言模型來改善其輸出，其中涉及自然語言。藉由使用本機語言模型，您可以受益於改良的功能，而不會產生額外的成本。

必要條件

Dev Proxy 支援提供與 OpenAI 相容的 API 的語言模型主機。它還支援 Ollama API。要配置本地語言模型主機，請按照其文檔中的說明進行操作。

若要將 Dev Proxy 設定為使用本機語言模型，請在 devproxyrc.json 檔案中使用 languageModel 設定。

檔案：devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

您可以使用下列選項作為 languageModel 設定的一部分：

選項	描述	預設值
`cacheResponses`	指定是否要快取語言模型的回應。	`true`
`client`	要使用的用戶端類型。允許的值：`Ollama`、`OpenAI`	`OpenAI`
`enabled`	指定是否要使用本機語言模型。	`false`
`model`	要使用的語言模型名稱。	`llama3.2`
`url`	本機語言模型用戶端的 URL。	`http://localhost:11434/v1/`

預設情況下，Dev Proxy 會使用 Ollama 的標準設定，搭配 llama3.2 模型，並透過 Ollama 相容於 OpenAI 的 API。它也會快取來自語言模型的回應，這表示針對相同的提示，您會收到立即回應，而不需要等待語言模型處理它。

重要

使用本地語言模型時，請務必在啟動 Dev Proxy 之前啟動本地語言模型用戶端。

以下的 Dev Proxy 插件需要本地語言模型。如果你沒有啟用本地語言模型，Dev Proxy 會停用以下這些外掛：

如果有的話，下列 Dev Proxy 外掛程式會使用本機語言模型：

此頁面對您有幫助嗎？