将本地语言模型与开发代理配合使用

通过将开发代理连接到本地语言模型，可以改进开发代理的功能。选择开发代理插件使用语言模型来改进其输出，其中涉及自然语言。通过使用本地语言模型，可以从改进的功能中受益，而不会产生额外的成本。

先决条件

Dev Proxy 支持公开与 OpenAI 兼容的 API 的语言模型主机。它还支持 Ollama API。要配置本地语言模型主机，请按照其文档中的说明进行作。

若要将开发代理配置为使用本地语言模型，请使用 languageModel 文件中的设置 devproxyrc.json 。

{
  "languageModel": {
    "enabled": true
  }
}

可以将以下选项用作设置的 languageModel 一部分：

选项	说明	默认值
`cacheResponses`	指定是否缓存来自语言模型的响应。	`true`
`client`	要使用的客户端的类型。允许的值：`Ollama`、`OpenAI`	`OpenAI`
`enabled`	指定是否使用本地语言模型。	`false`
`model`	要使用的语言模型的名称。	`llama3.2`
`url`	本地语言模型客户端的 URL。	`http://localhost:11434/v1/`

默认情况下，Dev Proxy 使用 Ollama 的标准 Ollama 配置和 llama3.2 模型，并使用 Ollama 的 OpenAI 兼容 API。它还缓存来自语言模型的响应，这意味着，对于同一提示，你会收到即时响应，而无需等待语言模型处理它。

重要

使用本地语言模型时，请务必在启动 Dev Proxy 之前启动本地语言模型客户端。

以下开发代理插件使用本地语言模型（如果可用）：