Использование локальной языковой модели с Dev Proxy

На первый взгляд
Цель: Настройка локальных функций LLM для прокси-сервера разработки
Время: 10 минут
Подключаемые модули:OpenAIMockResponsePlugin
Необходимые условия:настройка прокси-сервера разработки, локального узла LLM (например, Ollama)

Подключив прокси-сервер разработки к локальной языковой модели, вы можете улучшить функциональные возможности прокси-сервера разработки. Выберите подключаемые модули Прокси для разработки, используя языковую модель для улучшения выходных данных, где участвует естественный язык. Используя локальную языковую модель, вы можете воспользоваться улучшенными функциональными возможностями без дополнительных затрат.

Предварительные требования

Dev Proxy поддерживает хосты языковых моделей, которые предоставляют API, совместимые с OpenAI. Он также поддерживает API Ollama. Чтобы настроить узел локальной языковой модели, следуйте инструкциям в его документации.

Настройте Dev Proxy для использования локальной языковой модели

Чтобы настроить Dev Proxy для использования локальной языковой модели, используйте настройку languageModel в файле devproxyrc.json.

Файл:devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

Следующие параметры можно использовать как часть параметра languageModel:

Вариант Описание Значение по умолчанию
cacheResponses Указывает, следует ли кэшировать ответы из языковой модели. true
client Тип клиента, который следует использовать. Допустимые значения: Ollama, OpenAI OpenAI
enabled Указывает, следует ли использовать локальную языковую модель. false
model Имя используемой языковой модели. llama3.2
url URL-адрес клиента локальной языковой модели. http://localhost:11434/v1/

По умолчанию Dev Proxy использует стандартную конфигурацию Ollama с моделью llama3.2 с использованием API-интерфейсов Ollama, совместимых с OpenAI. Он также кэширует ответы из языковой модели, что означает, что для того же запроса вы получаете немедленный ответ, не ожидая обработки языковой модели.

Важно

При использовании локальной языковой модели обязательно запустите клиент локальной языковой модели перед запуском Dev Proxy.

Плагины Dev Proxy, использующие локальную языковую модель

Для следующих подключаемых модулей Прокси для разработки требуется локальная языковая модель. Если вы не включаете локальную языковую модель, Dev Proxy отключает следующие подключаемые модули:

При наличии следующие подключаемые модули прокси-сервера разработки используют локальную языковую модель:

См. также

  • Последнее обновление: