Подключаемый модуль Ollama

Этот агент используется для взаимодействия с языковой моделью, работающей локально, с помощью API Ollama. Перед использованием этого агента необходимо установить и запустить Ollama. Чтобы создать агента, нужно реализовать IAgent интерфейс.

Вы также можете использовать этот пример кода в качестве шаблона для создания собственного агента.

Предварительные требования для использования агента

• Установка Ollama
• Установите модель Ollama, мы предлагаем использовать модель в phi3 том виде, в котором она установлена в качестве модели по умолчанию в коде
• запуск сервера API Ollama

Конфигурация

В настоящее время для изменения модели необходимо изменить запрос в коде в классе OllamaChatService. Модель по умолчанию — phi3.

Конечная точка по умолчанию http://localhost:11434/api/generate с 11434 портом по умолчанию. Это можно изменить в коде и в конечном итоге будет добавлено в файл конфигурации.

В репозитории AI Shell доступна обновленная версия агента Ollama. Смотрите файл README для плагина Ollama.

Известные ограничения

• В запросах нет общего журнала, поэтому модель не сможет запоминать предыдущие запросы.
• Потоковая передача в настоящее время не поддерживается, если изменить значение потока на true в данных для отправки в API он не будет работать.