Complemento ollama

Este agente se usa para interactuar con un modelo de lenguaje que se ejecuta localmente mediante la API de Ollama. Antes de usar este agente, debe tener Ollama instalado y en ejecución. Para crear un agente, debe implementar la IAgent interfaz.

También puede usar este código de ejemplo como plantilla para crear su propio agente.

Requisitos previos para usar el agente

• Instalación de De Ollama
• Instale un modelo de Ollama, sugerimos usar el phi3 modelo, ya que está configurado como el modelo predeterminado en el código
• Iniciar el del servidor de API de Ollama

Configuración

Actualmente, para cambiar el modelo, deberá modificar la consulta en el código de la clase OllamaChatService. El modelo predeterminado es phi3.

El punto de conexión predeterminado es http://localhost:11434/api/generate con 11434 siendo el puerto predeterminado. Esto se puede cambiar en el código y, finalmente, se agregará a un archivo de configuración.

Hay una versión actualizada del agente de Ollama disponible en el repositorio de AI Shell. Consulte el archivo README para el complemento Ollama.

Limitaciones conocidas

• No hay ningún historial compartido entre consultas, por lo que el modelo no podrá recordar las consultas anteriores.
• Actualmente no se admite el streaming si cambia el valor de la secuencia a true en los datos para enviar a la API, no funcionará.