Plug-in Ollama

Esse agente é usado para interagir com um modelo de linguagem em execução localmente utilizando a API Ollama. Antes de usar esse agente, você precisa ter o Ollama instalado e em execução. Para criar um agente, você precisa implementar a IAgent interface.

Você também pode usar esse código de exemplo como um modelo para criar seu próprio agente.

Pré-requisitos para usar o agente

• Instalar Ollama
• Instale um modelo Ollama, sugerimos usar o phi3 modelo como ele é definido como o modelo padrão no código
• iniciar o servidor de API do Ollama

Configuração

No momento, para alterar o modelo, você precisará modificar a consulta no código na classe OllamaChatService. O modelo padrão é phi3.

O ponto de extremidade padrão é http://localhost:11434/api/generate com 11434 sendo a porta padrão. Isso pode ser alterado no código e, eventualmente, será adicionado a um arquivo de configuração.

Há uma versão atualizada do agente Ollama disponível no repositório do AI Shell. Consulte o arquivo README para o plug-in Ollama.

Limitações conhecidas

• Não há nenhum histórico compartilhado entre consultas, portanto, o modelo não poderá se lembrar de consultas anteriores
• No momento, não há suporte para streaming se você alterar o valor do fluxo para true nos dados a serem enviados para a API, ele não funcionará