Обновления интеграции Ollama

2024-12-12

Выпуск .NET.NET Aspire Community Toolkit 9.0 интеграции Ollama представляет значительные изменения. Эти обновления повышают функциональные возможности и лучше интегрируются с проектом API .NET.NET Aspire.

Представленная версия

.NET .NET Aspire Набор средств сообщества 9.0 GA

Предыдущее поведение

Интеграция Ollama включает как размещение, так и обновления интеграции клиентов, которые подробно описаны в следующих разделах.

Размещение Ollama

Хостинговый ресурс Ollama должен быть предоставлен в качестве ссылки на другие ресурсы, и он предоставит сведения о модели как набор переменных окружения. Строка подключения представляла собой только конечную точку HTTP и не была в формате «строка подключения».

Клиент OllamaSharp

Поддерживает версию 3 библиотеки и не поддерживает интерфейсы Microsoft.Extensions.AI (M.E.AI).

Новое поведение

Новое поведение включает следующие обновления.

Модели в качестве ресурсов

В более ранних версиях модели добавлялись в ресурс Ollama, и вам нужно было передавать этот ресурс как ссылку. Этот подход требует обходных решений для установки и обнаружения модели по умолчанию. В версии 9.0 мы представили OllamaModelResource. Этот ресурс можно передать в качестве ссылки и предоставить клиентам сведения о подключении к используемой модели.

Новый формат строки подключения

Первоначально "строка подключения" из ресурса Ollama была только конечной точкой HTTP, но для лучшей поддержки использования модели в качестве ресурса системы создают "реальную" строку подключения Endpoint=<...>;Model=<...>. Часть Model включается только в том случае, если вы передаете OllamaModelResource.

OllamaSharp 4 и Microsoft.Extensions.AI

OllamaSharp обновлен до новой основной версии и теперь поддерживает интерфейсы из Microsoft.Extensions.AI. Вы можете зарегистрировать IOllamaApiClient (собственный клиент OllamaSharp) или воспользоваться M.E.AI IChatClient и IEmbeddingGenerator<TInput,TEmbedding> (в зависимости от типа модели). Использование этих новых интерфейсов делает код более переносимым между опциями LLM/SLM.

Устаревание и удаление API

При всем рефакторинге некоторые API устарели или удаляются.

Тип критического изменения

Это изменение является несовместимым на двоичном уровне и изменением поведения.

Причина изменения

Изменения предназначены для повышения функциональности библиотеки и улучшения интеграции с проектом API .NET.NET Aspire.