Получение кэшированных ответов запросов API большой языковой модели

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

llm-semantic-cache-lookup Используйте политику для выполнения поиска ответов на запросы API большой языковой модели (LLM) из настроенного внешнего кэша на основе векторного расположения запроса к предыдущим запросам и заданного порогового значения оценки сходства. Кэширование ответов снижает требования к пропускной способности и обработке, введенные для api LLM серверной части, и снижает задержку, воспринимаемую потребителями API.

Примечание.

• Эта политика должна иметь соответствующие ответы кэша на политику запросов API больших языковых моделей.
• Предварительные требования и шаги для включения семантического кэширования см. в статье "Включение семантического кэширования для API OpenAI Azure" в Azure Управление API.
• В настоящее время эта политика находится в предварительной версии.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Правило политики

<llm-semantic-cache-lookup
    score-threshold="similarity score threshold"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</llm-semantic-cache-lookup>

Атрибуты

Атрибут	Description	Обязательное поле	По умолчанию.
пороговое значение оценки	Пороговое значение оценки сходства, используемое для определения того, следует ли возвращать кэшированный ответ в запрос. Значение равно десятичному значению от 0,0 до 1.0. Подробнее.	Да	Н/П
embeddings-backend-id	Внутренний идентификатор для вызова API внедрения OpenAI.	Да	Н/П
embeddings-backend-auth	Проверка подлинности, используемая для серверной части API Внедрения Azure OpenAI.	Да. Должен иметь значениеsystem-assigned.	Н/П
ignore-system-messages	Логическое значение. Если задано значение true, удаляет системные сообщения из запроса завершения чата GPT перед оценкой сходства кэша.	No	false
max-message-count	Если задано, количество оставшихся диалоговых сообщений, после которых кэширование пропускается.	No	Н/П

Элементы

Имя	Описание	Обязательное поле
vary-by	Пользовательское выражение, определенное во время выполнения, кэширование значений которого секционирует. Если добавляются несколько vary-by элементов, значения объединяются для создания уникальной комбинации.	No

Использование

• Разделы политики: inbound.
• Области политики: global, product, API, operation.
• Шлюзы: версия 2

Примечания об использовании

• Эту политику можно использовать только один раз в разделе политики.

Примеры

Пример с соответствующей политикой llm-semantic-cache-store

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Связанные политики

• Кэширование
• llm-semantic-cache-store

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

• Руководство. Преобразование и защита API
• Полный перечень операторов политик и их параметров см. в справочнике по политикам.
• Выражения политики
• Настройка или изменение политик
• Повторное использование конфигураций политик
• Репозиторий фрагментов политик
• Создание политик с помощью Microsoft Copilot в Azure