Ответы кэша на запросы API OpenAI Azure
ОБЛАСТЬ ПРИМЕНЕНИЯ: Базовая версия 2 | Стандартная версия 2
Политика azure-openai-semantic-cache-store
кэширует ответы на API завершения чата Azure OpenAI и API завершения в настроенный внешний кэш. Кэширование ответов снижает требования к пропускной способности и обработке, введенные серверной частью API OpenAI, и снижает задержку, воспринимаемую потребителями API.
Примечание.
- Эта политика должна иметь соответствующие ответы get cached responses to Azure OpenAI API requests policy.
- Предварительные требования и шаги для включения семантического кэширования см. в статье "Включение семантического кэширования для API OpenAI Azure" в Azure Управление API.
- В настоящее время эта политика находится в предварительной версии.
Примечание.
Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.
Правило политики
<azure-openai-semantic-cache-store duration="seconds"/>
Атрибуты
Атрибут | Description | Обязательное поле | По умолчанию. |
---|---|---|---|
duration | Срок жизни кэшированных записей (в секундах). Допустимы выражения политики. | Да | Н/П |
Использование
- Разделы политики: outbound.
- Области политики: глобальная, рабочая область, продукт, API, операция
- Шлюзы: версия 2
Примечания об использовании
- Эту политику можно использовать только один раз в разделе политики.
- Если поиск кэша завершается сбоем, вызов API, использующий операцию, связанную с кэшем, не вызывает ошибку, и операция кэша успешно завершается.
Примеры
Пример с соответствующей политикой поиска azure-openai-semantic-cache-lookup
<policies>
<inbound>
<base />
<azure-openai-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id ="azure-openai-backend"
embeddings-backend-auth ="system-assigned" >
<vary-by>@(context.Subscription.Id)</vary-by>
</azure-openai-semantic-cache-lookup>
</inbound>
<outbound>
<azure-openai-semantic-cache-store duration="60" />
<base />
</outbound>
</policies>
Связанные политики
Связанный контент
Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.
- Руководство. Преобразование и защита API
- Полный перечень операторов политик и их параметров см. в справочнике по политикам.
- Выражения политики
- Настройка или изменение политик
- Повторное использование конфигураций политик
- Репозиторий фрагментов политик
- Создание политик с помощью Microsoft Copilot для Azure
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по