Импорт API языковой модели

ПРИМЕНЯЕТСЯ КО ВСЕМ уровням управления API

Конечные точки языковой модели, совместимые с OpenAI, можно импортировать в экземпляр службы управления API в качестве API. Вы также можете импортировать языковые модели, которые несовместимы с OpenAI, в качестве посреднического API, который перенаправляют запросы непосредственно на внутренние конечные точки. Например, вы можете управлять LLM, размещенным на локальном узле или размещенным в поставщике вывода, отличном от служб ИИ Azure. Используйте политики шлюза ИИ и другие возможности в службе "Управление API", чтобы упростить интеграцию, улучшить наблюдаемость и повысить контроль над конечными точками модели.

Узнайте больше об управлении AI API в API Management.

• Возможности шлюза искусственного интеллекта в службе "Управление API Azure"

Типы API языковой модели

Управление API поддерживает два типа API языковой модели для этого сценария. Выберите вариант, подходящий для развертывания модели. Параметр определяет, как клиенты вызывают API и как экземпляр управления API направляет запросы к службе ИИ.

• Совместимая с OpenAI — конечные точки языковой модели, совместимые с API OpenAI. Примеры включают в себя некоторые модели, предоставляемые поставщиками инференции, такими как Hugging Face Text Generation Inference (TGI) и API Google Gemini.

  Для LLM, совместимой с OpenAI, API Management настраивает точку завершения чата.

• Сквозное руководство . Другие конечные точки языковой модели, несовместимые с API OpenAI. Примеры включают модели, развернутые в Amazon Bedrock или других поставщиках.

  Управление API настраивает подстановочные знаки для распространенных http-команд. Клиенты могут добавлять пути к операциям подстановочных знаков, а система управления API передает запросы на бэкенд.

Предпосылки

• Существующий экземпляр системы управления API. Создайте его, если у вас его нет.
• Локальное развертывание языковой модели, не предоставляемой Azure, с конечной точкой API.

Импорт API языковой модели с помощью портала

При импорте API LLM на портале управление API автоматически настраивает:

• Внутренний ресурс и политика set-backend-service, которые направляют запросы API к конечной точке LLM.
• (необязательно) Доступ к серверной части LLM с помощью предоставленного ключа доступа. Ключ защищен как секретное именованное значение в службе управления API.
• (необязательно) Политики, помогающие отслеживать API и управлять ими.

Чтобы импортировать API языковой модели в управление API, выполните следующие действия.

1. Перейдите на портал Azure и откройте ваш экземпляр диспетчера API.

2. В меню слева в разделе API выберите API>+ Добавить API.

3. В разделе "Определение нового API" выберите API языковой модели.

   

4. На вкладке "Настройка API" :

   1. Введите отображаемое имя и необязательное описание для API.
   2. Введите URL-адрес конечной точки API LLM.
   3. При необходимости выберите один или несколько продуктов для связывания с API.
   4. В path добавьте путь, который используется экземпляром службы управления API для доступа к конечным точкам API LLM.
   5. В поле "Тип" выберите "Создать API OpenAI" или "Создать сквозной API". Дополнительные сведения см. в разделе "Типы API языковой модели ".
   6. В поле Access key введите имя заголовка авторизации и ключ API, используемые для доступа к API LLM, если это необходимо.
   7. Нажмите кнопку Далее.

   

5. На вкладке "Управление потреблением маркеров " при необходимости введите параметры или примите значения по умолчанию, определяющие следующие политики, которые помогают отслеживать API и управлять ими:

   • Управление потреблением токенов
   • Отслеживание использования маркеров

6. На вкладке "Применить семантический кэширование" при необходимости введите параметры или примите значения по умолчанию, определяющие политики, которые помогают оптимизировать производительность и сократить задержку для API:

   • Включение семантического кэширования ответов

7. В безопасности содержимого ИИ при необходимости введите параметры или примите значения по умолчанию, чтобы настроить службу безопасности содержимого ИИ Azure, чтобы заблокировать запросы с небезопасным содержимым:

   • Принудительное применение проверок безопасности содержимого для запросов LLM

8. Выберите Review.

9. После проверки параметров нажмите кнопку "Создать".

Управление API создает API и настраивает операции для конечных точек LLM. По умолчанию ДЛЯ API требуется подписка на управление API.

Тестирование API LLM

Чтобы убедиться, что API LLM работает должным образом, протестируйте его в консоли тестирования УПРАВЛЕНИЯ API.

1. Выберите API, созданный на предыдущем шаге.

2. Откройте вкладку Тест.

3. Выберите операцию, совместимую с развертыванием модели. На странице отображаются поля для параметров и заголовков.

4. При необходимости введите параметры и заголовки. В зависимости от операции может потребоваться настроить или обновить текст запроса.

   Замечание

   В тестовой консоли Управление API автоматически заполняет заголовок Ocp-Apim-Subscription-Key и настраивает ключ подписки встроенной подписки с полным доступом. Этот ключ обеспечивает доступ ко всем API в экземпляре управления API. При необходимости отобразите заголовок Ocp-Apim-Subscription-Key, выбрав значок "глаз" рядом с HTTP-запросом.

5. Выберите Отправить.

   При успешном выполнении теста серверная часть возвращает успешный HTTP-код ответа и некоторые данные. Добавлен к ответу данные об использовании маркеров, помогающие отслеживать потребление маркеров языковой модели и управлять ими.

Связанный контент

• Возможности шлюза искусственного интеллекта в службе "Управление API Azure"