Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Средство обработки больших языковых моделей (LLM) в потоке запросов позволяет воспользоваться преимуществами широко используемых больших языковых моделей, таких как OpenAI, Или Azure OpenAI в моделях Azure AI Foundry Или любой языковой модели, поддерживаемой API вывода модели ИИ Azure для обработки естественного языка.
Поток запросов предоставляет несколько различных api-интерфейсов модели языка:
- Завершение: модели завершения OpenAI создают текст на основе предоставленных запросов.
- Чат: модели чата OpenAI и модели чата Azure AI упрощают интерактивные беседы с текстовыми входными и ответами.
Примечание.
Мы удалили embedding параметр из параметра API инструментов LLM. С помощью средства внедрения можно использовать API внедрения.
Для подключения Azure OpenAI поддерживается только проверка подлинности на основе ключей.
Не используйте символы, отличные от ascii, в имени группы ресурсов ресурса Azure OpenAI, поток запросов не поддерживал этот случай.
Необходимые компоненты
Создание ресурсов OpenAI:
OpenAI:
- Зарегистрируйте свою учетную запись на веб-сайте OpenAI.
- Войдите и найдите личный ключ API.
Azure OpenAI:
- Создайте ресурсы Azure OpenAI с помощью этих инструкций.
Модели, развернутые в стандартных развертываниях
- Создайте конечную точку с моделью из интересующего вас каталога и разверните ее с помощью стандартного развертывания.
- Чтобы использовать модели, развернутые в стандартном развертывании, поддерживаемом API вывода модели ИИ Azure, например Mistral, Cohere, Meta Llama или семейство моделей Майкрософт (среди прочего), необходимо создать подключение в проекте к конечной точке.
Связи
Настройте подключения к подготовленным ресурсам в потоке запросов.
| Тип | Имя. | Ключ API | Тип API | Версия API |
|---|---|---|---|---|
| OpenAI | Обязательное поле | Обязательное поле | - | - |
| Azure OpenAI — ключ API | Обязательное поле | Обязательное поле | Обязательное поле | Обязательное поле |
| Azure OpenAI — идентификатор Microsoft Entra | Обязательное поле | - | - | Обязательное поле |
| Бессерверная модель | Обязательное поле | Обязательное поле | - | - |
Совет
- Чтобы использовать тип проверки подлинности идентификатора Microsoft Entra для подключения к Azure OpenAI, необходимо назначить
Cognitive Services OpenAI UserCognitive Services OpenAI Contributor roleуправляемое удостоверение, назначаемое пользователем или пользователем. - Узнайте больше о том, как указать использование удостоверения пользователя для отправки потока.
- Узнайте больше о настройке Azure OpenAI с управляемыми удостоверениями.
Входные данные
В следующих разделах показаны различные входные данные.
Завершение текста
| Имя. | Тип | Описание | Обязательное поле |
|---|---|---|---|
| подсказка | строка | Текстовый запрос для языковой модели. | Да |
| модель, deployment_name | строка | Языковая модель для использования. | Да |
| макс_токены | целое число | Максимальное количество маркеров для создания в завершении. Значение по умолчанию — 16. | нет |
| Температура | с плавающей запятой | Случайность созданного текста. По умолчанию 1. | нет |
| остановка | список | Остановка последовательности для созданного текста. Значение по умолчанию — null. | нет |
| суффикс | строка | Текст, добавленный к концу завершения. | нет |
| top_p | с плавающей запятой | Вероятность использования верхнего выбора из созданных маркеров. По умолчанию 1. | нет |
| logprobs | целое число | Число вероятностей создания журнала. Значение по умолчанию — null. | нет |
| эхо | булевый | Значение, указывающее, следует ли возвращать запрос в ответе. По умолчанию — false. | нет |
| штраф за присутствие | с плавающей запятой | Значение, которое управляет поведением модели для повторяющихся фраз. Значение по умолчанию — 0. | нет |
| штраф за частоту | с плавающей запятой | Значение, которое управляет поведением модели для создания редких фраз. Значение по умолчанию — 0. | нет |
| Лучшее из | целое число | Количество лучших завершений для создания. По умолчанию 1. | нет |
| логит_биас | словарь | Предвзятость logit для языковой модели. По умолчанию используется пустой словарь. | нет |
Чат
| Имя. | Тип | Описание | Обязательное поле |
|---|---|---|---|
| подсказка | строка | Текстовый запрос, который используется языковой моделью для ответа. | Да |
| модель, deployment_name | строка | Языковая модель для использования. Этот параметр не требуется, если модель развертывается в стандартном развертывании. | Да* |
| макс_токены | целое число | Максимальное количество маркеров для создания в ответе. Значение по умолчанию — inf. | нет |
| Температура | с плавающей запятой | Случайность созданного текста. По умолчанию 1. | нет |
| остановка | список | Остановка последовательности для созданного текста. Значение по умолчанию — null. | нет |
| top_p | с плавающей запятой | Вероятность использования верхнего выбора из созданных маркеров. По умолчанию 1. | нет |
| штраф за присутствие | с плавающей запятой | Значение, которое управляет поведением модели для повторяющихся фраз. Значение по умолчанию — 0. | нет |
| штраф за частоту | с плавающей запятой | Значение, которое управляет поведением модели для создания редких фраз. Значение по умолчанию — 0. | нет |
| логит_биас | словарь | Предвзятость logit для языковой модели. По умолчанию используется пустой словарь. | нет |
Выходные данные
| API (Интерфейс программирования приложений) | Возвращаемый тип | Описание |
|---|---|---|
| Завершение | строка | Текст одного прогнозируемого завершения |
| Чат | строка | Текст одного ответа беседы |
Использование средства LLM
- Настройте и выберите подключения к ресурсам OpenAI или стандартному развертыванию.
- Настройте API большой языковой модели и его параметры.
- Подготовьте запрос с помощью инструкций.