Вывод модели ИИ Azure (предварительная версия)

API вывода модели для моделей, развернутых в Azure AI и Машинном обучении Azure с бессерверными и локальными конечными точками.

Этот соединитель доступен в следующих продуктах и регионах:

Услуга	Класс	Регионы
Логические приложения	Стандарт	Все регионы Logic Apps , кроме следующих: — Регионы Azure для государственных организаций — Регионы Azure Для Китая - Министерство обороны США (DoD)

Контакт
Имя	Корпорация Майкрософт
URL	https://support.microsoft.com

Метаданные соединителя
Publisher	Microsoft Copilot Studio
Политика конфиденциальности	https://privacy.microsoft.com/privacystatement
Веб-сайт	https://learn.microsoft.com/en-us/azure/ai-studio/reference/reference-model-inference-api
Категории	AI

Соединитель вывода искусственного интеллекта Azure позволяет подключаться к собственной модели из Студии искусственного интеллекта Azure

Необходимые условия

Модель, развернутая в Студии искусственного интеллекта Azure

Получите ваши учетные данные

Для проверки подлинности запросов API вам потребуется конечная точка и ключ API модели.

Перейдите к ресурсу в azure open ai studio —> развертывания. Затем в конечной точке находится URI целевого объекта, а ключ находится в разделе "Ключ".

Поддерживаемые операции

Соединитель вывода искусственного интеллекта Azure поддерживает следующие операции:

GetModelInfo — возвращает сведения о модели, развернутой в конечной точке.

Требуемые параметры:

* `api-version` - The version of the Inference API

GetChatCompletions — создает ответ модели для данной беседы чата

Требуемые параметры:

* `api-version` - The version of the Inference API
* `messages` - The chat conversation to be completed
* `model` - The Deployment name of the model, Required only for openai models

Значения по умолчанию необязательных параметров:

* `frequency_penalty` - 0
* `presence_penalty` - 0
* `temperature` - 0.7
* `top_p` - 1

Создание подключения

Соединитель поддерживает следующие типы проверки подлинности:


По умолчанию	Параметры для создания подключения.	Все регионы	Недоступен для совместного использования

По умолчанию

Применимо: все регионы

Параметры для создания подключения.

Это недоступно для общего доступа. Если приложение power предоставляется другому пользователю, пользователю будет предложено явно создать новое подключение.

Имя	Тип	Описание	Обязательный
URL-адрес конечной точки модели Azure	струна	Введите URL-адрес развернутой конечной точки модели. Например: https://resource.openai.azure.com	True
Ключ API	securestring	Авторизация для этого API	True

Ограничения регулирования

Имя	Вызовы	Период обновления
Вызовы API для каждого подключения	100	60 секунд

Действия

Возвращает сведения о модели, развернутой в конечной точке

Возвращает сведения о модели ИИ. Метод выполняет вызов REST API к /info маршруту на заданной конечной точке. Этот метод будет работать только при использовании бессерверного API или конечной точки управляемых вычислений. Она не будет работать для конечной точки GitHub Models или конечной точки Azure OpenAI.

Создает ответ модели для данной беседы чата

Создает ответ модели для данной беседы чата.

Возвращает сведения о модели, развернутой в конечной точке

Идентификатор операции:: GetModelInfo

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Версия API в формате YYYY-MM-DD или YYYY-MM-DD-preview.	api-version	True	string	Версия API в формате YYYY-MM-DD или YYYY-MM-DD-preview.
Имя развертывания, в которое нужно направить запрос.	azureml-model-deployment		string	Имя развертывания, в которое нужно направить запрос. Поддерживается для конечных точек, поддерживающих несколько развертываний.

Возвращаемое значение

Представляет некоторые основные сведения о модели искусственного интеллекта.

Тело: ModelInfo

Создает ответ модели для данной беседы чата

Идентификатор операции:: GetChatCompletions

Создает ответ модели для данной беседы чата.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
содержимое	content	True	string	Содержимое системного сообщения.
роль	role	True	string	Роль автора сообщений в данном случае `system`.
имя	name		string	Необязательное имя участника. Предоставляет сведения о модели, чтобы различать участников одной роли.
штраф за частоту	frequency_penalty		float	Значение, влияющее на вероятность появления созданных маркеров на основе их совокупной частоты в созданном тексте. Положительные значения делают маркеры менее вероятными при увеличении частоты и уменьшении вероятности повторения одной и той же инструкции модели. Поддерживаемый диапазон — [-2, 2].
поток	stream		boolean	Значение, указывающее, следует ли выполнять потоковую передачу завершения чата для этого запроса.
штраф за присутствие	presence_penalty		float	Значение, влияющее на вероятность появления созданных маркеров на основе существующего присутствия в созданном тексте. Положительные значения делают маркеры менее вероятными, когда они уже существуют и повышают вероятность вывода новых разделов модели. Поддерживаемый диапазон — [-2, 2].
Температура	temperature		float	Температура выборки, используемая для управления очевидным творчеством созданных завершений. Более высокие значения делают выходные данные более случайными, а более низкие значения делают результаты более ориентированными и детерминированными. Не рекомендуется изменять температуру и top_p для того же запроса завершения, так как взаимодействие этих двух параметров трудно прогнозировать. Поддерживаемый диапазон — [0, 1].
top_p	top_p		float	Альтернатива выборке с температурой, называемой выборкой ядра. Это значение приводит к тому, что модель рассматривает результаты маркеров с предоставленной массой вероятности. Например, значение 0,15 приведет только к тому, что маркеры, состоящие из первых 15% массы вероятностей, будут считаться. Не рекомендуется изменять температуру и top_p для того же запроса завершения, так как взаимодействие этих двух параметров трудно прогнозировать. Поддерживаемый диапазон — [0, 1].
макс_токены	max_tokens		integer	Максимальное количество генерируемых токенов.
тип	type		string	Должен быть одним из `text` или `json_object`.
stop	stop		array of string	Коллекция текстовых последовательностей, которая завершит создание завершений.
тип	type	True	string	Тип средства. В настоящее время поддерживается только `function` .
описание	description		string	Описание того, что делает функция. Модель будет использовать это описание при выборе функции и интерпретации его параметров.
имя	name	True	string	Имя вызываемой функции.
параметры	parameters		object	Параметры, которые принимают функции, описаны как объект схемы JSON.
seed	seed		integer	Если задано, система будет предпринять наилучшие усилия для выборки детерминированного типа, чтобы повторяющиеся запросы с одинаковым начальным значением и параметрами возвращали тот же результат. Детерминированность не гарантируется.
модель	model		string	Идентификатор используемой модели ИИ, если на конечной точке доступно несколько моделей.
Версия API в формате YYYY-MM-DD или YYYY-MM-DD-preview.	api-version	True	string	Версия API в формате YYYY-MM-DD или YYYY-MM-DD-preview.
Управляет тем, что происходит, если передается неизвестный параметр.	extra-parameters		string	Управляет тем, что происходит, если дополнительные параметры, неопределенные REST API, передаются в полезные данные запроса JSON. При этом задается заголовок `extra-parameters`HTTP-запроса. ошибка. Служба будет ошибаться, если она обнаружила дополнительные параметры в полезных данных запроса. Это служба по умолчанию. drop — служба будет игнорировать (удалить) дополнительные параметры в полезных данных запроса. Он передает только известные параметры в модель внутреннего ИИ. сквозной передачи — служба передает дополнительные параметры в модель внутреннего ИИ.
Имя развертывания, в которое нужно направить запрос.	azureml-model-deployment		string	Имя развертывания, в которое нужно направить запрос. Поддерживается для конечных точек, поддерживающих несколько развертываний.

Возвращаемое значение

Представляет ответ завершения чата, возвращаемый моделью на основе предоставленных входных данных.

Тело: CreateChatCompletionResponse

Определения

Информация о модели

Представляет некоторые основные сведения о модели искусственного интеллекта.

Имя	Путь	Тип	Описание
model_name	model_name	string	Имя модели ИИ.
	model_type	string	Тип модели ИИ. Уникальный идентификатор профиля.
model_provider_name	model_provider_name	string	Имя поставщика модели.
capabilities	capabilities

ChatCompletionMessageToolCalls

Вызовы инструментов, сгенерированные моделью, например вызовы функций.

Имя	Путь	Тип	Описание
Предметы		ChatCompletionMessageToolCall

ChatCompletionMessageToolCall

Имя	Путь	Тип	Описание
id	id	string	Идентификатор вызова инструмента.
тип	type	string	Тип средства. В настоящее время поддерживается только `function` .
имя	function.name	string	Имя вызываемой функции.
arguments	function.arguments	string	Аргументы, с которыми вызывается функция, генерируемые моделью в формате JSON. Обратите внимание, что модель не всегда создает допустимые json и может галлюцинировать параметры, не определенные схемой функции. Перед вызовом функции проверьте аргументы в коде.

ChatCompletionResponseMessage

Сообщение о завершении чата, созданное моделью.

Имя	Путь	Тип	Описание
содержимое	content	string	Содержимое сообщения.
вызовы инструментов	tool_calls	ChatCompletionMessageToolCalls	Вызовы инструментов, сгенерированные моделью, например вызовы функций.
роль	role	string	Роль автора этого сообщения.

CreateChatCompletionResponse

Представляет ответ завершения чата, возвращаемый моделью на основе предоставленных входных данных.

Имя	Путь	Тип	Описание
id	id	string	Уникальный идентификатор, связанный с ответом завершения чата.
choices	choices	array of object	Список вариантов завершения чата. Может быть больше одного, если `n` больше 1.
	choices.finish_reason	string	Причина, по которой модель перестала генерировать токены. Это произойдет`stop`, если модель попала в естественную точку остановки или указанную последовательность остановки, если достигнуто максимальное количество маркеров, указанных в запросе,`length` если содержимое было пропущено из-за флага из фильтров содержимого,`content_filtertool_calls` если модель называется инструментом.
content_filter_result	choices.content_filter_result
index	choices.index	integer	Упорядоченный индекс, связанный с этим выбором завершения чата.
сообщение	choices.message	ChatCompletionResponseMessage	Сообщение о завершении чата, созданное моделью.
создано	created	integer	Первая метка времени, связанная с действием создания для этого ответа завершения, представленная как секунды с начала эпохи Unix 00:00 1 января 1970 года.
модель	model	string	Модель, используемая для завершения чата.
объект	object	string	Тип объекта, который всегда является `chat.completion`.
использование	usage	CompletionUsage	Представление количества маркеров, обработанных для запроса завершения. Счетчики учитывают все маркеры в запросах, вариантах выбора, альтернативных вариантах, best_of поколениях и других потребителях.

ЗавершениеUsage

Представление количества маркеров, обработанных для запроса завершения. Счетчики учитывают все маркеры в запросах, вариантах выбора, альтернативных вариантах, best_of поколениях и других потребителях.

Имя	Путь	Тип	Описание
токены завершения	completion_tokens	integer	Количество маркеров, созданных во всех выбросов завершения.
подсказывающие токены	prompt_tokens	integer	Количество маркеров в предоставленных запросах на завершение.
общее количество токенов	total_tokens	integer	Общее количество маркеров, обработанных для запроса завершения и ответа.

Поделиться через

Вывод модели ИИ Azure (предварительная версия)

Необходимые условия

Получите ваши учетные данные

Поддерживаемые операции

Создание подключения

По умолчанию

Ограничения регулирования

Действия

Возвращает сведения о модели, развернутой в конечной точке

Параметры

Возвращаемое значение

Создает ответ модели для данной беседы чата

Параметры

Возвращаемое значение

Определения

Информация о модели

ChatCompletionMessageToolCalls

ChatCompletionMessageToolCall

ChatCompletionResponseMessage

CreateChatCompletionResponse

ЗавершениеUsage