Поделиться через

API Помощников по Azure OpenAI (предварительная версия)

  • Статья

Помощники, новая функция Службы Azure OpenAI, теперь доступна в общедоступной предварительной версии. API помощников упрощает разработчикам создавать приложения с сложными интерфейсами copilot, которые могут просматривать данные, предлагать решения и автоматизировать задачи.

  • Помощники могут вызывать модели Azure OpenAI с конкретными инструкциями по настройке их личности и возможностей.
  • Помощники могут получить доступ к нескольким средствам параллельно. Это могут быть средства, размещенные в Azure OpenAI, такие как интерпретатор кода и поиск файлов, а также средства, которые вы создаете, размещаете и обращаетесь через вызов функции.
  • Помощники могут получить доступ к постоянным потокам. Потоки упрощают разработку приложений ИИ, сохраняя журнал сообщений и усечение его, когда беседа становится слишком длинной для длины контекста модели. Вы создаете поток один раз и просто добавляете в него сообщения в качестве ответа пользователей.
  • Помощники могут получать доступ к файлам в нескольких форматах. Либо как часть их создания, либо как часть потоков между помощниками и пользователями. При использовании средств помощники также могут создавать файлы (например, изображения или электронные таблицы) и ссылаться на файлы, на которые они ссылаются в создаваемых сообщениях.

Обзор

Ранее создание пользовательских помощник ИИ требовалось тяжелое подъем даже для опытных разработчиков. Хотя API завершения чата является упрощенным и мощным, это по сути без отслеживания состояния, что означает, что разработчикам пришлось управлять потоками беседы и чатами, интеграции инструментов, извлечения документов и индексов и выполнять код вручную.

API Помощников, как эволюция API завершения чата с отслеживанием состояния, предоставляет решение для этих проблем. API помощников поддерживает постоянные автоматически управляемые потоки. Это означает, что в качестве разработчика больше не нужно разрабатывать системы управления состоянием беседы и обойти ограничения контекстного окна модели. API помощников будет автоматически обрабатывать оптимизации, чтобы сохранить поток под максимальным контекстным окном выбранной модели. После создания потока вы можете просто добавить к нему новые сообщения по мере ответа пользователей. Помощники также могут получить доступ к нескольким средствам параллельно, при необходимости. Эти средства включают:

Совет

Дополнительные цены или квоты для использования помощников отсутствуют, если вы не используете интерпретатор кода или средства поиска файлов.

API помощников основан на одних и том же возможностях, что и продукт GPT OpenAI. Некоторые возможные варианты использования варьируются от рекомендаций по продуктам на основе ИИ, приложения аналитика продаж, программирования помощник, чат-бота сотрудников И&A и многое другое. Начните сборку на игровой площадке помощников без кода на платформе Azure OpenAI Studio, AI Studio или начните сборку с помощью API.

Внимание

Получение ненадежных данных с помощью вызова функции, интерпретатора кода или поиска файлов с входными данными и функций помощника по потокам может скомпрометировать безопасность помощника или приложения, использующего помощника. Узнайте о подходах к устранению рисков здесь.

Детская площадка помощников

Мы предоставляем пошаговое руководство по игровой площадке Помощников. Это обеспечивает среду без кода для тестирования возможностей помощник.

Компоненты помощников

Схема, показывающая компоненты помощник.

Компонент Description
Помощник Настраиваемый ИИ, использующий модели Azure OpenAI в сочетании с инструментами.
Поток Сеанс беседы между помощником и пользователем. Потоки хранят сообщения и автоматически обрабатывают усечение, чтобы поместить содержимое в контекст модели.
Сообщение Сообщение, созданное помощником или пользователем. Сообщения могут включать текст, изображения и другие файлы. Сообщения хранятся в виде списка в потоке.
Выполнить Активация помощника для запуска на основе содержимого потока. Помощник использует свою конфигурацию и сообщения потока для выполнения задач путем вызова моделей и инструментов. В рамках выполнения помощник добавляет сообщения в поток.
Шаг выполнения Подробный список шагов, выполняемых помощником в рамках запуска. Помощник может вызывать средства или создавать сообщения во время его выполнения. Изучение шагов выполнения позволяет понять, как помощник получает свои окончательные результаты.

Доступ к данным помощникам

В настоящее время помощник, потоки, сообщения и файлы, созданные для помощников, область на уровне ресурсов Azure OpenAI. Таким образом, любой пользователь с доступом к ресурсу Azure OpenAI или доступу к ключу API может читать и записывать помощник, потоки, сообщения и файлы.

Настоятельно рекомендуется использовать следующие элементы управления доступом к данным:

  • Реализуйте авторизацию. Прежде чем выполнять операции чтения или записи на помощник, потоках, сообщениях и файлах, убедитесь, что конечный пользователь имеет право на это.
  • Ограничение доступа к ресурсу и ключу API Azure OpenAI. Внимательно рассмотрим, кто имеет доступ к ресурсам Azure OpenAI, где используются помощник и связанные ключи API.
  • Регулярно проверяйте, какие учетные записи или лица имеют доступ к ресурсу Azure OpenAI. Ключи API и доступ на уровне ресурсов обеспечивают широкий спектр операций, включая чтение и изменение сообщений и файлов.
  • Включите параметры диагностики, чтобы разрешить долгосрочное отслеживание определенных аспектов журнала действий ресурса Azure OpenAI.

Параметры

API Помощников поддерживает несколько параметров, которые позволяют настраивать выходные данные Помощников. Параметр tool_choice позволяет помощнику принудительно использовать указанное средство. Вы также можете создавать сообщения с ролью assistant для создания пользовательских журналов бесед в потоках. temperature, top_presponse_format позволяет настраивать ответы. Дополнительные сведения см. в справочной документации.

Управление окнами контекста

Помощники автоматически усечены текст, чтобы убедиться, что он остается в пределах максимальной длины контекста модели. Это поведение можно настроить, указав максимальные маркеры, которые вы хотите использовать и (или) максимальное количество последних сообщений, которые вы хотите включить в выполнение.

Максимальное завершение и максимальное число маркеров запроса

Чтобы управлять использованием маркера в одном запуске, задайте max_prompt_tokens и max_completion_tokens при создании запуска. Эти ограничения применяются к общему количеству маркеров, используемых во всех завершениях на протяжении жизненного цикла выполнения.

Например, инициирование run с max_prompt_tokens установленным значением 500 и max_completion_tokens значение 1000 означает, что первое завершение усенит поток до 500 маркеров и закроет выходные данные на 1000 маркеров. Если в первом завершении используются только 200 маркеров запроса и 300 маркеров завершения, то второе завершение будет иметь доступные ограничения в 300 маркеров запроса и 700 маркеров завершения.

Если завершение достигает max_completion_tokens предела, выполнение завершится с состоянием неполного, а сведения будут предоставлены в incomplete_details поле объекта Run.

При использовании средства поиска файлов рекомендуется задать max_prompt_tokens значение не менее 20 000. Для длительных бесед или нескольких взаимодействий с поиском файлов рекомендуется увеличить это ограничение до 50 000 или в идеале, удалив max_prompt_tokens ограничения полностью, чтобы получить самые качественные результаты.

Стратегия усечения

Кроме того, можно указать стратегию усечения для управления отображением потока в окне контекста модели. Использование стратегии усечения типа auto будет использовать стратегию усечения по умолчанию OpenAI. Использование стратегии усечения типа last_messages позволит указать количество последних сообщений, которые необходимо включить в контекстное окно.

См. также