Что такое служба агента Foundry?

Большинство предприятий не хотят просто чат-ботов. Они хотят, чтобы автоматизация была быстрее и имеет меньше ошибок. Это может означать сводку документов, обработку счетов, управление запросами в службу поддержки или публикацию записей блога. Во всех случаях цель одинакова: освобождение людей и ресурсов, чтобы сосредоточиться на работе с более высоким уровнем ценности, выгрузив повторяющиеся и прогнозируемые задачи.

Крупные языковые модели (LLMs) представляют новый тип автоматизации с системами, которые могут понимать неструктурированные данные, принимать решения и создавать содержимое. На практике предприятия могут иметь трудности с переходом за рамки демонстраций и в производство. Модели языкового машинного обучения могут изменяться, давать неверную информацию и не иметь подотчетности. Без видимости, применения политик и оркестрации этими моделями трудно управлять в реальных бизнес-процессах.

Microsoft Foundry предназначен для изменения этого. Это платформа, которая объединяет модели, инструменты, платформы и управление в единую систему для создания интеллектуальных агентов. В центре этой системы находится Foundry Agent Service, который обеспечивает работу агентов на этапах разработки, развертывания и эксплуатации.

Схема, показывающая службу агента Foundry как центральный концентратор, соединяющий четыре компонента: модели ИИ слева, инструменты и фреймворки вверху, управление и соответствие справа, а также оркестрация внизу. Стрелки указывают, что служба агента позволяет агентам переходить из стадии разработки через развертывание в производственную среду.

Служба агента соединяет основные части Foundry, такие как модели, инструменты и платформы, в одну среду выполнения. Он управляет беседами, координирует вызовы инструментов, обеспечивает безопасность содержимого и интегрируется с системами идентификации, сетевыми и системами контроля. Эти возможности помогают создавать агенты, которые являются безопасными, масштабируемыми и готовыми к рабочей среде.

Абстрагируя сложность инфраструктуры и обеспечивая доверие и безопасность, заложенную в дизайн, сервис агентской поддержки может помочь вам перейти от прототипа к рабочей среде с уверенностью.

Предпосылки

• Подписка #REF! с разрешением на создание ресурсов Foundry и управление ими.
• Проект компании Foundry. Если вы еще не создали его, начните с установки среды.
• Развернутая модель, которую может использовать агент. Доступность модели и региона может отличаться; см. модели для информирования агентов.

Доступность, регионы и ограничения

Возможности службы агентов могут отличаться в зависимости от используемого интерфейса Foundry, а также выбранного вами модели и региона.

• Ограничения служб, квоты, регионы и рекомендации по регулированию см. в разделе " Квоты и ограничения" для службы агента.

Если вы создаете первого агента, начните со ссылок краткого руководства в разделе "Начало работы со службой агента Foundry", чтобы убедиться, что вы находитесь на правильном пути API для вашего опыта работы с Foundry.

Что такое агент ИИ?

Агенты принимают решения, вызывают инструменты и участвуют в рабочих процессах. Они выполняют эти задачи иногда независимо и иногда в сотрудничестве с другими агентами или людьми. Они являются основой для автоматизации процессов на практике.

Агенты, создаваемые с помощью Foundry, не являются монолитами. Они составные единицы. Каждый агент имеет определенную роль, работает на основе правильной модели и оснащен правильными инструментами. Вы развертываете каждый агент в безопасной, наблюдаемой и управляемой среде выполнения.

Агент имеет три основных компонента:

• Модель (LLM): возможности анализа и распознавания речи.
• Инструкции. Определение целей, поведения и ограничений агента. Они могут иметь следующие типы:
  • Декларативный:
    • На основе запроса: декларативно определенный один агент, объединяющий конфигурацию модели, инструкции, инструменты и запросы естественного языка на управление поведением.
    • Рабочий процесс: агентический рабочий процесс, который можно выразить как YAML или другой код для оркестрации нескольких агентов вместе или активации действия по определенным критериям.
  • Размещено: контейнеризованные агенты, созданные и развернутые в коде и размещенные в Foundry.
• Средства. Позвольте агенту получить знания или принять меры.

Схема, показывающая агент, получающий входные данные пользователя слева, обрабатывая их с помощью модели и инструкций в центре, и выводя выходные данные справа. Двунаправленная стрелка под агентом подключается к средствам, что агент может вызывать средства во время обработки для получения знаний или выполнения действий.

Агенты получают неструктурированные входные данные, такие как запросы пользователей, оповещения или сообщения от других агентов. Они создают выходные данные в виде результатов инструментов или сообщений. На этом пути они могут вызывать инструменты для извлечения данных или запуска действий.

Как работают агенты в Foundry?

Подумайте о Foundry как о сборочном конвейере для интеллектуальных агентов. Как и любая современная фабрика, Foundry объединяет специализированные станции, которые отвечают за формирование части окончательного продукта. Вместо машин и конвейеров фабрика агентов использует модели, инструменты, политики и оркестрацию для создания агентов, которые являются безопасными, тестируемыми и готовыми к внедрению в производство. Вот как фабрика работает пошагово.

Схема, показывающая фабрику агентов в виде шестишаговой линии сборки. На шаге 1 показан выбор модели LLM. Шаг 2 Настройка показывает точную настройку и подсказки. На шаге 3 "Знания и инструменты" показано подключение к корпоративным данным и действиям. Шаг 4 Оркестрация показывает координацию рабочих процессов агентов. Шаг 5 Наблюдение показывает ведение журнала и трассировку. Шаг 6 Доверие показывает элементы управления безопасностью. Шаги идут слева направо, создавая агента, готового к выполнению задач.

1. Модели

Конвейер начинается, когда вы выбираете модель, которая придаёт агенту его интеллект. Выберите из растущего каталога больших языковых моделей (LLMS), включая GPT-4o, GPT-4, GPT-3.5 (#REF! OpenAI) и другие, такие как Лама. Модель является ядром логики агента, которое определяет его решения.

2. Возможность настройки

Сформировать модель, чтобы соответствовать вашему варианту использования. Настройте своего агента с помощью тонкой настройки, дистилляции или доменных запросов. Кодируйте поведение агента, специфичные знания о ролях и шаблоны из предыдущих результатов, используя данные, полученные из реального содержимого беседы и результатов инструментов.

3. Знания и инструменты

Оснастите агента инструментами. Эти средства позволяют агенту получать доступ к корпоративным знаниям (например, Bing, #REF! и Поиск с использованием ИИ Azure) и выполнять реальные действия (через Azure Logic Apps, Функции Azure, OpenAPI и многое другое). Этот шаг повышает способность агента расширять свои возможности.

4. Оркестрация

Агенту требуется координация. Рабочие процессы управляют полным жизненным циклом, включая обработку вызовов инструментов, обновление состояния беседы, управление повторными попытками и ведение журналов.

5. Наблюдаемость

Тестирование и мониторинг агентов. Средство Foundry может записывать логи, трассировки и результаты на каждом этапе. Благодаря полной видимости на уровне диалога и интеграции Application Insights команды могут проверять каждое решение и постоянно улучшать агенты с течением времени.

6. Доверие

Убедитесь, что агенты подходят и надежны для назначенной рабочей нагрузки. Foundry применяет функции доверия корпоративного уровня, включая удостоверения с помощью #REF!, управления доступом на основе ролей (RBAC), фильтров содержимого, шифрования и сетевой изоляции. Вы выбираете, как и где работают агенты, используя управляемую платформой или собственную инфраструктуру.

Результатом является агент, готовый к рабочей среде: надежный, расширяемый и безопасный для развертывания в рабочих процессах.

Почему используется служба агента Foundry?

Служба агента предоставляет готовую к работе инфраструктуру для развертывания интеллектуальных агентов в корпоративных средах. Ниже показано, как оно сравнивается с ключевыми возможностями:

Capability	Служба агента
Видимость переписки	Полный доступ к структурированным беседам, включая сообщения между пользователями и агентами. Идеально подходит для пользовательских интерфейсов, отладки и обучения.
Координация с несколькими агентами	Встроенная поддержка обмена сообщениями между агентами.
Оркестрация инструментов	Выполнение на стороне сервера и повторные попытки вызовов инструментов с структурированным ведением журнала. Оркестрация вручную не требуется.
Доверие и безопасность	Интегрированные фильтры содержимого для предотвращения неправильного использования и снижения рисков инъекции запросов, включая атаки с внедрением кросс-запросов (XPIA). Все выходные данные регулируются политикой.
Интеграция предприятия	Возможность использовать собственное хранилище storage, индекс Поиск с использованием ИИ Azure и виртуальную сеть virtual network для соответствия требованиям.
Наблюдаемость и отладка	Полная трассировка бесед, вызовов инструментов и трассировок сообщений; Интеграция Application Insights с данными об использовании.
Контроль идентификации и политик	Основан на #REF! с полной поддержкой RBAC, журналов аудита и корпоративного условного доступа.

Безопасность, конфиденциальность и соответствие требованиям

Служба агента предназначена для корпоративных рабочих нагрузок, где требуются надежные средства управления удостоверениями, сетями, обработкой данных и безопасностью.

• Средства управления безопасностью: используйте интегрированные фильтры содержимого , чтобы снизить небезопасные выходные данные и снизить риски внедрения запросов, включая атаки на внедрение кросс-запроса (XPIA).
• Элементы управления сетевой изоляцией и размещением данных: используйте виртуальные сети и свои собственные ресурсы для удовлетворения ваших требований.
• Используйте собственные ресурсы: Используйте собственные ресурсы #REF! (например, хранилище, Поиск с использованием ИИ Azure и Azure Cosmos DB для состояния беседы) для удовлетворения требований в области соответствия и эксплуатации. См. раздел "Использование собственных ресурсов".
• Руководство по ответственному искусственному интеллекту. Более широкий набор рекомендаций и ресурсов управления см. в разделе "Ответственный ИИ для Microsoft Foundry".

Начало работы со службой агента Foundry

Чтобы приступить к работе со службой агента, создайте проект Foundry в подписке #REF!.

Если вы создаете код, ознакомьтесь с пакетами SDK для Microsoft Foundry для параметров и рекомендаций.

Если вы впервые используете службу, начните с руководства по настройке среды и краткому руководству.

Создайте проект с необходимыми ресурсами. После создания проекта разверните совместимую модель, например GPT-4o. Когда у вас есть развернутая модель, вы можете начать совершать вызовы API к агентскому сервису с использованием SDK.

Список официальных примеров можно найти с новым пакетом SDK агента Python на сайте #REF!.

BCDR для агентов

Чтобы обеспечить устойчивость службы, служба агента использует подготовленные клиентом учетные записи Azure Cosmos DB для обеспечения непрерывности бизнес-процессов и аварийного восстановления (BCDR). Этот подход помогает обеспечить сохранение и восстановление состояния агента в случае регионального сбоя.

Как клиент #REF! уровня "Стандартный", вы подготавливаете и управляете собственной учетной записью Azure Cosmos DB одного клиента. Все данные состояния агента хранятся в этой учетной записи. Вы управляете резервным копированием и восстановлением с помощью собственных возможностей в Azure Cosmos DB.

Если основной регион становится недоступным, агент автоматически подключается к той же учетной записи Azure Cosmos DB в дополнительном регионе. Так как Cosmos DB сохраняет всю историю, агент может продолжать работу практически без перерыва.

Подготовка и обслуживание учетной записи Azure Cosmos DB, а также настройка соответствующих политик резервного копирования и восстановления. Это усилие помогает обеспечить бесперебойную непрерывность, если основной регион становится недоступным.

Инструкции по настройке см. в разделе "Использование собственных ресурсов и виртуальных сетей".

Costs

Использование службы агента может нести затраты от развернутой вами модели и используемых вами ресурсов #REF! (например, журналирование и любые подключаемые управляемые клиентом ресурсы).

Сведения о драйверах затрат и управлении ими см. в статье "Планирование затрат и управление ими".

Устранение неполадок

Если вы заблокированы при начале работы, проверьте следующие распространенные проблемы:

• Модель недоступна в вашем регионе или запросы ограничиваются или завершаются сбоем из-за квоты: см. модели, которые информируют агентов.
• Невозможно получить доступ к ресурсам или развертываниям: подтвердите назначения ролей и выполните настройку среды.
• Необходимо выполнить отладку вызовов инструментов или поведения агента: начните с трассировочных агентов.

Связанный контент

• Краткое руководство: создание первого агента
• Модели, которые информируют агентов
• Пакеты SDK для Microsoft Foundry
• Агенты трассировки
• Использование собственных ресурсов