Процесс создания агентов в организации

В этой статье описывается стандартизированный процесс, которого команды должны придерживаться для создания агентов ИИ единообразно в пределах организации. Это руководство посвящено управлению и структурным решениям, необходимым для поддержки групп разработки, а не технической реализации отдельных рабочих нагрузок. Понимание этого процесса является окончательным компонентом этапа создания агентов в процессе внедрения агента ИИ (см. рисунок 1).

Рис. 1. Процесс внедрения агентов ИИ Майкрософт.

Без единого процесса разработки организации могут столкнуться с неконтролируемыми разбросами агентов, несогласованными архитектурами и критическими пробелами в безопасности. Эти проблемы накапливаются в виде технического долга и операционного риска и могут препятствовать эффективному масштабированию внедрения искусственного интеллекта. Команды, работающие с рабочей нагрузкой, должны интегрировать лучшие практики из руководства Well-Architected Framework по рабочим нагрузкам ИИ.

1. Оркестрация агентов

Стратегические решения оркестрации определяют, как агенты координируют работу, интегрируются с существующими системами и масштабируются в рамках предприятия. Эти варианты влияют на скорость разработки, операционную сложность и способность организации поддерживать контроль по мере роста внедрения агента.

Определите устав агента

Создайте артефакты управления, которые документируют границы агента и согласование с бизнесом. Устав служит авторитетной ссылкой на то, что выполняет система агентов и что она должна избежать. Эта документация предотвращает разрастание объема проекта, гарантирует, что команды по обеспечению соответствия понимают системные границы, и обеспечивает четкую подотчетность при возникновении проблем. Включите системные обязанности, которые сопоставляются с конкретными бизнес-целями, роли агентов, которые препятствуют функциональному перекрытию, и запрещенным действиям, которые устанавливают рамки соблюдения требований. Без четких уставов агенты развиваются за рамки своей предполагаемой области, создавая уязвимости системы безопасности и воздействие нормативных требований.

Стратегия оркестрации

Оркестрация определяет, как агенты координируются, принимают решения и выполняют задачи. Организации должны определять утвержденные шаблоны оркестрации, чтобы сбалансировать скорость разработки с операционным контролем. Без стандартных стратегий команды могут создавать несовместимые системы, которые трудно отслеживать, отлаживать и масштабировать.

1. Выберите подход оркестрации. Выберите между управляемой оркестрацией и агенто-ориентированными платформами, основанными на кодировании, в зависимости от возможностей организации и требований к контролю. Управляемая оркестрация, такая как Foundry Agent Service, способствует быстрому развертыванию и обеспечивает встроенную защиту, но ограничивает возможность настройки. Платформы, такие как Microsoft Agent Framework или LangGraph, предлагают детализированный контроль и гибкость в многооблачном режиме, но требуют значительных инвестиций в проектирование и текущее обслуживание. Определите критерии, когда команды должны использовать каждый подход для обеспечения согласованности.

2. Определение шаблонов оркестрации. Установите стандарты для координации с несколькими агентами. Определите, следует ли цепочку агентов последовательно или реализовать шаблоны параллельной обработки. Последовательная цепочка упрощает отладку и обеспечивает четкую подотчетность, но увеличивает задержку. Параллельная обработка улучшает время отклика, но требует сложных механизмов координации и обработки ошибок. Ознакомьтесь с шаблонами оркестрации ИИ-агентов в Центре архитектуры Azure для руководств по архитектуре.

3. Реализуйте детерминированные рабочие процессы. Обеспечьте использование детерминированных рабочих процессов для критической бизнес-логики. Используйте рабочие процессы в Foundry и Microsoft Agent Framework, чтобы ограничить поведение агента в фиксированных путях, а не полагаться исключительно на решения вероятностной модели. В системах с несколькими агентами требуются рабочие процессы для контроля передачи и управления состоянием. Ознакомьтесь с руководством по принятию решений о рабочем процессе для отдельных агентов и систем с несколькими агентами.

Обеспечение Microsoft:
Foundry: используйте агенты на основе запросов для быстройразработки и рабочих процессов для визуального, низкокодового проектирования, подходящего для быстрого создания прототипов. Используйте размещенные агенты для развертывания пользовательских платформ агентов в управляемой инфраструктуре.

Microsoft Agent Framework: используйте рабочие процессы для реализации шаблонов оркестрации в коде.

Copilot Studio: настройка потоков агентов для систем с несколькими агентами с различными ролями и контрольными точками утверждения. Настройте поведение агента путем оркестрации с помощью генеративного ИИ.

Инструкции агента

Инструкции работают в качестве операционной логики для агентов ИИ для интерпретации намерений и выполнения задач. Обработка инструкций в виде кода конфигурации, а не нерегламентированного текста, позволяет управлять версиями, проводить рецензирование и осуществлять откат при возникновении проблем.

1. Стандартизируйте архитектуру инструкций. Согласованные структуры снижают смещение поведения и обеспечивают соответствие требованиям. Структурируйте инструкции для явного определения:

   Компонент инструкции	Цель	Example
   Идентичность и тон	Как агент представляет себя пользователям	Профессиональный, краткий, полезный помощник
   Область и границы	То, что агент должен выполнить и избежать	Не обращаться к системам заработной платы; Сосредоточиться только на поддержке клиентов
   Мандаты инструментов	Конкретные требования к использованию инструментов	Используйте средство поиска знаний для всех ответов. Скажите "Я не знаю", если ответ не найден.
   Правила ссылки	Требования к прозрачности и источникам поставок	Каждый ответ должен предоставлять ссылки из исходного материала

2. Применение структурированных форматов выходных данных. Используйте такие форматы, как JSON или XML для выходных данных агента, чтобы улучшить взаимодействие с подчиненными системами. Структурированные выходные данные снижают ошибки синтаксического анализа в оркестрациях с несколькими агентами и обеспечивают программную проверку ответов агента, прежде чем они достигают пользователя.

3. Реализуйте управление версиями и проверку. Храните инструкции в репозиториях системы управления версиями для поддержания следа изменений. Интеграция автоматизированных шагов проверки, в которых скрипты оценки или вторичные агенты проверяют, соответствуют ли обновления рекомендациям по безопасности и стандартам форматирования перед развертыванием.

Обеспечение Microsoft:
Foundry: См. структуру системных сообщений. Используйте средство A2A и детскую площадку Foundry. Тестирование и уточнение поведения с помощью оценщиков агентов.

2. Стратегия выбора модели агента

Выбор модели напрямую влияет на затраты, производительность и соответствие в вашем флоте агентов. Организации, которые по умолчанию имеют самые большие доступные модели, сталкиваются с ненужными затратами и ограничениями квот, которые ограничивают масштабирование.

1. Сопоставление возможностей модели с сложностью задач. Более мелкие оптимизированные модели обрабатывают стандартные задачи, такие как суммирование эффективно при управлении затратами и сокращении задержки. Резервировать модели уровня "Премиум" для сценариев, требующих сложного рассуждения или многошагового анализа, когда ценность оправдывает более высокие затраты. Этот многоуровневый подход предотвращает переполнение бюджета, обеспечивая получение критически важных рабочих нагрузок соответствующими ресурсами.

2. Применение управления квотами и затратами. Высокоуровневые модели накладывают более строгие ограничения скорости, которые могут прерывать службу во время пиковых нагрузок. Диверсифицируйте использование модели на разных рабочих нагрузках, чтобы избежать единой точки отказа. Реализуйте теги распределения затрат для отслеживания расходов по отделу и варианту использования, что позволяет принимать решения на основе данных о инвестициях модели.

3. Требовать проверку перед развертыванием. Маломасштабное тестирование с репрезентативными запросами демонстрирует компромиссы производительности и проверяет соответствие стандартам управления. Эта проверка предотвращает дорогостоящие ошибки, в которых команды развертывают дорогостоящие модели для простых задач или неусложняют модели для сложных требований.

Обеспечение Microsoft:
Foundry: использование каталога моделей и оценка параметров модели с помощью таблиц лидеров моделей для сравнения производительности и компромиссов затрат. Для агентов продуктивности и активации используйте Model Router для динамической оптимизации затрат при сохранении качества. Просмотрите квоты и ограничения моделей.

Copilot Studio: выберите основную модель ИИ или доведите собственную модель из Foundry.

3. Знания и инструменты агента

Разрешения на доступ к данным и средства определяют надежность агента, уровень соответствия требованиям и операционный риск. Эти политики устанавливают границы, которые препятствуют несанкционированным действиям, позволяя агентам создавать ценность. Следуйте всем политикам управления данными и соответствия требованиям.

Знание агента

Сегментируйте знания по роли, чтобы свести к минимуму воздействие данных. В системах с несколькими агентами требуются строгие границы данных, в которых каждый агент обращается только к информации, необходимой для ее функции. Эта сегментация уменьшает количество атак и упрощает аудит соответствия требованиям, создавая четкие шаблоны доступа к данным. Когда агенты подключаются к источникам данных, убедитесь, что извлечение происходит только из управляемых репозиториев с соответствующими элементами фильтрации и управления доступом. Просмотрите архитектуру данных для агентов ИИ, чтобы выровнять стратегии интеграции с требованиями безопасности.

Обеспечение Microsoft:
Foundry: подключение агентов к Foundry IQ для объединения нескольких источников данных посредством агентного механизма извлечения, обеспечивая соблюдение элементов управления.

Copilot Studio: используйте источники знаний для безопасного подключения агентов к утвержденным репозиториям информации и соединителям для интеграции с корпоративными системами.

Средства агента

Средства расширяют возможности агента от получения пассивной информации до активного взаимодействия с системой. Этот переход представляет операционный риск, так как агенты теперь могут изменять данные, активировать рабочие процессы и взаимодействовать с внешними API. Создание строгой платформы управления для использования инструментов гарантирует, что агенты работают в определенных границах безопасности и соответствуют стандартам безопасности.

1. Определите явные границы инструментов. Агенты, взаимодействующие с внешними системами, требуют строгого управления, чтобы предотвратить несанкционированные изменения. Укажите в системном сообщении агента точно, когда нужно вызвать средство, и требуйте подтверждения с участием человека для высокоответственных действий, таких как операции записи базы данных или финансовые транзакции. Этот элемент управления предотвращает автономные ошибки и обеспечивает подотчетность за операции изменения состояния.

2. Изоляция конечных точек интеграции. Предоставление возможностей системы через узко ограниченные API, а не прямой доступ к базе данных или системе. Выполните строгую проверку входных данных в этих конечных точках, чтобы отклонить неправильные данные, созданные моделью, прежде чем он достигнет внутренних систем. Примените принцип наименьших привилегий к токенам аутентификации, гарантируя, что агент обладает только разрешениями, необходимыми для конкретной задачи.

3. Проверка действий в изолированных средах. Средство агента тестирования используется в изолированных средах, которые отражают рабочую среду, но не могут повлиять на динамические данные. Убедитесь, что агент обрабатывает сбои API или непредвиденные данные корректно и не раскрывает внутреннюю информацию системы пользователю. Настройте ведение журнала для привязки каждого действия к конкретному экземпляру агента и идентификатору разговора, создавая аудиторский след, который можно проследить для целей отладки и соблюдения требований.

Обеспечение Microsoft:
Foundry: использование средств и лучших практик использования инструментов. Используйте шлюз искусственного интеллекта для управления средствами.

Copilot Studio: добавление инструментов и триггеров.

Память агента

Память агента преобразует вывод модели без отслеживания состояния в бизнес-процессы с отслеживанием состояния. Требования к памяти в организации зависят от контекста транзитных сеансов до постоянного хранения исторических данных. Без единой стратегии нерегламентированные реализации памяти создают векторы для утечки данных, нарушений конфиденциальности и роста неуправляемого хранилища. Организации должны устанавливать модели управления, которые рассматривают историю бесед как конфиденциальные корпоративные данные.

1. Согласовать модели устойчивости с функцией агента. Дифференцировать архитектуру памяти на основе роли агента. Используйте эфемерную память на основе сеансов для агентов транзакций, чтобы свести к минимуму риски хранения данных. Реализуйте долгосрочную постоянную память только для агентов-консультантов, где исторический контекст критически важен для персонализации или сложного мышления. Эта сегментация предотвращает накопление ненужных данных и сопоставляет затраты на хранение с бизнес-ценностью.

2. Внешний доступ к хранилищу состояний. Отделить память от подсистемы вывода. Храните журнал бесед и контекст в управляемых системах данных, где можно применять корпоративные элементы управления безопасностью, политики резервного копирования и аудит доступа. Этот подход гарантирует, что данные остаются под контролем организации независимо от базовой модели и позволяют применять стандартные политики соответствия требованиям к взаимодействию агентов.

3. Применение строгих границ изоляции. Предотвратить утечку контекста между пользователями, арендаторами и агентскими доменами. Убедитесь, что механизмы извлечения памяти строго уважают удостоверение и разрешения пользователя, прошедшего проверку подлинности. В архитектурах с несколькими агентами явно определите, какие сегменты памяти можно совместно использовать между агентами, чтобы предотвратить эскалацию привилегий или разлив данных через границы.

4. Автоматизация хранения и удаления. Применение политик жизненного цикла данных к хранилищу памяти агента. Настройте автоматическое удаление журналов бесед на основе нормативных требований и служебной программы. Реализуйте механизмы, позволяющие пользователям просматривать и удалять определенную историю памяти, чтобы обеспечить соответствие нормативным требованиям о конфиденциальности.

Обеспечение Microsoft:
Foundry: для хранения бесед используйте память. Сведения о собственном хранилище см. в статье о стандартной настройке агента, интеграции Azure Cosmos DB и Azure Cosmos DB.

Microsoft Agent Framework: используйте сериализацию и десериализацию состояния потока и памяти агента.

Copilot Studio: анализ эффективности агента для выявления возможностей оптимизации. Просмотрите вопросы пользователей по теме , чтобы обнаружить шаблоны и уточнить ответы.

4. Наблюдаемость агента

Наблюдаемость обеспечивает видимость, необходимую для поддержания надежных операций агента, оптимизации производительности и обеспечения соответствия стандартам организации. Ранняя реализация мониторинга и телеметрии обеспечивает упреждающее обнаружение проблем и непрерывное улучшение.

1. Реализуйте трассировку. Настройте трассировки, которые фиксируют пути выполнения, точки принятия решений и шаблоны взаимодействия. Эта видимость позволяет быстро диагностировать, когда агенты создают непредвиденные результаты или ухудшают производительность. Устанавливайте базовые показатели задержки, затраты на взаимодействие и показатели успешности. Оповещать команды, когда метрики отклоняются от ожидаемых диапазонов, чтобы начать расследование до появления проблем у пользователей.

2. Стандартизируйте платформы оценки. Создавайте общие оценки, которые измеряют качество, безопасность и надежность последовательно. Храните оценки в центральном каталоге, чтобы убедиться, что все команды применяют одинаковые стандарты. Интеграция вычислений в конвейеры CI/CD для перехвата проблем перед развертыванием в рабочей среде. Этот систематический подход предотвращает смещение качества по мере развития агентов и развертывания новых версий.

3. Расширение тестирования безопасности. Агенты ИИ сталкиваются с уникальными угрозами, которые обычные методы тестирования безопасности могут упустить. Реализуйте выделенную команду по кибербезопасности искусственного интеллекта (red teaming), которая проверяет уязвимости, связанные с внедрением нежелательных запросов, пытается извлечь обучающие данные или системные подсказки и проверяет защитные механизмы от враждебных входных данных. Регулярные оценки безопасности обеспечивают устойчивость агентов по мере развития методов атак.

Обеспечение Microsoft:
Foundry: используйте плоскость управления Microsoft Foundry для единой видимости и управления в вашем флоте агентов.

• Агенты и рабочие процессы: Настраивайте трассировки для обеспечения видимости выполнения. Настройте мониторинг для экземпляров Foundry и всех проектов. Используйте вычислители агентов для измерения качества. См. панель мониторинга агента.

• Модели:Мониторинг моделей и использование оценок для измерения качества ответа ИИ.

• Оценки: Создание и хранение оценок в каталоге оценщика. Команды используют непрерывную оценку. Интегрируйте оценки в конвейеры CI/CD с помощью GitHub Actions или Azure DevOps. Используйте выделенного агента AI Red Teaming для сканирования приложений.

Copilot Studio: используйте аналитику и подключитесь к Azure Application Insights для централизованной телеметрии. Создание наборов тестов для оценки, руководства по безопасности и управлению, автоматическое сканирование безопасности и проверка состояния защиты среды выполнения агента.

5. Безопасность агента

Средства управления безопасностью, внедренные в жизненный цикл агента, предотвращают вредоносные выходные данные, защищают от атак и обеспечивают соответствие стандартам организации. Эти меры защиты работают на нескольких уровнях, чтобы создать защиту в глубине.

1. Установите ограждения в нескольких точках вмешательства. Эффективные ограничители действуют на протяжении всего жизненного цикла взаимодействия, а не на отдельной контрольной точке. Фильтрация входных данных пользователей для блокировки вредоносных запросов или конфиденциальных данных перед обработкой. Проверьте вызовы инструментов, чтобы предотвратить инъекционные атаки, когда агенты взаимодействуют с внешними системами. Проверьте ответы инструмента на соответствие стандартам безопасности перед обработкой информации агентами. Примените проверки модерации содержимого и плагиата к конечным выходным данным перед доставкой пользователям. Этот многоуровневый подход гарантирует, что одна точка сбоя не компрометирует всю систему.

2. Сохраняйте централизованные списки блокировок для согласованного применения. Блок-списки предотвращают запретные термины, конфиденциальные шаблоны или небезопасное содержимое при вводе или выходе из системы. Централизуйте управление блок-листами, чтобы все агенты и модели придерживались единых стандартов. Регулярно обновляйте списки на основе возникающих угроз, новых требований к соответствию требованиям и уроков, извлеченных из инцидентов. Объединение статических блок-списков с методами динамического обнаружения для обеспечения комплексного охвата при сохранении производительности.

Обеспечение Microsoft:
Литейный цех: См. Обзор направляющих и управления. Примените сторожевые меры на разных точках вмешательства. Используйте шлюз искусственного интеллекта для управления конечными точками модели и принудительного безопасного доступа. Используйте Microsoft Defender для защиты ИИ и получайте контекст приложения и конечных пользователей для уведомлений ИИ.

Следующий шаг

Управление агентами ИИ