Добавление автономных инструментов для использования компьютера в агенты и потоки агентов (предварительная версия)

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

[Эта статья является предварительной документацией и может быть изменена.]

Автономный инструмент «использование компьютера» — это модульная версия локального инструмента «использование компьютера» внутри агента (размещенного агентом и привязанного к нему). Вы можете скопировать его как локальный инструмент в агент или добавить как узел в поток агента. Используя этот автономный инструмент, вы можете создавать, тестировать и управлять автоматизациями на основе ИИ, которые взаимодействуют с цифровыми интерфейсами. После публикации автономного инструмента «использование компьютера» вы сможете повторно использовать его в нескольких агентах и потоках агента, что обеспечивает централизованное управление сложными задачами, связанными с пользовательскими интерфейсами.

С помощью автономного инструмента «использование компьютера» вы можете:

  • Создавать модульные и повторно используемые шаблоны автоматизации.
  • Выполнять интеллектуальных взаимодействий с пользовательским интерфейсом на основе инструкций на естественном языке.
  • Централизировать управление, устанавливая список разрешенных приложений и веб-сайтов.
  • Контролировать выполнение с помощью воспроизведения сеансов высокой точности и подробных журналов действий.
  • Внедрять контроль с участием человека для конфиденциальных или сложных задач.

Important

Эта статья содержит документацию по предварительной версии Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Они доступны перед официальным выпуском, чтобы вы могли досрочно получить доступ и предоставить отзывы.

Если вы создаете агент, готовый для рабочей среды, см. Обзор Microsoft Copilot Studio.

Создавать автономный инструмент «использование компьютера»

Note

Автономный инструмент «использование компьютера» в настоящее время постепенно внедряется в поддерживаемых регионах и может быть пока недоступен в вашем регионе.

  1. В Copilot Studio выберите Инструменты на боковой панели. Откроется страница Инструменты. Подробнее см. в разделе Использование общих инструментов на странице «Инструменты».

  2. Выберите Создать инструмент. Откроется панель Новый инструмент.

  3. Выберите Использование компьютера. Откроется страница конфигурации с вкладкой Конструктор в активном состоянии.

  4. Переключитесь на вкладку Обзор.

    1. Выберите Редактировать на плитке Дополнительные сведения. Откроется панель Редактировать сведения об инструменте «использование компьютера».

    2. Введите имя и описание для вашего инструмента. Эти ведения помогают другим создателям понять, когда использовать этот инструмент в своих потоках.

    3. Нажмите Сохранить.

  5. Перейдите на вкладку Конструктор.

    1. Выберите нужную модель для этого инструмента.

    2. Введите инструкции и определите параметры.

  6. После завершения конфигурации выберите Опубликовать. Если вы не готовы публиковать этот инструмент, выберите Сохранить черновик.

Настройте автономный инструмент «использование компьютера»

Интерфейс для настройки автономного инструмента «использование компьютера» организован в виде трех вкладок, которые помогают управлять жизненным циклом и наблюдаемостью вашей автоматизации.

Overview

Вкладка Обзор служит карточкой инструмента. Используйте эту вкладку для:

  • Управления метаданными инструмента, такими как его название и описание.
  • Просмотра текущего статуса публикации.
  • Отслеживания последних запусков, чтобы быстро оценить, как инструмент отработал в последних выполнениях.

Дизайнер

На вкладке Конструктор вы создаете логику своего инструмента.

  • Модель: выберите модель, которая обеспечивает работу автоматизации.
  • Инструкции: напишите инструкции на естественном языке, которым ИИ будет следовать для выполнения задач пользовательского интерфейса.
  • Тест: используйте встроенную песочницу для запуска ваших инструкций, и чтобы увидеть, как ИИ реагирует в реальном времени.
  • Параметры: определите входные и выходные параметры для передачи данных в инструмент или извлечения результатов для последующих шагов в потоке.
  • Сохраненные учетные данные: безопасно настройте аутентификацию для веб-сайтов или приложений, к которым инструмент должен получить доступ.
  • Разрешенные веб-сайты и настольные приложения: определите список разрешенных веб-сайтов и приложений, с которыми инструменту разрешено взаимодействовать.
  • Контроль со стороны человека: настройте отправку уведомлений с участием человека в цикле для шагов, требующих ручной проверки или дополнительной информации.

Activity

Вкладка Действие обеспечивает глубокую наблюдаемость для отладки и оптимизации. В ней перечислены все запуски за последние 28 дней. Для каждого запуска вы можете просмотреть:

  • Повтор сеанса: просмотрите запись взаимодействия ИИ с интерфейсом.
  • Снимки экрана: просмотрите каждый экран, запечатленный во время выполнения.
  • Журналы шагов: просмотрите точную последовательность действий, выполняемых инструментом.
  • Метрики: анализируйте время выполнения и процент успешных выполнений.

Поведение интеграции

Вы можете использовать инструмент «использование компьютера» в разных частях платформы. Поведение инструмента зависит от способа его добавления.

Метод интеграции Behavior Жизненный цикл
Добавить в агента (как локальный инструмент) Инструмент дублируется в локальные инструменты агента Независимый: изменения в оригинальном автономном инструменте не влияют на версию агента.
Добавление в поток агента (в виде узла) На инструмент ссылаются как на модульный узел. Связанный: поток всегда использует последнюю опубликованную версию автономного инструмента.

Добавьте автономный инструмент «использование компьютера» в поток агента

Important

  • Вы можете добавлять только автономные инструменты «использование компьютера» в потоки агентов. Пока невозможно добавить их в рабочие процессы.
  • Потоки агентов могут обращаться только к опубликованным автономным инструментам «использование компьютера». Потоки агентов всегда активируют последнюю опубликованную версию.

  1. В Copilot Studio выберите Потоки на боковой панели.

  2. Выберите нужный поток агента. Открывается вкладка Обзор для выбранного потока агента.

  3. Перейдите на вкладку Конструктор.

  4. Выберите значок Вставить новое действие в той точке потока агента, где вы хотите вызвать автономный инструмент «использование компьютера». Открывается панель Добавить действие.

  5. В разделе Возможности ИИ выберите Запустить инструмент «использование компьютера». В потоке появляется узел действия Запустить инструмент «использование компьютера».

  6. Если у вас еще нет подключения для использования компьютера, отобразится карточка Создание нового подключения:

    1. Для подключения выберите нужный тип подключения: Компьютер или Размещенный браузер.
    2. Предоставьте необходимые сведения и выберите Создать новый.

  7. Выберите нужный инструмент «использование компьютера».

  8. Если выбранный инструмент «использование компьютера» имеет входные данные, укажите статические или динамические значения.

Tip

В узле действия Запустить инструмент «использование компьютера» вы можете:

  • Создайте новый инструмент «использование компьютера», выбрав Создать в списке Инструмент «использование компьютера».
  • Отредактируйте выбранный инструмент «использование компьютера», выбрав Изменить.
  • Обновите список инструментов «использование компьютера», выбрав значок Обновить.

Добавьте автономный инструмент «использование компьютера» в агент

Note

Когда вы добавляете автономный инструмент «использование компьютера» в агент, вы создаете независимую копию, встроенную в этот агент. Обновления автономного инструмента «использование компьютера» не влияют на его копию в агенте, и наоборот.

  • На странице Инструменты:

    1. В Copilot Studio выберите Инструменты на боковой панели. Откроется страница Инструменты.

    2. Выберите три точки (...) рядом с нужным инструментом «использование компьютера», а затем выберите Добавить в агент. Появляется панель Добавить в агент.

    3. Выберите нужного агента, а затем выберите Добавить. Появляется панель Добавить инструмент.

    4. Выберите Добавить и настроить. Появится страница конфигурации локальной копии вашего инструмента.

    5. При необходимости измените конфигурацию, а затем выберите Сохранить.

    6. Вернитесь на страницу Инструменты для вашего агента и убедитесь, что в списке есть инструмент «использование компьютера», который вы только что добавили.

  • На странице Агент:

    1. В Copilot Studio выберите Агенты на боковой панели. Откроется страница Агенты.

    2. Выберите нужного агента.

    3. Перейдите на страницу Инструменты для вашего агента.

    4. Выберите "Добавить инструмент". Появляется панель Добавить инструмент.

    5. Выберите фильтр Инструмент «использование компьютера».

    6. Выберите нужный инструмент «использование компьютера», затем — Добавить и настроить. Появится страница конфигурации локальной копии вашего инструмента.

    7. При необходимости измените конфигурацию, а затем выберите Сохранить.

    8. Вернитесь на страницу Инструменты для вашего агента и убедитесь, что в списке есть инструмент «использование компьютера», который вы только что добавили.

Часто задаваемые вопросы

Когда следует использовать автономный инструмент вместо локального инструмента агента?

Используйте автономный инструмент «использование компьютера», когда хотите создать единый источник истины для конкретной автоматизации потока агента, которую должны использовать несколько потоков. Например, Отправить отчет о расходах. Используйте локальный инструмент «использование компьютера» внутри агента (дублированный), когда автоматизация требует недетерминированной оркестрации, управляемой самим агентом.

Как инструмент обеспечивает безопасность и контроль доступа?

Автономный инструмент использует два уровня защиты:

  • Учетные данные: зашифрованное хранилище для данных входа.
  • Система управления: жесткое ограничение (список разрешений), которое не позволяет ИИ переходить к несанкционированным URL или приложениям, независимо от предоставленных инструкций.

Могу ли я посмотреть, что сделал ИИ во время выполнения потока?

Yes. На вкладке Действие для автономного инструмента представлены записи сеансов за последние 28 дней. Эти записи показывают каждый клик и нажатие клавиши, выполненные ИИ, обеспечивая полную прозрачность и упрощая отладку.

Почему модель недоступна в моем регионе?

Модели Anthropic в настоящее время недоступны в Китае. Китайским пользователям следует использовать модели OpenAI.

Связанные материалы

  • Last updated on