Добавить отдельные инструменты для использования компьютера в потоки агентов и агентов (предварительный просмотр)

[Данная статья посвящена предварительному выпуску и может быть изменена.]

Автономный инструмент использования компьютера — это модульная версия локального инструмента использования внутри агента (размещённого агентом и привязанного к нему). Вы можете скопировать его как локальный инструмент в агент или добавить как узел в поток агентов. Используя этот автономный инструмент, вы можете создавать, тестировать и управлять автоматизациями на базе ИИ, которые взаимодействуют с цифровыми интерфейсами. После публикации отдельного инструмента использования компьютера вы сможете повторно использовать его в нескольких агентах и потоках агентов, обеспечивая централизованный способ управления сложными задачами на базе интерфейса.

Используя инструмент автономного компьютерного использования, вы можете:

  • Создайте модульные и многоразовые строительные блоки автоматизации.
  • Выполнять интеллектуальные взаимодействия с интерфейсом на основе инструкций на естественном языке.
  • Централизуйте управление, определяя разрешённые приложения и веб-сайты.
  • Следите за выполнением с помощью высококачественных повторов сессий и подробных журналов активности.
  • Внедрите человеческий надзор для чувствительных или сложных задач.

Это важно

Эта статья содержит документацию для предварительного просмотра Microsoft Copilot Studio и может быть изменена.

Предварительные версии функций не предназначены для использования в рабочей среде и могут иметь ограниченные функциональные возможности. Эти функции доступны до официального релиза, чтобы вы могли получить ранний доступ и дать обратную связь.

Если вы создаёте агента, готового к производству, смотрите Microsoft Copilot Studio Обзор.

Создайте автономный инструмент для использования компьютера

Note

Использование компьютера как самостоятельного инструмента сейчас внедряется в поддерживаемых регионах и, возможно, пока не доступно в вашем регионе.

  1. В Copilot Studio выберите Tools на боковой панели. Появляется страница «Инструменты ». Узнайте больше в разделе «Использование общих инструментов» на странице «Инструменты».

  2. Выберите новый инструмент. Появляется новая панель инструментов .

  3. Выберите «Использование компьютера». Появляется страница настройки с вкладкой Designer в фокусе.

  4. Переключитесь на вкладку «Обзор».

    1. Выберите «Редактировать » на плитке «Детали ». Появляется панель «Редактировать использование компьютера».

    2. Введите название и описание вашего инструмента. Эти детали помогают другим создателям понять, когда использовать этот инструмент в своих потоках.

    3. Нажмите Сохранить.

  5. Переключитесь на вкладку Designer .

    1. Выберите нужную модель для этого инструмента.

    2. Введите инструкции и определите параметры.

  6. Когда конфигурация будет готова, выберите Опубликовать. Или выберите «Сохранить черновик », если вы не готовы публиковать этот инструмент.

Настройте автономный инструмент для использования компьютера

Интерфейс для настройки отдельного инструмента для использования компьютера организован в три вкладки, которые помогают управлять жизненным циклом и наблюдаемостью автоматизации.

Overview

Вкладка «Обзор» служит удостоверением личности инструмента. Используйте эту вкладку, чтобы:

  • Управляйте метаданными инструмента, такими как его название и описание.
  • Просмотрите текущий статус публикации.
  • Следите за последними запусками, чтобы быстро увидеть, как инструмент работает в своих последних запусках.

Дизайнер

Вкладка Designer — это место, где вы строите логику своего инструмента.

  • Модель: Выберите модель, которая питает автоматизацию.
  • Инструкции: Напишите руководство на естественном языке, которым ИИ следует для выполнения задач интерфейса.
  • Тест: Используйте встроенный песочницу для запуска инструкций и посмотрите, как ИИ реагирует в реальном времени.
  • Параметры: Определите входные и выходные параметры для передачи данных в инструмент или извлечение результатов для последующих шагов в потоке.
  • Сохранённые учетные данные: Безопасно настройте аутентификацию для сайтов или приложений, к которым инструмент должен получить доступ.
  • Разрешённые сайты и десктопные приложения: Определите список разрешений конкретных сайтов и приложений, с которыми инструменту разрешено взаимодействовать.
  • Человеческий надзор: Запускайте уведомления «человек в цикле» для шагов, требующих ручной проверки или дополнительной информации.

Activity

Вкладка «Активность» обеспечивает глубокую наблюдаемость для отладки и оптимизации. В нём перечислены все заезды за последние 28 дней. Для каждого запуска вы можете просмотреть:

  • Повтор сессии: Посмотрите запись взаимодействия ИИ с интерфейсом.
  • Скриншоты: Просмотрите каждый экран, запечатлённый во время выполнения.
  • Журналы шагов: Смотрите точную последовательность действий, выполняемых инструментом.
  • Метрики: Анализируйте время выполнения и показатели успеха.

Поведение интеграции

Вы можете использовать компьютерный инструмент в разных частях платформы. Поведение инструмента зависит от того, как вы его добавляете.

Метод интеграции Behavior Жизненный цикл
Добавлять в агент (как локальный инструмент) Инструмент дублируется в локальные инструменты агента Независимый: изменения в оригинальном автономном инструменте не влияют на версию агента.
Добавить к потоку агента (в виде узла) Инструмент называется модульным узлом. Linked: Flow всегда использует последнюю опубликованную версию отдельного инструмента.

Добавьте отдельный инструмент использования компьютера в поток агентов

Это важно

  • Вы можете добавлять только отдельные инструменты для использования компьютера в потоки агентов. Пока нельзя добавлять их в рабочие процессы .
  • Потоки агентов могут получать доступ только к опубликованным автономным инструментам для использования компьютеров. Потоки агентов всегда запускают последнюю опубликованную версию.
  1. В Copilot Studio выберите Flows в боковой панели.

  2. Выберите нужный вам поток агентов. Появляется вкладка «Обзор » для выбранного потока агентов.

  3. Переключитесь на вкладку Designer .

  4. Выберите значок «Вставить новое действие » в точке потока агентов, где вы хотите вызвать автономный инструмент использования компьютера. Появляется панель «Добавить действие ».

  5. В разделе «Возможности ИИ» выберите «Запустить инструмент использования компьютера». В потоке появляется узел действия Run a computer use tool .

  6. Если у вас ещё нет подключения к компьютеру, появляется карта «Создать новую карту подключения »:

    1. Для Connect выберите нужный тип соединения: Machine или Hosted browser.
    2. Предоставьте необходимую информацию и выберите «Создать новое».
  7. Выберите нужный инструмент для использования компьютера.

  8. Если выбранный инструмент использования компьютера имеет входные данные, укажите статические или динамические значения.

Tip

В узле действия «Запустить компьютер с помощью инструмента » вы можете:

  • Создайте новый инструмент для использования компьютера, выбрав «Создать » в списке инструментов использования компьютера .
  • Отредактируйте выбранный инструмент использования компьютера, выбрав Редактировать.
  • Обновите список инструментов на компьютере, выбрав значок «Обновить ».

Добавьте отдельный инструмент использования компьютера в агент

Note

Когда вы добавляете отдельный инструмент для использования компьютера в агент, вы создаёте независимую копию, встроенную в этот агент. Обновления автономного инструмента не влияют на копию агента, и наоборот.

  • Со страницы инструментов :

    1. В Copilot Studio выберите Tools на боковой панели. Появляется страница «Инструменты ».

    2. Выберите три точки (...) рядом с нужным инструментом использования компьютера, а затем выберите « Добавить в агент». Появляется панель «Добавить агенту ».

    3. Выберите нужного агента и выберите «Добавить». Появляется панель инструментов «Добавить ».

    4. Выберите Добавить и настроить. Появляется страница настройки локальной копии вашего инструмента.

    5. Если нужно, измените конфигурацию и выберите «Сохранить».

    6. Вернитесь на страницу «Инструменты » вашего агента и заметите, что в списке есть инструмент для использования компьютера, который вы только что добавили.

  • Со страницы агента :

    1. В Copilot Studio выберите Agents в боковой панели. Появляется страница Агентов .

    2. Выберите нужного агента.

    3. Перейдите на страницу «Инструменты » для вашего агента.

    4. Выберите "Добавить инструмент". Появляется панель инструментов «Добавить ».

    5. Выберите фильтр «Использование инструментов для компьютера ».

    6. Выберите нужный инструмент использования компьютера, затем выберите Add и Configure. Появляется страница настройки локальной копии вашего инструмента.

    7. Если нужно, измените конфигурацию и выберите «Сохранить».

    8. Вернитесь на страницу «Инструменты » вашего агента и заметите, что в списке есть инструмент для использования компьютера, который вы только что добавили.

Часто задаваемые вопросы

Когда лучше использовать отдельный инструмент, а когда — локальный агент?

Используйте инструмент самостоятельного компьютерного использования , когда хотите создать единый источник истины для конкретной автоматизации потока агента, который нужно использовать для нескольких потоков. Например, подайте отчет о расходах. Используйте локальный инструмент использования внутриагента ( дублированный), когда автоматизация требует недетерминированной оркестрации, управляемой самим агентом.

Как инструмент обрабатывает безопасность и доступ?

Автономный инструмент использует два уровня защиты:

  • Учетные данные: зашифрованное хранилище для данных входа.
  • Управление: жёсткое ограничение (список разрешений), которое не позволяет ИИ переходить к несанкционированным URL или приложениям, независимо от предоставленных инструкций.

Могу ли я посмотреть, что сделал ИИ во время выполнения потока?

Да. Вкладка «Активность » отдельного инструмента содержит записи сессий за последние 28 дней. Эти записи показывают каждый клик и нажатие клавиши ИИ, обеспечивая полную прозрачность и более простую отладку.

Почему модель недоступна в моём регионе?

Anthropic модели в настоящее время недоступны в Китае. Китайским пользователям следует использовать модели OpenAI.