Автоматизация веб- и классических приложений с помощью инструмента «Использование компьютера»

Note

Функции, описанные в этой статье, питаются стандартным жгутом, который использует опции выставления счетов, описанные в разделе «Лицензирование для агентов, работающих на стандартном жгуте». Узнайте, как получить доступ к стандартным функциям в стандартных агентах и потоках агентов доступа.

Использование компьютера — это инструмент в Copilot Studio, который позволяет вашему агенту взаимодействовать с компьютером под управлением Windows и автоматизировать задачи на нем. Он работает с веб-сайтами и настольными приложениями, выбирая кнопки, меню и вводя текст в поля на экране. Опишите на естественном языке, что именно должен делать инструмент «использование компьютера», и он выполнит эту задачу на компьютере, который вы настроили, используя виртуальную мышь и клавиатуру. С помощью инструмента «использование компьютера» агенты могут выполнять задачи даже тогда, когда нет API для прямого взаимодействия с системой. Если человек может пользоваться приложением или веб-сайтом, то и инструмент «использование компьютера» тоже может. Вы можете использовать инструмент «использование компьютера» для таких задач, как автоматизированный ввод данных, обработка счетов и извлечение данных.

Инструмент «использование компьютера» работает на базе агентов, использующих компьютер (CUA) — модели ИИ, которая сочетает возможности компьютерного зрения с расширенными функциями логического вывода для взаимодействия с графическими интерфейсами пользователя (GUI). Поскольку он основан на искусственном интеллекте, он адаптируется к изменениям интерфейса. Например, при смене кнопок или экранов инструмент продолжает работать, не прерывая поток. Он прост в использовании. Просто опишите то, что вы хотите, на естественном языке. Создание кода не требуется.

Посмотрите это видео, чтобы узнать, как инструмент «использование компьютера» позволяет агенту взаимодействовать с веб-приложением.

Note

Эта функция доступна только для агентов с включенной генеративной оркестрацией.

Добавление инструмента «использование компьютера» в вашего агента

В Copilot Studio добавьте инструмент «использование компьютера», выполнив следующие шаги:

  1. Перейдите на страницу Инструменты для вашего агента и выберите Добавить инструмент.

  2. В разделе Добавить инструмент выберите Новый инструмент.

  3. Выберите Использование компьютера.

  4. Предоставьте инструкции, описывающие задачу, которую инструмент должен выполнять на компьютере. Доступны шаблоны инструкций, которые помогут вам начать работу. Следуйте лучшим практикам по написанию инструкций для использования компьютера.

  5. Выберите Добавить и настроить. На странице конфигурации настройте эти четыре поля:

    • Имя: введите отображаемое имя инструмента «использование компьютера». Это название поможет вам отличить его от других инструментов, которые вы добавляете в свой агент.

    • Описание: введите краткое описание того, что делает этот инструмент и когда его следует использовать. Этот текст подскажет вашему агенту, когда следует использовать этот инструмент.

    • Модель: выберите модель, используемую для выполнения инструмента «использование компьютера». Доступны следующие модели:

      Provider Модель Уровень Статус
      OpenAI Агент, использующий компьютер (CUA) Стандарт Общедоступно
      Anthropic Клод Соннет 4.5 Стандарт Общедоступно
      Anthropic Сонет Клода 4.6 Стандарт Experimental
      Anthropic Клод Опус 4.6 Premium Experimental

      Note

      Чтобы использовать модель Anthropic, убедитесь, что ваш администратор включил доступ к внешним моделям для вашей среды.

    • Инструкции: перечислите шаги, которые должен выполнять инструмент, включая URL-адреса и названия приложений. Следуйте лучшим практикам по написанию инструкций для использования компьютера.

  6. При необходимости просмотрите и отредактируйте другие поля, доступные на странице конфигурации.

  7. Нажмите Сохранить.

Настройка необязательных параметров

На странице конфигурации есть дополнительные необязательные поля помимо четырех обязательных (Имя, Описание, Модель, Инструкции). Просмотрите и настройте эти параметры по мере необходимости для вашего сценария.

Входные данные

Используйте входные данные для определения динамических значений, которые меняются при каждом запуске функции «использование компьютера». Например, если вы хотите заполнять форму с разными значениями при каждом выполнении, создайте входные данные для этого поля. Во время выполнения инструмент "использование компьютера"объединяет инструкции с входными значениями для выполнения задачи.

Компьютер

Выберите целевую машину, которую агент использует для работы с функцией «использование компьютера». Дополнительные сведения см. в разделе Настройка места использования компьютера.

  • Выберите Обновить, чтобы обновить список машин.
  • Выберите Управление машинами, чтобы открыть страницу управления машинами в Power Automate.
  • Выберите Просмотреть сведения о машине, чтобы открыть страницу сведений о машине в Power Automate.

Подключение

Соединение, используемое для данного инструмента. Обновите или создайте новое соединение, чтобы изменить используемые учетные данные.

Удостоверения для использования

Укажите способ аутентификации для инструмента «использование компьютера» во время выполнения:

  • Учетные данные, предоставленные создателем (по умолчанию): используются учетные данные создателя. Этот вариант подходит для автономных агентов.

    Warning

    Если вы предоставите общий доступ к агенту с этой настройкой, любой, кто будет его использовать, сможет действовать с правами доступа автора на настроенной машине.

  • Учетные данные конечного пользователя: используйте учетные данные пользователя, взаимодействующего с агентом. Каждый пользователь должен иметь учетные данные для доступа к компьютеру.

Человеческий надзор

Укажите, кого следует уведомить по электронной почте (Outlook), если агент, использующий компьютер, обнаружит потенциально вредоносные инструкции, которые могут изменить поведение модели. Каждый запуск агента и его действие связаны с пользователем, который его инициировал. Если вы выберете рецензента, отличного от человека, запускающего агента, использующего компьютер, он, скорее всего, не увидит это действие, поскольку не инициировал запуск. Поэтому они не могут должным образом проверить или выполнить запрос. Также убедитесь, что получатель уполномочен и имеет необходимый контекст для обработки таких запросов. Ограничение времени отклика определяет, как долго запрос остается активным. После этого периода запрос становится недействительным, и выполнение функции «использование компьютера» останавливается, если ответ не был получен. Подробнее см. в Человеческий контроль.

Сохраненные учетные данные

Определите учетные данные, которые инструмент «использование компьютера» использует для входа на веб-сайты и в приложения. Во время выполнения, если появляется запрос на вход, инструмент «использование компьютера» безопасно использует те учетные данные, которые вы указали в этом разделе, для соответствующего сайта или приложения. Пароли либо хранятся во внутреннем хранилище Power Platform (настройка не требуется), либо в Azure Key Vault, который вы предоставляете. Дополнительные сведения см. в статье Создание хранилища ключей с помощью портала Azure.

  • Опция внутреннего хранилища: используя эту опцию, вы можете настроить учетные данные в инструменте без предварительной настройки. Power Platform шифрует и хранит секреты внутри системы. Укажите следующие данные для всех учетных данных:

    • Тип: выберите между веб-сайтом и настольным приложением, в зависимости от того, где вы планируете использовать эти учетные данные

    • Имя пользователя: имя пользователя, которое вы используете для входа на целевой сайт или приложение.

    • Пароль: значение пароля, используемое для входа на целевой сайт или в приложение.

      Note

      Поля для ввода пароля поддерживаются на всех веб-сайтах и в большинстве Windows-приложений (WinForms, WPF, UWP, WinUI, Win32), что охватывает основные сценарии использования. Некоторые типы приложений, такие как Electron, Java, Unity, игры, интерфейсы командной строки, Citrix или другие виртуализированные среды, могут не поддерживаться.

    • Домен для входа (для веб-сайтов) или имя настольного приложения (для настольных приложений):

      • Веб-сайты: укажите основной адрес веб-сайта (например, example.com). Вы автоматически включаете все страницы на этом веб-сайте. Вы также можете использовать подстановочные знаки (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
      • Настольные приложения: введите имя программного продукта или имя процесса. Чтобы найти его, нажмите Ctrl+Shift+Esc, чтобы открыть Диспетчер задач. Затем проверьте вкладку Процессы. Примеры: Microsoft Edge, msedge, Notepad.

  • Опция Azure Key Vault: используя эту опцию, вы можете настроить учетные данные в инструменте, сначала введя идентификатор подписки, имя группы ресурсов и имя хранилища ключей. Всю необходимую информацию можно найти на странице обзора вашего хранилища ключей.

    • Для использования секретов Azure Key Vault с Power Platform:

      • Подписка Azure, в которой находится хранилище, должна иметь зарегистрированного поставщиков ресурсов PowerPlatform.
      • Пользователь, создающий переменную среды, должен обладать правами доступа к ресурсу Azure Key Vault.

    • Если вы еще не сделали этого, выполните шаги из раздела Настройка Azure Key Vault, а затем предоставьте следующую информацию:

      • Имя пользователя: имя пользователя, которое вы используете для входа на целевой сайт или приложение.

      • Имя секрета Azure: имя секрета в Azure Key Vault, в котором хранится пароль для сайта или приложения

      • Домен для входа (для веб-сайтов) или имя настольного приложения (для настольных приложений):

        • Веб-сайты: укажите основной адрес веб-сайта (например, example.com). Вы автоматически включаете все страницы на этом веб-сайте. Вы также можете использовать подстановочные знаки (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
        • Настольные приложения: введите имя программного продукта или имя процесса. Чтобы найти его, нажмите Ctrl+Shift+Esc, чтобы открыть Диспетчер задач. Затем проверьте вкладку Процессы. Примеры: Microsoft Edge, msedge, Notepad.

Управление доступом

По умолчанию инструмент «использование компьютера» может работать с любым веб-сайтом или приложением. Если вы хотите ограничить этот доступ, включите контроль доступа, чтобы определить конкретные URL и настольные приложения, с которыми инструмент «использование компьютера» должен иметь возможность взаимодействовать. Вы можете настроить как веб-сайты, так и приложения:

  • Веб-сайты: укажите основной адрес веб-сайта (например, example.com). Вы автоматически включаете все страницы на этом веб-сайте. Вы также можете использовать подстановочные знаки (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
  • Настольные приложения: введите имя программного продукта или имя процесса. Чтобы найти его, нажмите Ctrl+Shift+Esc, чтобы открыть Диспетчер задач. Затем проверьте вкладку Процессы. Примеры: Microsoft Edge, msedge, Notepad.

Note

Контроль доступа лишь предотвращает действия модели на сайтах или приложениях, не входящих в разрешенный список. Контроль доступа не предотвращает открытие этих сайтов или приложений моделью. Например, если в списке разрешенных сайтов и приложений находятся только microsoft.com и браузер Microsoft Edge, модель все равно может использовать поисковую строку браузера Microsoft Edge для открытия Bing. Однако после открытия Bing любая попытка взаимодействия с ним не будет успешной, потому что он не входит в список разрешенных сайтов и приложений.

Принудительное использование HTTPS

Включите Enforce HTTPS , чтобы убедиться, что компьютер работает только с HTTPS-сайтами (чей URL начинается с https://). Когда эта настройка включена, использование компьютера не взаимодействует с HTTP-сайтами, что помогает защититься от возможного раскрытия данных.

Тестирование инструмента «использование компьютера»

Тестирование инструмента «использование компьютера» — ключевой этап в процессе создания инструмента. После того как вы введете имя, описание и инструкции и сохраните инструмент, выберите Тест, чтобы начать процесс тестирования.

После короткого периода загрузки появляется интерфейс тестирования:

  • На левой панели отображаются инструкции и пошаговый журнал рассуждений и действий инструмента.
  • На правой панели отображается предварительный просмотр действий на компьютере, который вы настроили для инструмента «использование компьютера».

После завершения задачи появляется сообщение Тест завершен. Чтобы немедленно остановить все действия на машине, можно выбрать «Остановить тестирование » во время теста.

Если результат не соответствует вашим ожиданиям, перейдите на страницу конфигурации и уточните свои инструкции. Для повышения точности добавьте больше деталей. Придерживайтесь рекомендаций по написанию эффективных инструкций.

Публикация агента с функцией «использование компьютера»

Настройте функцию «использование компьютера», а затем опубликуйте свой агент. То, как работает ваш агент, зависит от сценария. Он может быть автономным или разговорным:

  • Автономные агенты запускаются автоматически и выполняют задачи в фоновом режиме.
  • Разговорные агенты позволяют пользователям взаимодействовать через каналы, такие как Microsoft Teams.

Инструмент «использование компьютера» лучше всего подходит для автономных агентов, выполняющих задачи в фоновом режиме без взаимодействия с пользователем.

Вы также можете применять функцию «использование компьютера» в разговорных взаимодействиях, но учитывайте следующие особенности:

  • Если в качестве параметра проверки подлинности выбран вариант Проверка подлинности пользователя, то каждый пользователь, взаимодействующий с агентом в разговоре, должен иметь действительные учетные данные для компьютера, используемого инструментом «использование компьютера».
  • Когда инструмент запускается, он делится в чате сообщениями с рассуждениями и снимками экрана действий компьютера.

Лучшие практики

Чтобы оставаться продуктивным и находиться в безопасности в современных цифровых средах, следуйте рекомендациям по использованию компьютера, особенно при составлении четких инструкций и обеспечении защиты машин.

Рекомендации по обеспечению безопасности компьютеров

При настройке машин для функции «использование компьютера», позволяющей ИИ выполнять задачи с помощью естественного языка, учитывайте следующие рекомендации по безопасности:

Рекомендация по безопасности Дополнительные сведения
Используйте выделенные компьютеры для инструмента «использование компьютера» Назначайте специальные, изолированные компьютеры исключительно для задач, связанных с инструментом «использованием компьютера». Этот подход снижает риск переноса угроз от стороннего программного обеспечения, вредоносных программ или несанкционированного доступа. Это позволяет более эффективно управлять конфигурациями, обновлениями и мониторингом.
Ограничьте разрешения для учетной записи пользователя, которую вы используете для инструмента «использование компьютера» Настройте учетную запись пользователя для инструмента «использование компьютера» в соответствии с принципом наименьших привилегий — предоставляйте только те разрешения, которые необходимы для выполнения необходимых инструментов.
Ограничьте веб-доступ только списком разрешенных доверенных веб-сайтов. Разрешите веб-доступ только к предопределенному списку проверенных и надежных доменов. Например, вы можете настроить параметры политики Microsoft Edge с помощью Microsoft Intune для машин, используемых для функции «использование компьютера».
Ограничьте доступность определенных классических приложений Устанавливайте и разрешайте выполнение только тех приложений, которые необходимы для предполагаемых рабочих процессов ИИ. Удалите или отключите доступ к ненужному программному обеспечению. Например, можно настроить контроль приложений, чтобы ограничить круг приложений, которые могут быть запущены на компьютере.

Рекомендации по лучшим методикам для использования компьютера

Инструкции, которые вы пишете, определяют, насколько хорошо работает инструмент «использование компьютера». Конкретные, подробные инструкции помогают инструменту «использование компьютера» точно выполнять задачи. Думайте об этом как об объяснении задачи коллеге. Четкое пошаговое руководство помогает добиться успеха.

Советы по написанию эффективных инструкций:

  • Будьте конкретны в отношении веб-сайтов и приложений. Всегда указывайте полный URL-адрес любого веб-сайта и точное название любого приложения, которое должен использовать инструмент. Пример: откройте https://www.microsoft.com и перейдите в новости компании.
  • Четко сформулируйте соответствующие действия. Если вы хотите, чтобы какое-либо действие было выполнено, скажите об этом прямо — особенно для таких действий, как отправка формы или отправка электронной почты. Пример: После заполнения формы выберите Отправить. Не нужно спрашивать разрешения.
  • Разбейте сложные взаимодействия. В тех областях, где пользовательский интерфейс может быть более сложным для навигации, подробно объясните каждый шаг. Пример: Нажмите на значок Больше в правом верхнем углу. Появится выпадающее меню. Когда оно откроется, выберите последний элемент в списке.
  • Используйте пошаговое форматирование для длинных задач. Длинным инструкциям легче следовать, если вы отформатируете их в виде списка.

Примеры инструкций

Изучите эти примеры инструкций, чтобы попробовать инструмент «использование компьютера», или используйте их в качестве справочного материала для написания своих собственных.

Сценарий Name Description Инструкции
Обработка счета Передача и отправка сведений о счете Перенесите данные счета из PDF-файла и отправьте их в другую форму. 1. Перейдите в раздел https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, установите фильтр даты «За последние 24 часа» и откройте PDF-файл счета.
2. В новой вкладке откройте https://computerusedemos.blob.core.windows.net/web/Contoso/index.html и заполните форму данными из этого PDF-файла. Отправьте форму счета-фактуры, подтверждение не требуется.
Ввод данных Отправка товаров в запасах Добавьте продукты в систему запасов. 1. Перейдите по адресу https://computerusedemos.blob.core.windows.net/web/Adventure/index.html.
2. Отправьте новую заявку по каждому из следующих пунктов:
Задний переключатель, RD-4821, 50, 42.75, Tailspin Toys
Педальный набор, PD-1738, 80, 19.99, Northwind Traders
Рычаг тормоза, BL-2975, 35, 14.50, Trey Research
Комплект болтов звездочки, CB-6640, 100, 5.25, VanArsdel, Ltd.
Каретка, BB-9320, 60, 24.90, Tailwind Traders
Извлечение данных Поиск управляющего и стоимости портфеля Получите имя управляющего и значение для портфеля. 1. Перейдите по адресу https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Найдите строку для Fourth Coffee и запишите имя управляющего портфелем и текущую стоимость портфеля в точности так, как показано.
3. Верните эти два значения в качестве окончательного вывода.

Рекомендации по извлечению данных

Используйте инструмент «использование компьютера» для извлечения данных с веб-сайтов или приложений. Затем передайте эти данные агенту или другим инструментам внутри агента. Опишите, какую информацию вы хотите извлечь напрямую в инструкциях для инструмента «использование компьютера».

Если вы хотите использовать извлеченные данные с другим инструментом (например, отправить их по электронной почте), отразите это в инструкциях агента и убедитесь, что оба инструмента добавлены в агент. Пример: Используйте инструмент «использование компьютера» для извлечения информации о клиенте из панели управления финансовым портфелем и отправьте полученные данные по электронной почте. В этом случае агент должен включать оба инструмента: «использование компьютера» и «электронная почта».

Извлекайте значения в виде текста

Дайте инструкции инструменту «использование компьютера» извлечь определенные значения и вернуть их в виде простого текста. Например, следующий запрос извлекает имя управляющего портфелем и стоимость портфеля для клиента Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Агент возвращает только два запрошенных значения в виде текста.

Извлечение значения в формате JSON

Вы также можете запросить у инструмента «использование компьютера» возвращение извлеченной информации в формате JSON. Этот формат полезен, когда вы хотите передать структурированные данные другому инструменту. В следующем примере извлекаются все строки портфеля, связанные с Contoso, и возвращаются в формате правильно структурированного JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Такой подход обеспечивает структурированный формат вывода.

Лицензирование

Инструмент «использование компьютера» оплачивается в рамках функции действий агента по тарифу 5 кредитов Copilot Подробнее см. в Тарифы и управление.

Каждый запуск функции «использование компьютера» основан на модели ИИ, которая выполняет последовательность шагов. Шаг может включать одно или несколько низкоуровневых действий, например нажатие, ввод текста или навигацию. Каждый шаг расходует 5 кредитов Copilot или 15 кредитов Copilot при использовании премиум-модели.

Следующие модели доступны для инструмента «использование компьютера»:

Provider Модель Уровень Кредиты за шаг
OpenAI Агент, использующий компьютер (CUA) Стандарт 5
Anthropic Клод Соннет 4.5 Стандарт 5
Anthropic Сонет Клода 4.6 Стандарт 5
Anthropic Клод Опус 4.6 Premium 15

Например, если вы настроите инструмент «использование компьютера» для заполнения веб-формы табеля рабочего времени, выполнение может включать следующие шаги:

  1. Запустите браузер и перейдите на портал учета рабочего времени.

  2. Выберите Создать новый табель рабочего времени.

  3. Заполните поля Время начала, Время завершения и Код проекта.

  4. Нажмите кнопку "Отправить".

В этом примере выполнение функции «использование компьютера» включает четыре шага. Если используется стандартная модель, этот процесс потребляет в общей сложности 20 кредитов Copilot. Если процесс использует премиум-модель, он потребляет в общей сложности 60 кредитов Copilot.

Поделитесь своим мнением

Есть ли у вас отзывы об инструменте «использование компьютера»? Отправьте их по адресу computeruse-feedback@microsoft.com.

  • Last updated on