Автоматизация веб- и десктопных приложений с помощью компьютера

Использование компьютера — это инструмент в Copilot Studio, который позволяет вашему агенту взаимодействовать с задачами и автоматизировать задачи на компьютере Windows. Он работает с сайтами и десктопными приложениями, выбирая кнопки, выбирая меню и вводя текст в поля на экране. Опишите на естественном языке, что вы хотите, чтобы компьютер делал, и он выполняет эту задачу на компьютере, который вы настроили, используя виртуальную мышь и клавиатуру. Используя компьютер, агенты могут выполнять задачи даже тогда, когда нет API для прямого подключения к системе. Если человек может пользоваться приложением или сайтом, то и компьютер тоже. Вы можете использовать компьютер для таких задач, как автоматизированный ввод данных, обработка счетов и извлечение данных.

Использование компьютера обеспечивается Computer-Using Agents (CUA) — моделью ИИ, которая сочетает возможности зрения с продвинутым рассуждением для взаимодействия с графическими интерфейсами пользователя (GUI). Поскольку он работает на базе искусственного интеллекта, он адаптируется к изменениям интерфейса. Например, когда меняются кнопки или экраны, инструмент продолжает работать, не нарушая ваш поток. Им просто пользоваться. Просто опишите, что хотите, на естественном языке. Вам не нужно писать код.

Посмотрите это видео, чтобы узнать, как инструмент использования компьютера позволяет агенту взаимодействовать с веб-приложением.

Note

Эта функция доступна только для агентов с включённой генеративной оркестровкой .

Добавьте использование компьютера к вашему агенту

В Copilot Studio добавьте использование компьютера как инструмент, следуя следующим этапам:

1. Перейдите на страницу «Инструменты » вашего агента и выберите «Добавить» инструмент.

2. В инструменте Add выберите « Новый инструмент».

3. Выберите «Использование компьютера».

4. Предоставьте инструкции, описывающие задачу, которую инструмент должен выполнять на компьютере. Доступны шаблоны инструкций, которые помогут вам начать. Следуйте лучшим практикам по инструкциям по использованию компьютера.

5. Выберите Добавить и настроить. На странице конфигурации настройте эти четыре поля:

   • Название: Введите отображаемое имя инструмента для использования компьютера. Это название помогает выделить его среди других инструментов, которые вы добавляете в агента.

   • Описание: Введите краткое описание того, что делает этот инструмент и когда его использовать. Этот текст сообщает агенту, когда использовать этот инструмент.

   • Модель: Выберите модель, используемую для выполнения инструмента использования компьютера. Доступны следующие модели:

     Provider	Модель	Уровень	Status
     OpenAI	Computer-Using агент (CUA)	Стандарт	Общедоступно
     Anthropic	Клод Соннет 4.5	Стандарт	Общедоступно
     Anthropic	Сонет Клода 4.6	Стандарт	Experimental
     Anthropic	Клод Опус 4.6	Premium	Experimental

     Note

     Чтобы использовать модель Anthropic, убедитесь, что администратор включил доступ к внешним моделям для вашей среды.

   • Инструкции: Перечислите шаги, которые инструмент должен выполнить, включая URL и имена приложений. Следуйте лучшим практикам по инструкциям по использованию компьютера.

6. По желанию, просмотрите и отрегулируйте другие поля , доступные на странице конфигурации.

7. Нажмите Сохранить.

Настройка необязательных параметров

Страница конфигурации содержит дополнительные поля, помимо четырёх обязательных полей (Имя, Описание, Модель, Инструкции). Проверьте и настройте эти параметры по мере необходимости для вашей ситуации.

Входные данные

Используйте входные данные для определения динамических значений, которые меняются при каждом запуске компьютера. Например, если вы хотите заполнить форму с разным значением при каждом запуске, создайте ввод для этого поля. Во время выполнения компьютер объединяет ваши инструкции с входными значениями для выполнения задачи.

Компьютер

Выберите целевую машину, которую агент использует для работы с компьютером. Узнайте больше в разделе «Конфигурировать, где работает использование компьютера».

• Выберите «Обновление » для обновления списка машины.
• Выберите Manage machines чтобы открыть страницу управления машинами в Power Automate.
• Выберите См. детали машины чтобы открыть страницу деталей машины в Power Automate.

Connection

Соединение используется для этого инструмента. Обновите или создайте новое соединение, чтобы изменить используемые учетные данные.

Удостоверения для использования

Укажите, как компьютер использует аутентификацию во время выполнения:

• Учетные данные, предоставленные создателем (по умолчанию): используйте учетные данные создателя. Этот вариант подходит для автономных агентов.

  Предупреждение

  Если вы делите агент с этой настановкой, любой, кто его использует, может действовать с доступом оригинального автора на настроенном компьютере.

• Учетные данные конечного пользователя: используйте учетные данные человека, взаимодействующего с агентом. Каждый пользователь должен иметь учетные данные доступа к машине.

Человеческий надзор

Укажите, с кем следует связаться по электронной почте (Outlook), если агент компьютерного использования обнаруживает потенциально вредные инструкции, способные изменить поведение модели. Каждый агент запускается, и его активность связана с пользователем, который его инициировал. Если вы выберете рецензента, кроме того, кто управляет компьютерным агентом, он, скорее всего, не увидит активность, потому что не инициировал запуск. Поэтому они не могут должным образом проверить или выполнить запрос. Также убедитесь, что получатель уполномочен и имеет необходимый контекст для обработки таких запросов. Ограничение времени ответа определяет, как долго запрос остаётся активным. После этого срока запрос истекает, и компьютерное использование запуска прекращается, если не поступает ответ. Узнайте больше о человеческом супервизоре.

Сохраненные учетные данные

Определите учетные данные, которые компьютер использует для входа в сайты и приложения. Во время выполнения, если появляется запрос на вход, компьютерное использование безопасно использует любые учётные данные, которые вы определили в этом разделе для этого сайта или приложения. Пароли либо хранятся во внутреннем хранилище Power Platform (настройка не требуется), либо в Azure Key Vault, который вы предоставляете. Узнайте больше в Создайте хранилище ключей с помощью портала Azure.

• Опция внутреннего хранилища: Используя эту опцию, вы можете настроить учетные данные в инструменте без предварительной настройки. Power Platform шифрует и хранит секреты внутри компании. Для каждого удостоверения укажите следующие данные:

  • Тип: выберите между Веб-сайтом и Десктопным приложением в зависимости от того, на каком Surface вы планируете использовать этот аккаунт

  • Имя пользователя: имя пользователя, которое вы используете для входа на целевой сайт или приложение.

  • Пароль: значение пароля, используемое для входа на целевой сайт или приложение.

    Note

    Поля паролей поддерживаются на всех сайтах и большинстве приложений Windows (WinForms, WPF, UWP, WinUI, Win32), что охватывает большинство сценариев для клиентов. Некоторые типы приложений, такие как Electron, Java, Unity, игры, командные интерфейсы, Citrix или другие виртуализированные среды, могут не поддерживаться.

  • Домен входа (сайты) или имя десктопного приложения (десктопные приложения):

    • Веб-сайты: Введите основной адрес сайта (например, example.com). Вы автоматически включаете все страницы на этом сайте. Вы также можете использовать джокеры (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
    • Десктопные приложения: Введите название продукта или процесса приложения. Чтобы найти его, нажмите Ctrl+Shift+Esc , чтобы открыть Диспетчер задач. Затем проверьте вкладку Processes. Примеры: Microsoft Edge, msedge, Notepad.

• Azure Key Vault опция: Используя эту опцию, вы можете настроить учетные данные в инструменте, сначала введя ID подписки, название группы ресурсов и имя хранилища ключей. Всю эту информацию можно найти на странице обзора вашего хранилища с ключами.

  • To use Azure Key Vault secrets with Power Platform:

    • Подписка Azure с хранилищем должна иметь зарегистрированный PowerPlatform resource provider.
    • Пользователь, создающий переменную среды, должен иметь соответствующие права на доступ к ресурсу Azure Key Vault.

  • Если вы ещё не сделали этого, следуйте шагам в Configure Azure Key Vault и затем укажите следующие детали:

    • Имя пользователя: имя пользователя, которое вы используете для входа на целевой сайт или приложение.

    • Azure секретное имя: название секрета в хранилище ключей, где хранится пароль от сайта или приложения

    • Домен входа (сайты) или имя десктопного приложения (десктопные приложения):

      • Веб-сайты: Введите основной адрес сайта (например, example.com). Вы автоматически включаете все страницы на этом сайте. Вы также можете использовать джокеры (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
      • Десктопные приложения: Введите название продукта или процесса приложения. Чтобы найти его, нажмите Ctrl+Shift+Esc , чтобы открыть Диспетчер задач. Затем проверьте вкладку Processes. Примеры: Microsoft Edge, msedge, Notepad.

Управление доступом

По умолчанию использование компьютера может работать на любом сайте или приложении. Если вы хотите ограничить этот доступ, включите контроль доступа, чтобы определить конкретные URL и десктопные приложения, которыми должен пользоваться компьютер. Вы можете настроить как веб-сайты, так и приложения:

• Веб-сайты: Введите основной адрес сайта (например, example.com). Вы автоматически включаете все страницы на этом сайте. Вы также можете использовать джокеры (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
• Десктопные приложения: Введите название продукта или процесса приложения. Чтобы найти его, нажмите Ctrl+Shift+Esc , чтобы открыть Диспетчер задач. Затем проверьте вкладку Processes. Примеры: Microsoft Edge, msedge, Notepad.

Note

Контроль доступа лишь предотвращает действия модели на сайтах или приложениях, не входящих в список разрешений. Это не мешает модели открывать их. Например, если в списке разрешений находятся только microsoft.com и Microsoft Edge, модель всё равно может использовать строку поиска Microsoft Edge для открытия Bing. Однако, как только Bing открывается, любая попытка взаимодействовать с ним терпит неудачу, потому что он не входит в список разрешений.

Использование тестового компьютера

Тестирование использования компьютера — ключевой этап в процессе написания. После того как вы введете имя, описание и инструкции, а также сохраните инструмент, выберите Тест , чтобы начать процесс тестирования.

После короткого периода загрузки появляется опыт тестирования:

• Левая панель показывает ваши инструкции и пошаговый журнал рассуждений и действий инструмента.
• Правая панель показывает предварительный просмотр действий на машине, которую вы настроили для компьютера.

Когда задание заканчивается, появляется сообщение «Тест завершён ». Пока тест идёт, вы можете выбрать «Остановить тестирование », чтобы немедленно остановить все действия на машине.

Если результат не соответствует вашим ожиданиям, перейдите на страницу конфигурации и уточните инструкции. Добавьте больше деталей для повышения точности. Следуйте лучшим практикам для написания эффективных инструкций.

Публикуйте агент с использованием компьютера

Настройте использование на компьютере, а затем опубликуйте своего агента. То, как работает ваш агент, зависит от ситуации. Он может быть автономным или разговорным:

• Автономные агенты работают автоматически и выполняют задачи в фоновом режиме.
• Разговорные агенты позволяют пользователям взаимодействовать через такие каналы, как Microsoft Teams.

Использование компьютера лучше всего работает для автономных агентов, выполняющих задачи в фоновом режиме без взаимодействия пользователя.

Вы также можете применять использование компьютера в разговорном опыте, но имейте в виду следующие моменты:

• Если выбрать аутентификацию пользователя в качестве настройки аутентификации, каждому пользователю, взаимодействующему с агентом в разговоре, необходимы действительные учетные данные для машины, используемой компьютером.
• Когда инструмент работает, он делится рассуждающими сообщениями и скриншотами активности машины в чате.

Лучшие практики

Чтобы оставаться продуктивными и безопасными в современных цифровых условиях, следуйте лучшим практикам использования компьютера, особенно при написании чётких инструкций и обеспечении безопасности машин.

Лучшие практики по обеспечению безопасности машин

При настройке машин для компьютерного использования, позволяющего ИИ выполнять задачи с использованием естественного языка, учитывайте следующие рекомендации по безопасности:

Рекомендации по безопасности	Дополнительные сведения
Используйте специализированные машины для компьютерного использования	Назначайте конкретные, изолированные машины исключительно для задач, связанных с использованием компьютера. Такой подход снижает риск перекрёстного заражения не связанным программным обеспечением, вредоносным ПО или несанкционированным доступом. Это позволяет эффективнее управлять конфигурациями, обновлениями и мониторингом.
Ограничьте права на пользовательскую учетную запись, которую вы используете для компьютера	Настройте учетную запись пользователя для использования на компьютере по принципу наименьших привилегий — предоставляйте только необходимые разрешения для запуска необходимых инструментов.
Ограничьте доступ к вебу только разрешённым списком конкретных надёжных сайтов	Разрешить веб-доступ только к заранее определённому списку проверенных и доверенных доменов. Например, вы можете configure Microsoft Edge настройки политики с помощью Microsoft Intune которые нацелены на компьютерные устройства.
Ограничьте доступность отдельных десктопных приложений	Устанавливайте и разрешайте выполнять только те приложения, которые необходимы для предполагаемых рабочих процессов ИИ. Удалите или отключите доступ к ненужному программному обеспечению. Например, вы можете настроить управление приложениями так, чтобы ограничить, какие приложения могут работать на машине.

Лучшие практики по инструкциям для компьютерного использования

Инструкции, которые вы пишете, определяют, насколько хорошо работает работа с компьютером. Конкретные, подробные инструкции помогают компьютеру точно выполнять зачётные задачи. Думайте об этом как о объяснении задачи коллеге. Чёткие, пошаговые рекомендации помогают добиться успеха.

Советы по написанию эффективных инструкций:

• Будьте конкретны в выборе сайтов и приложений. Всегда указывайте полный URL любого сайта и точное название приложения, которое должен использовать инструмент. Пример: откройте https://www.microsoft.com и перейдите в раздел «Новости компании».
• Чётко указывайте соответствующие действия. Если вы хотите что-то сделать, скажите об этом прямо — особенно при таких действиях, как отправка формы или отправка письма. Пример: после заполнения формы выберите «Отправить». Не нужно спрашивать разрешения.
• Разберите сложные взаимодействия. В тех областях, где интерфейс может быть сложнее для навигации, подробно объясните каждый шаг. Пример: выберите значок «Больше » в правом верхнем углу. Появляется выпадающее меню. После открытия выберите последний элемент в списке.
• Используйте пошаговое форматирование для более длинных задач. Длинные инструкции легче выполнять, если оформить их в виде списка.

Примеры инструкций

Ознакомьтесь с этими примерами инструкций, чтобы попробовать компьютерное использование или использовать их в качестве справочника для написания собственного письма.

Сценарий	Имя	Description	Инструкции
Обработка накладных	Переведите и отправьте детали счета	Перенесите данные счета из PDF и отправьте их в другую форму.	1. Перейдите в https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, установите фильтр Date на Last 24 hours и откройте PDF с счётом. 2. В новой вкладке откройте https://computerusedemos.blob.core.windows.net/web/Contoso/index.html и заполните форму с данными из этого PDF. Заполните форму счета, подтверждение не требуется.
Ввод данных	Отправка товаров по инвентарю	Добавляйте товары в систему инвентаризации.	1. Перейти к https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Подайте новую заявку по каждому из следующих пунктов: Задний переключатель, RD-4821, 50, 42.75, игрушки для штопора Набор педалей, PD-1738, 80, 19.99, Northwind Traders Тормозной рычаг, BL-2975, 35, 14.50, Trey Research Комплект болтов для цепи, CB-6640, 100, 5.25, VanArsdel, Ltd. Нижняя сетка, BB-9320, 60, 24.90, торговцы по попутному ветру
Извлечение данных	Посмотрите информацию о портфельном менеджере и стоимости	Узнайте имя менеджера и стоимость портфеля.	1. Перейти к https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Найдите строку для Fourth Coffee и запишите имя управляющего портфелем и текущую стоимость портфеля точно так, как показано. 3. Верните эти два значения в качестве конечного результата.

Лучшие практики извлечения данных

Используйте компьютер для извлечения данных с веб-сайтов или приложений. Затем передайте эти данные вашему агенту или другим инструментам в агенте. Опишите, какую информацию вы хотите извлечь напрямую в инструкции для компьютерного использования.

Если вы хотите использовать извлеченные данные с другим инструментом (например, отправить их по электронной почте), укажите эту необходимость в инструкциях агента и обязательно добавьте оба инструмента в агент. Пример: используйте компьютер, чтобы извлечь информацию о клиенте из панели финансового портфеля и отправьте их по электронной почте. В этом случае ваш агент должен включать и инструмент использования компьютера, и инструмент электронной почты.

Извлечение значений в виде текста

Попросите компьютер извлечь определённые значения и вернуть их в виде обычного текста. Например, следующий запрос извлекает портфельный менеджер и стоимость портфеля для клиента, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Агент возвращает только два запрошенных значения в виде текста.

Извлечение значений в формате JSON

Вы также можете попросить компьютер вернуть извлеченную информацию в формате JSON. Этот формат полезен, когда вы хотите передать структурированные данные другому инструменту. Следующий пример извлекает все строки портфеля, связанные с Contoso, и возвращает их как правильно отформатированный JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Такой подход обеспечивает структуру результата.

Лицензирование

Использование счетов с помощью компьютера через функцию действия агента с оплатой в пять кредитов Copilot. Узнайте больше о тарифах и управлении счетами.

Каждый компьютер, используемый для запуска, основан на модели ИИ, которая выполняет последовательность шагов. Шаг может включать одно или несколько низкоуровневых действий, таких как клики, набор текста или навигация. Каждый шаг требует 5 Copilot кредитов или 15 Copilot кредитов при использовании премиальной модели.

Для компьютерного использования доступны следующие модели:

Provider	Модель	Уровень	Кредиты за шаг
OpenAI	Computer-Using агент (CUA)	Стандарт	5
Anthropic	Клод Соннет 4.5	Стандарт	5
Anthropic	Сонет Клода 4.6	Стандарт	5
Anthropic	Клод Опус 4.6	Premium	15

Например, если вы настроите использование компьютера для заполнения веб-формы табеля рабочего времени, запуск может выполнять следующие шаги:

1. Запустите браузер и перейдите в портал с табелями рабочего времени.

2. Выберите «Создать новый табель рабочего времени».

3. Заполните поля Время начала, End Time и Project Code.

4. Нажмите кнопку "Отправить".

В этом примере компьютер выполняет четыре шага. Если используется стандартная модель, этот процесс потребляет в общей сложности 20 кредитов Copilot. Если использовать премиум-модель, то расходуется в общей сложности 60 кредитов Copilot.

Поделитесь своим мнением

Есть ли у вас отзывы о работе с компьютером? Дайте знать по адресу computeruse-feedback@microsoft.com.

Связанная информация

Часто задаваемые вопросы по инструменту для использования компьютера