Часто задаваемые вопросы об инструменте «использование компьютера»

В этом разделе часто задаваемых вопросов (FAQ) представлены сведения о возможностях, использовании, ограничениях и мерах безопасности, которые следует учитывать при добавлении инструмента «использование компьютера» в ваши агенты Copilot Studio.

Что такое инструмент «использование компьютера»?

Использование компьютера — это инструмент, который вы можете добавить к своим агентам Copilot Studio для автоматизации задач на веб-сайтах и в приложениях. Вы предоставляете описания задач на естественном языке, а инструмент автоматически выполняет щелчки мышью и нажатия клавиш в соответствии с ними. Например, вы можете поручить инструменту открыть PDF и использовать его содержимое для заполнения веб-формы. Инструмент визуально интерпретирует экран и выполняет необходимые щелчки и нажатия клавиш, эмулируя человеческие взаимодействия.

Предупреждение

Использование компьютера — это мощное средство, которое автоматизирует взаимодействие с веб-сайтами и настольными приложениями, но требует особого внимания к вопросам безопасности. В некоторых случаях ИИ может предпринимать непреднамеренные действия из-за неоднозначных инструкций или неожиданного контента на экране. Эти действия могут повлиять на безопасность вашего устройства, данных или связанных учетных записей, включая доступ к личным, финансовым или корпоративным системам.

Что может делать инструмент «использование компьютера»?

Инструмент «использование компьютера» анализирует пиксели экрана для понимания содержимого, отображаемого на экране, и выполняет задачи с помощью виртуальных щелчков мышью и ввода с клавиатуры. Инструмент может управлять многоступенчатыми рабочими процессами, работать с неожиданными ситуациями и динамически адаптироваться к изменениям экрана. Он может выполнять различные цифровые задачи, такие как навигация по сайтам и заполнение форм без использования специализированных API.

Инструмент «использование компьютера» работает по итеративному циклу, состоящему из трех этапов:

• Восприятие: он делает снимки экрана, чтобы визуально понять текущее состояние экрана компьютера.

• Рассуждение: он оценивает текущее состояние, предыдущие действия и снимки экранов с помощью подхода цепочки рассуждений, что позволяет ему эффективно адаптировать свои действия.

• Действие: он выполняет такие действия, как щелчок, ввод текста или прокрутка, пока задача не будет завершена или не потребует дополнительного ввода данных пользователем.

Для чего предназначен инструмент «использование компьютера»?

Инструмент «использование компьютера» предназначен для автоматизации взаимодействия пользователя с веб-сайтами и приложениями с помощью виртуальной мыши и клавиатуры. Этот инструмент особенно полезен в ситуациях, когда отсутствуют доступные API.

Как оценивался инструмент «использование компьютера»? Какие показатели используются для оценки эффективности?

Инструмент «использование компьютера» был тщательно оценен с использованием реальных сценариев на всех этапах проектирования, разработки и развертывания. Методы оценки включали исследования, исследования воздействия и тестирование в различных сценариях для измерения точности, доверия пользователей и полезности. Для поддержания высокой производительности и положительного пользовательского опыта команда регулярно отслеживает как качественные, так и количественные показатели. Команда также гарантирует доступность инструмента, следуя установленным SLA.

Какие ограничения связаны с использованием инструмента «использование компьютера»? Как пользователи могут минимизировать влияние ограничений инструмента «использование компьютера» при использовании системы?

Технология «использование компьютера» — это новая разработка с известными рисками безопасности и функциональными ограничениями. Команда даёт вам возможность экспериментировать с ним. Эта технология на ранней стадии развития позволяет автоматизировать определенные задачи на компьютере, хотя ее производительность сильно зависит от конкретного сценария использования. Чтобы использовать его эффективно и ответственно, важно понимать его текущие ограничения.

Известные ограничения

• Производительность зависит от задачи и применения. Надёжность зависит от сложности задачи, дизайна интерфейса и поведения приложений.

• Чувствительны к изменениям интерфейса и тайминга. Изменения в макете, задержки загрузки или неожиданные диалоги могут привести к разным результатам для одной и той же задачи.

• Сложность с определённым управлением. Нестандартные или динамические элементы интерфейса, такие как выпадающие списки, выбор дат и пользовательские виджеты, могут быть сложными для взаимодействия.

• Может повторять действия или застрять. Неожиданные экранные состояния могут заставить агента зациклиться или перестать продвигаться.

• Проблемы со сложными задачами. Задачи, связанные с детализированными графическими интерфейсами или сложной обработкой текста, могут быть менее надёжными, чем простые действия.

• Не для чувствительных или рискованных случаев. Например, инструмент не предназначен для:

  • Рекомендации или оценка в чувствительных сферах, таких как найм, здравоохранение или финансы.
  • Проведение финансовых операций.
  • Вредные действия, такие как спам или дезинформация.
  • Обмен данными вне вашей организации без надлежащего разрешения.

Как минимизировать ограничения

Для повышения надёжности предоставляйте чёткие и подробные инструкции при настройке задач, чтобы снизить количество ошибок и повысить их успех.

Что такое функция человеческого контроля?

Important

Агенты использования компьютера могут столкнуться с вредоносными или опасными инструкциями, часто называемыми атаками через внедрение запросов, скрытые команды на снимках экрана, веб-страницах или в других входных данных могут попытаться повлиять на действия агента непредвиденным образом. Чтобы снизить эти риски, осуществляйте использование компьютера в доверенных, изолированных средах и применяйте строгую валидацию перед выполнением любых инструкций.

При выполнении задач с использованием компьютера возможны случаи неоднозначности или недостатка информации. Например, когда обязательное значение отсутствует или возможны несколько вариантов интерпретации. В таких случаях функция человеческого контроля позволяет агенту, использующему инструмент «использование компьютера», приостановить выполнение и отправить запрос на разъяснение уполномоченному и настроенному рецензенту. Рецензенты могут отвечать по электронной почте или внутри Copilot Studio, используя действий выполнения агента. Как только агент, использующий компьютер, получает ответ, он продолжает выполнение с того шага, на котором он был приостановлен, согласно карте действий.

Надежность и ограничения

Результаты оценки продукта показывают, что функция контроля человеком обычно работает в соответствии с ожиданиями, но она может давать сбои или вести себя непредвиденным для пользователей образом. Поскольку запросы на уточнение инициируются на основе вероятностного поведения модели, они могут срабатывать не в каждой ситуации, когда человек хотел бы приостановить выполнение. Они также могут срабатывать, когда пауза не нужна. Не стоит полагаться на запросы на уточнение как на надежный механизм обеспечения безопасности или гарантию того, что система всегда будет запрашивать участие человека перед тем, как продолжить выполнение задачи.

Не является механизмом принудительного исполнения пользовательских правил

Запросы на участие человека не гарантируют соблюдение ваших установленных правил, политик или ограничений. Вместо того чтобы полагаться на запросы на уточнение для получения информации или предотвращения нежелательных действий, следует применять средства контроля, соответствующих каждому возможному сценарию (например: четкие инструкции, ограниченные среды, учетные записи с минимальными привилегиями, списки разрешенных объектов и другие операционные меры защиты).

Какие рабочие факторы и настройки позволяют эффективно и ответственно работать с инструментом «использование компьютера»?

Инструмент «использование компьютера» работает лучше всего, когда предоставляются четкие и подробные инструкции пользователя. Пользователи должны давать конкретные инструкции по взаимодействию с сайтом или приложением, чтобы повысить надежность и точность выполнения задач. Для повышения видимости и контроля активируйте функцию человеческого надзора, назначив одного или нескольких уполномоченных рецензентов на странице конфигурации инструмента. Когда модель обнаруживает потенциально вредоносные инструкции, уполномоченные рецензенты получают уведомления для проверки и принятия решения о продолжении или остановке выполнения.

Как отправить отзыв об инструменте «использование компьютера»?

Хотите оставить отзыв о инструменте «использование компьютера»? Электронная почта computeruse-feedback@microsoft.com.