Часто задаваемые вопросы об инструменте «использование компьютера»

В этом разделе часто задаваемых вопросов (FAQ) представлены сведения о возможностях, использовании, ограничениях и мерах безопасности, которые следует учитывать при добавлении инструмента «использование компьютера» в ваши агенты Copilot Studio.

Что такое инструмент «использование компьютера»?

Использование компьютера — это инструмент, который вы можете добавить к своим агентам Copilot Studio для автоматизации задач на веб-сайтах и в приложениях. Вы предоставляете описания задач на естественном языке, а инструмент автоматически выполняет щелчки мышью и нажатия клавиш в соответствии с ними. Например, вы можете поручить инструменту открыть PDF и использовать его содержимое для заполнения веб-формы. Инструмент визуально интерпретирует экран и выполняет необходимые щелчки и нажатия клавиш, эмулируя человеческие взаимодействия.

Предупреждение

Использование компьютера — это мощное средство, которое автоматизирует взаимодействие с веб-сайтами и настольными приложениями, но требует особого внимания к вопросам безопасности. В некоторых случаях ИИ может предпринимать непреднамеренные действия из-за неоднозначных инструкций или неожиданного контента на экране. Эти действия могут повлиять на безопасность вашего устройства, данных или связанных учетных записей, включая доступ к личным, финансовым или корпоративным системам.

Что может делать инструмент «использование компьютера»?

Инструмент «использование компьютера» анализирует пиксели экрана для понимания содержимого, отображаемого на экране, и выполняет задачи с помощью виртуальных щелчков мышью и ввода с клавиатуры. Инструмент может управлять многоступенчатыми рабочими процессами, обрабатывать неожиданные сценарии и динамически адаптироваться к изменениям экрана. Он способен выполнять различные цифровые задачи, такие как навигация по сайтам и заполнение форм, без использования специализированных API.

Инструмент «использование компьютера» работает по итеративному циклу, состоящему из трех этапов:

• Восприятие: он делает снимки экрана, чтобы визуально понять текущее состояние экрана компьютера.

• Рассуждение: он оценивает текущее состояние, предыдущие действия и снимки экранов с помощью подхода цепочки рассуждений, что позволяет ему эффективно адаптировать свои действия.

• Действие: он выполняет такие действия, как щелчок, ввод текста или прокрутка, пока задача не будет завершена или не потребует дополнительного ввода данных пользователем.

Для чего предназначен инструмент «использование компьютера»?

Инструмент «использование компьютера» предназначен для автоматизации взаимодействия пользователя с веб-сайтами и приложениями с помощью виртуальной мыши и клавиатуры. Этот инструмент особенно полезен в ситуациях, когда отсутствуют доступные API.

Как оценивался инструмент «использование компьютера»? Какие метрики используются для измерения производительности?

Инструмент «использование компьютера» был тщательно оценен с использованием реальных сценариев на всех этапах проектирования, разработки и развертывания. Методы оценки включали исследования, изучение влияния и тестирование в различных сценариях для измерения точности, доверия пользователей и полезности. Как качественные, так и количественные метрики регулярно контролируются для обеспечения высокой производительности и положительного пользовательского опыта. Доступность инструмента также обеспечивается соблюдением установленных SLA.

Какие ограничения связаны с использованием инструмента «использование компьютера»? Как пользователи могут минимизировать влияние ограничений инструмента «использование компьютера» при использовании системы?

Технология «использование компьютера» — это новая разработка с известными рисками безопасности и функциональными ограничениями. Мы даем вам возможность экспериментировать с этим инструментом. Эта технология на ранней стадии развития позволяет автоматизировать определенные задачи на компьютере, хотя ее производительность сильно зависит от конкретного сценария использования. Чтобы использовать его эффективно и ответственно, важно понимать его текущие ограничения.

Известные ограничения

• Процент успеха варьируется в зависимости от задачи: инструмент лучше всего работает с веб-задачами (около 80 % успешных операций), однако этот показатель значительно снижается при работе с настольными приложениями (около 35 % успешных операций).
• Нестабильность результатов: одна и та же задача может привести к разным результатам в зависимости от изменений в визуальном отображении или времени выполнения.
• Трудности с некоторыми элементами управления интерфейсом: инструмент «использование компьютера» может испытывать трудности при взаимодействии с нестандартными или динамическими элементами интерфейса, такими как раскрывающиеся списки, средства выбора даты или пользовательские виджеты.
• Зацикливание и зависания: в некоторых случаях агент может зациклиться или зависнуть, если экран не соответствует ожиданиям или изменяется непредсказуемо.
• Проблемы с комплексными задачами: хотя инструмент эффективен для простых действий, он может испытывать трудности с графическими интерфейсами высокой детализации или задачами, требующими сложной работы с текстом.
• Не предназначено для конфиденциальных или высокорисковых сценариев использования: инструмент не предназначен для:
  • Рекомендаций или оценки в чувствительных областях, таких как наем персонала, здравоохранение или финансы
  • Совершения финансовых операций
  • Вредоносных действий, таких как рассылка спама или распространение дезинформации
  • Обмена данными вне вашей организации без надлежащего разрешения

Как минимизировать ограничения

Для повышения надежности следует предоставлять четкие и подробные инструкции при настройке задач, чтобы снизить вероятность ошибок и повысить вероятность успешного выполнения задач.

Что такое функция человеческого контроля?

Важно

Агенты использования компьютера могут столкнуться с вредоносными или опасными инструкциями, часто называемыми атаками через внедрение запросов, скрытые команды на снимках экрана, веб-страницах или в других входных данных могут попытаться повлиять на действия агента непредвиденным образом. Чтобы снизить эти риски, осуществляйте использование компьютера в доверенных, изолированных средах и применяйте строгую валидацию перед выполнением любых инструкций.

При выполнении задач с использованием компьютера возможны случаи неоднозначности или недостатка информации. Например, когда обязательное значение отсутствует или возможны несколько вариантов интерпретации. В таких случаях функция человеческого контроля позволяет агенту, использующему инструмент «использование компьютера», приостановить выполнение и отправить запрос на разъяснение уполномоченному и настроенному рецензенту. Рецензенты могут отвечать по электронной почте или внутри Copilot Studio, используя действий выполнения агента. Как только агент, использующий компьютер, получает ответ, он продолжает выполнение с того шага, на котором он был приостановлен, согласно карте действий.

Надежность и ограничения

Результаты оценки продукта показывают, что функция контроля человеком обычно работает в соответствии с ожиданиями, но она может давать сбои или вести себя непредвиденным для пользователей образом. Поскольку запросы на уточнение инициируются на основе вероятностного поведения модели, они могут срабатывать не в каждой ситуации, когда человек хотел бы приостановить выполнение. Они также могут срабатывать, когда пауза не нужна. Не стоит полагаться на запросы на уточнение как на надежный механизм обеспечения безопасности или гарантию того, что система всегда будет запрашивать участие человека перед тем, как продолжить выполнение задачи.

Не является механизмом принудительного исполнения пользовательских правил

Запросы на участие человека не гарантируют соблюдение ваших установленных правил, политик или ограничений. Вместо того чтобы полагаться на запросы на уточнение для получения информации или предотвращения нежелательных действий, следует применять средства контроля, соответствующих каждому возможному сценарию (например: четкие инструкции, ограниченные среды, учетные записи с минимальными привилегиями, списки разрешенных объектов и другие операционные меры защиты).

Какие рабочие факторы и настройки позволяют эффективно и ответственно работать с инструментом «использование компьютера»?

Инструмент «использование компьютера» работает лучше всего, когда предоставляются четкие и подробные инструкции пользователя. Пользователи должны давать конкретные инструкции по взаимодействию с сайтом или приложением, чтобы повысить надежность и точность выполнения задач. Для повышения видимости и контроля активируйте функцию человеческого надзора, назначив одного или нескольких уполномоченных рецензентов на странице конфигурации инструмента. Когда модель обнаруживает потенциально вредоносные инструкции, уполномоченные рецензенты получают уведомления для проверки и принятия решения о продолжении или остановке выполнения.

Как отправить отзыв об инструменте «использование компьютера»?

Хотите оставить отзыв о инструменте «использование компьютера»? Электронная почта computeruse-feedback@microsoft.com.