Поделиться через


Проверка человеком при использовании автоматизации с запросами

В этой статье объясняется критическая роль проверки человеком при выполнении запросов в Power Automate. Запросы используют генеративные модели ИИ, работающие на базе службы Azure OpenAI. Хотя эти модели очень эффективны, иногда они могут генерировать вводящую в заблуждение или сфабрикованную информацию и подвержены атакам с внедрением подсказки.

Внимание!

Атаки с внедрением подсказок

Атака с внедрением подсказок происходит, когда третья сторона извлекает выгоду из присущего модели доверия ко всем источникам входных данных. Злоумышленник вводит подсказку в контент, с которым законный пользователь просит взаимодействовать решение ИИ, что приводит к изменению выходных данных решения ИИ и, возможно, его действий.

Рассмотрим сценарий, в котором разработчик-любитель использует запрос для создания ответов на жалобы клиентов, собранные с различных платформ, таких как электронная почта, социальные сети или форумы. Злоумышленник может вставить запрос в содержимое из одного из этих источников, обманув модель и заставив ее сгенерировать непреднамеренный ответ. Ответ может быть неуместным, неправильным или вредным. Отправка неверной информации клиентам может нанести ущерб репутации компании и отношениям с клиентами.

Фальсификация в моделях искусственного интеллекта

Фабрикация, также известная как галлюцинация, является еще одной проблемой, с которой сталкиваются модели ИИ, в том числе модели генеративного ИИ, используемые запросами. Фальсификация возникает, когда модель ИИ генерирует информацию, которая не основана на предоставленных входных данных или ранее существовавших данных, по сути, изобретая или галлюцинируя информацию.

Например, если попросить модель ИИ создать краткое изложение исторического события на основе заданного текста, она может включать детали или события, которые не были упомянуты в исходном тексте. Например, облачный поток создает краткий обзор собрания на основе расшифровки записи. Входные данные включают подробную информацию об участниках, обсуждаемых пунктах и принятых решениях. Однако модель может создать сводку, включающую элемент действия или решение, которые никогда не обсуждались на собрании. Эта ситуация является примером фальсификации, когда модель галлюцинирует часть информации, которой нет во входных данных.

Чтобы снизить риск фальсификации, крайне важно внедрить ответственные методы искусственного интеллекта. Это включает в себя тщательное тестирование запроса и облачного потока, предоставление модели как можно большего количества основополагающей информации и, наконец, внедрение надежной системы контроля со стороны человека.

Устранение рисков с помощью ответственных методов искусственного интеллекта

Мы выступаем за ответственную практику использования искусственного интеллекта как средства снижения рисков. Несмотря на наличие стратегий по модерации содержимого, создаваемого моделью, управление склонностью модели генерировать сфальсифицированные ответы или поддаваться атакам с внедрением подсказок остается сложной задачей. Мы признаем эти риски и подтверждаем нашу приверженность человеческому надзору и контролю.

Признавая необходимость бесперебойной автоматизации, мы активно совершенствуем наши системы безопасности и стремимся глубже понять эти проблемы. Наша цель состоит в том, чтобы и дальше совершенствовать модели генеративного ИИ, используемые в запросах, с соответствующими мерами безопасности в соответствии с нашими принципами ответственного использованию ИИ, заложенного в дизайн, возвращая контроль разработчикам везде, где это возможно.

Вопросы и ответы о запросах и возможностях генерации текста