Аналіз даних спеціалістами для автоматизації за допомогою запиту
У цій статті наголошується на важливій ролі людської перевірки у розгортанні функції «Створити текст за допомогою GPT » Power Automate. Ця функція використовує модель генерації тексту з AI Builder Azure OpenAI Service. Незважаючи на те, що ці моделі є високоефективними, іноді вони можуть генерувати оманливу або сфабриковану інформацію та сприйнятливі до атак швидкого впорскування.
Важливо
- AI Builder підказки працюють на моделі GPT-3.5 Turbo на базі служби Azure OpenAI .
- Ця можливість обмежена деякими регіонами.
- Ця можливість може підлягати обмеженням використання або обмеженню потужності.
Оперативні ін’єкційні атаки
Атака оперативної ін’єкції відбувається, коли третя сторона користується властивою моделі довірою до всіх джерел вхідного сигналу. Зловмисник вводить запит у вміст, з яким законний користувач просить рішення штучного інтелекту взаємодіяти, що призводить до зміни результатів рішення штучного інтелекту та, можливо, його дій.
Наприклад, розглянемо сценарій, коли громадський розробник використовує дію «Створити текст за допомогою GPT», щоб сформулювати відповіді на скарги клієнтів, зібрані з різних платформ, таких як електронні листи, соціальні мережі або форуми. Зловмисник може вставити підказку в контент з одного з цих джерел. Цей сценарій може обманом змусити модель згенерувати відповідь, яка відрізняється від запланованої. Реакція може бути недоречною, неправильною або шкідливою. Неправильна інформація, що надсилається клієнтам, може негативно вплинути на репутацію компанії та відносини з клієнтами.
Виготовлення в моделях штучного інтелекту
Фабрикація, також відома як галюцинація, є ще однією проблемою, з якою стикаються моделі штучного інтелекту, включаючи модель генерації тексту. Фабрикація відбувається, коли модель штучного інтелекту генерує інформацію, яка не ґрунтується на наданих вхідних даних або вже існуючих даних, по суті , вигадуючи або галюцинуючи інформацію.
Наприклад, якщо модель штучного інтелекту попросити згенерувати короткий опис історичної події на основі заданого тексту, вона може включати деталі або події, які не згадувалися у вихідному тексті. Наприклад, ланцюжок створює синопсис зустрічі на основі стенограми запису. Вхідні дані включають детальну інформацію про учасників, обговорювані статті та прийняті рішення. Однак модель може генерувати резюме, яке включає пункт дії або рішення, які ніколи не обговорювалися на нараді. Ця ситуація є прикладом фабрикації, коли модель має галюциновану інформацію, якої немає у вхідних даних.
Щоб зменшити ризик фабрикації, дуже важливо впроваджувати відповідальні практики штучного інтелекту. Це включає в себе ретельне тестування підказки та потоку, надання моделі якомога більшої кількості інформації про заземлення та, нарешті, впровадження надійної системи для нагляду з боку людини.
Усувайте ризики за допомогою відповідальних практик штучного інтелекту
Ми виступаємо за відповідальну практику штучного інтелекту як засіб зниження ризиків. Незважаючи на наявність стратегій для модерації контенту, створеного моделлю, управління схильністю моделі генерувати сфабриковані відповіді або піддаватися швидким атакам ін’єкцій залишається складним завданням. Ми визнаємо ці ризики та підтверджуємо нашу відданість людському нагляду та контролю.
Визнаючи необхідність безшовної автоматизації, ми активно вдосконалюємо наші системи безпеки та прагнемо глибше зрозуміти ці проблеми. Наша мета полягає в подальшому вдосконаленні моделі генерації тексту з відповідними заходами безпеки, відповідно до наших принципів відповідального штучного інтелекту за задумом, повертаючи контроль розробникам, де це можливо.