Преглед от човек за автоматизация с подкана
Тази статия подчертава критичната роля на човешкия преглед при внедряването на функцията за създаване на текст с GPT Power Automate. Тази функция използва модела за генериране на текст от AI Builder, захранван от услугата Azure OpenAI . Въпреки че тези модели са много ефективни, те понякога могат да генерират подвеждаща или изфабрикувана информация и са податливи на бързи инжекционни атаки.
Важно
- AI Builder подканите се изпълняват на модели GPT-3.5 Turbo и GPT-4 (преглед), захранвани от Azure OpenAI Service.
- Тази възможност е ограничена до някои региони.
- Тази възможност може да подлежи на ограничения на използването или ограничаване на капацитета.
Бързи инжекционни атаки
Бърза инжекционна атака възниква, когато трета страна се възползва от присъщото доверие на модела във всички входни източници. Нападателят инжектира подкана в съдържание, с което легитимен потребител иска от AI решението да взаимодейства, което води до промяна в изхода на AI решението и потенциално в неговите действия.
Например, помислете за сценарий, при който граждански разработчик използва действието Create text with GPT , за да формулира отговори на оплаквания на клиенти, събрани от различни платформи като имейли, социални медии или форуми. Нападателят може да вмъкне подкана в съдържанието от един от тези източници. Този сценарий може да заблуди модела да генерира отговор, който се различава от предвидения. Отговорът може да бъде неподходящ, неправилен или вреден. Неправилната информация, изпращана до клиентите, може да повлияе негативно на репутацията на компанията и взаимоотношенията с клиентите.
Изработка в AI модели
Фабрикацията, известна още като халюцинация, е друго предизвикателство, пред което са изправени моделите с изкуствен интелект, включително модела за генериране на текст. Производството се случва, когато AI моделът генерира информация, която не се основава на предоставени входни данни или вече съществуващи данни, като по същество измисля или халюцинира информация.
Например, ако AI моделът е помолен да генерира обобщение на историческо събитие въз основа на даден текст, той може да включва подробности или събития, които не са споменати в изходния текст. Например потокът създава резюме на среща въз основа на стенограмата на записа. Входните данни включват подробности за присъстващите, обсъжданите статии и взетите решения. Моделът обаче може да генерира обобщение, което включва точка за действие или решение, което никога не е било обсъждано на събранието. Тази ситуация е случай на изфабрикуване, при която моделът има халюцинирана информация, която не съществува във входните данни.
За да се намали рискът от производство, е от решаващо значение да се прилагат отговорни практики за изкуствен интелект. Това включва стриктно тестване на подканата и потока, предоставяне на модела с възможно най-много информация за заземяване и накрая внедряване на стабилна система за човешки надзор.
Справяне с рисковете чрез отговорни практики за ИИ
Ние се застъпваме за отговорни практики на AI като средство за намаляване на рисковете. Въпреки че има стратегии за модериране на съдържанието, произведено от модела, управлението на склонността на модела да генерира изфабрикувани отговори или да се поддава на бързи инжекционни атаки остава сложно предизвикателство. Ние признаваме тези рискове и потвърждаваме ангажимента си към човешкия надзор и контрол.
Като признание за необходимостта от безпроблемна автоматизация, ние проактивно подобряваме нашите системи за безопасност и търсим по-задълбочено разбиране на тези предизвикателства. Нашата цел е да усъвършенстваме допълнително модела за генериране на текст с подходящи мерки за безопасност, в съответствие с нашите принципи за отговорен ИИ още при проектирането, като върнем контрола на разработчиците, когато е възможно.