Људски преглед за аутоматизацију са одзивом
Овај чланак наглашава критичну улогу људског прегледа у примени функције Креирај текст са ГПТ-ом Power Automate. Ова функција користи модел генерисања текста из , који покреће Азуре AI Builder Сервице. OpenAI Иако су ови модели веома ефикасни, они понекад могу генерисати обмањујуће или измишљене информације и подложни су брзим нападима убризгавања.
Важно
- AI Builder упити се покрећу на ГПТ-КСНУМКС Турбо и #пии_фцхббифјз (< ДИЦТ__верзија за преглед > превиеw ) моделима које покреће Азуре OpenAI Сервице.
- Ова могућност је ограничена на неке регионе.
- Ова могућност може бити подложна ограничењима коришћења или пригушивању капацитета.
Брзи напади убризгавања
Напад брзог убризгавања настаје када трећа страна искористи инхерентно поверење модела у све улазне изворе. Нападач убризгава упит у садржај који легитимни корисник тражи АИ решење за интеракцију, што доводи до промене у излазу АИ решења, и потенцијално, његове акције.
На пример, размотрите сценарио у којем програмер грађана користи акцију Креирај текст са ГПТ-ом за формулисање одговора на жалбе купаца прикупљене са различитих платформи као што су е-пошта, друштвени медији или форуми. Нападач би могао да убаци упит у садржај из једног од ових извора. Овај сценарио би могао да превари модел у генерисању одговор који се разликује од предвиђеног. одговор може бити неприкладан, нетачан или штетан. Нетачне информације које се шаљу купцима могу негативно утицати на репутацију компаније и односи купаца.
Израда у АИ моделима
Израда, позната и као халуцинација, је још један изазов са којим се суочавају АИ модели, укључујући модел генерисања текста. Израда се дешава када АИ модел генерише информације које се не заснивају на обезбеђеним улазима или већ постојећим подацима, у суштини измишљајући или халуцинирајући информације.
На пример, ако се од АИ модела тражи да генерише сажетак историјског догађаја на основу датог текста, он може укључивати детаље или догађаје који нису поменути у изворном тексту. На пример, ток ствара синопсис састанка на основу транскрипта снимка. Улазни подаци укључују детаље о присутнима, чланцима о којима се расправља и донесеним одлукама. Међутим, модел може генерисати сажетак који укључује акциону ставку или одлуку о којој се никада није расправљало на састанку. Ова ситуација је пример измишљотине, где модел има халуциниране информације које не постоје у улазним подацима.
Да би се ублажио ризик од израде, кључно је имплементирати одговорне АИ праксе. То укључује ригорозно тестирање промпта и протока, пружајући моделу што више информација о уземљењу и коначно имплементирајући робустан систем за људски надзор.
Адресирајте ризике кроз одговорне АИ праксе
Залажемо се за одговорне АИ праксе као средство за смањење ризика. Упркос томе што постоје стратегије за модерирање садржаја који производи модел, управљање склоношћу модела да генерише измишљене одговоре или подлегне брзим нападима убризгавања остаје сложен изазов. Признајемо ове ризике и потврђујемо нашу посвећеност људском надзору и контроли.
У препознавању неопходности за беспрекорну аутоматизацију, проактивно унапређујемо наше безбедносне системе и тражимо дубље разумевање ових изазова. Наш циљ је да додатно усавршимо модел генерисања текста одговарајућим безбедносним мерама, у складу са нашим принципима одговорне АИ по дизајну , враћајући контролу програмерима где год је то могуће.