Ljudska recenzija za automatizaciju s odzivnikom
Ovaj članak naglašava ključnu ulogu ljudskog pregleda u implementaciji značajke Stvori tekst s GPT-om u Power Automate. Ova značajka koristi model za generiranje teksta iz, AI Builder koji pokreće Azure OpenAI Service. Iako su ti modeli vrlo učinkoviti, ponekad mogu generirati obmanjujuće ili izmišljene informacije i podložni su brzim napadima ubrizgavanja.
Važno
- AI Builder upiti se izvode na GPT-3.5 Turbo modelu koji pokreće Azure OpenAI Service.
- Ta je sposobnost ograničena na neke regije.
- Ta mogućnost može podlijegati ograničenjima upotrebe ili ograničavanju kapaciteta.
Napadi brzim ubrizgavanjem
Napad brzom injekcijom događa se kada treća strana iskoristi inherentno povjerenje modela u sve ulazne izvore. Napadač ubrizgava upit u sadržaj s kojim legitimni korisnik traži od rješenja umjetne inteligencije za interakciju, što dovodi do promjene u izlazu AI rješenja, a potencijalno i do njegovih radnji.
Na primjer, razmotrite scenarij u kojem razvojni programer građana koristi akciju Stvori tekst s GPT-om za formuliranje odgovora na pritužbe kupaca prikupljene s različitih platformi kao što su e-pošta, društveni mediji ili forumi. Napadač bi mogao umetnuti upit u sadržaj iz jednog od ovih izvora. Taj bi scenarij mogao zavarati model da generira odgovor koji se razlikuje od predviđenog. Odgovor može biti neprikladan, netočan ili štetan. Netočne informacije koje se šalju kupcima mogu negativno utjecati na ugled tvrtke i Odnosi kupaca.
Izrada u AI modelima
Izrada, poznata i kao halucinacija, još je jedan izazov s kojim se suočavaju modeli umjetne inteligencije, uključujući model generiranja teksta. Do izmišljotine dolazi kada model umjetne inteligencije generira informacije koje se ne temelje na navedenim ulaznim podacima ili već postojećim podacima, u osnovi izmišljajući ili halucinirajući informacije.
Na primjer, ako se od modela umjetne inteligencije zatraži da generira sažetak povijesnog događaja na temelju određenog teksta, on može uključivati pojedinosti ili događaje koji nisu spomenuti u izvornom tekstu. Na primjer, tijek stvara sinopsis sastanka na temelju transkripta snimke. Ulazni podaci uključuju detalje o sudionicima, člancima o kojima se raspravljalo i donesenim odlukama. Međutim, model može generirati sažetak koji uključuje akcijsku stavku ili odluku o kojoj se nikada nije raspravljalo na sastanku. Ova situacija je primjer izmišljotine, gdje model ima halucinirane informacije koje ne postoje u ulaznim podacima.
Kako bi se ublažio rizik od izmišljotina, ključno je provesti odgovorne prakse umjetne inteligencije. To uključuje rigorozno ispitivanje brzine i protoka, pružanje modelu što više informacija o uzemljenju i konačno uvođenje robusnog sustava za ljudski nadzor.
Rješavanje rizika putem odgovornih praksi umjetne inteligencije
Zalažemo se za odgovorne prakse umjetne inteligencije kao sredstvo za smanjenje rizika. Unatoč tome što postoje strategije za moderiranje sadržaja koji proizvodi model, upravljanje sklonošću modela generiranju izmišljenih odgovora ili podleganju brzim napadima ubrizgavanja i dalje je složen izazov. Priznajemo te rizike i ponovno potvrđujemo svoju predanost ljudskom nadzoru i kontroli.
Kao priznanje potrebe za besprijekornom automatizacijom, proaktivno poboljšavamo naše sigurnosne sustave i tražimo dublje razumijevanje tih izazova. Naš je cilj dodatno usavršiti model generiranja teksta odgovarajućim sigurnosnim mjerama, u skladu s našim načelima integrirane odgovorne umjetne inteligencije, vraćajući kontrolu razvojnim programerima gdje god je to izvedivo.