Ljudska recenzija za automatizaciju s odzivnikom
Ovaj članak naglašava kritičnu ulogu ljudskog pregleda u implementaciji značajke Stvori tekst s GPT-om Power Automate. Ova značajka koristi model generiranja teksta iz, koji pokreće AI BuilderAzure OpenAI Service. Iako su ovi modeli vrlo učinkoviti, ponekad mogu generirati obmanjujuće ili izmišljene informacije i podložni su brzim napadima ubrizgavanjem.
Važno
- AI Builder upiti se izvode na modelima GPT 4o Mini i GPT 4o koje pokreće usluga OpenAI Azure.
- Ta je mogućnost ograničena na neke regije.
- Ta mogućnost može podlijegati ograničenjima upotrebe ili ograničavanju kapaciteta.
Napadi brzim ubrizgavanjem
Napad brzim ubrizgavanjem događa se kada treća strana iskoristi inherentno povjerenje modela u sve ulazne izvore. Napadač ubacuje upit u sadržaj s kojim legitimni korisnik traži interakciju od rješenja umjetne inteligencije, što dovodi do promjene u izlazu rješenja umjetne inteligencije, a potencijalno i u njegovim radnjama.
Na primjer, razmotrite scenarij u kojem građanski programer koristi radnju Stvori tekst s GPT-om za formuliranje odgovora na pritužbe kupaca prikupljene s različitih platformi kao što su e-pošta, društveni mediji ili forumi. Napadač bi mogao umetnuti upit u sadržaj iz jednog od tih izvora. Ovaj scenarij mogao bi prevariti model da generira odgovor koji se razlikuje od predviđenog. Odgovor može biti neprikladan, netočan ili štetan. Netočne informacije koje se šalju kupcima mogu negativno utjecati na ugled tvrtke i Odnosi s kupcima.
Izrada u AI modelima
Izrada, također poznata kao halucinacija, još je jedan izazov s kojim se suočavaju AI modeli, uključujući model generiranja teksta. Izrada se događa kada AI model generira informacije koje se ne temelje na danim ulazima ili već postojećim podacima, u biti izmišljajući ili halucinirajući informacije.
Na primjer, ako se od AI modela traži da generira sažetak povijesnog događaja na temelju određenog teksta, on može uključivati detalje ili događaje koji nisu spomenuti u izvornom tekstu. Na primjer, tijek stvara sinopsis sastanka na temelju transkripta snimke. Ulazni podaci uključuju pojedinosti o sudionicima, člancima o kojima se raspravljalo i donesenim odlukama. Međutim, model može generirati sažetak koji uključuje akcijsku stavku ili odluku o kojoj se nikada nije raspravljalo na sastanku. Ova situacija je primjer izmišljotine, gdje model ima halucinirane informacije koje ne postoje u ulaznim podacima.
Kako bi se smanjio rizik od izrade, ključno je implementirati odgovorne prakse umjetne inteligencije. To uključuje rigorozno testiranje upita i protoka, pružanje modelu što je moguće više informacija o uzemljenju i konačno implementaciju robusnog sustava za ljudski nadzor.
Rješavanje rizika odgovornim praksama umjetne inteligencije
Zalažemo se za odgovorne prakse umjetne inteligencije kao sredstvo za smanjenje rizika. Unatoč tome što postoje strategije za moderiranje sadržaja koji proizvodi model, upravljanje sklonošću modela da generira izmišljene odgovore ili podlegne brzim napadima injekcijama ostaje složen izazov. Prepoznajemo ove rizike i ponovno potvrđujemo svoju predanost ljudskom nadzoru i kontroli.
Prepoznajući potrebu za besprijekornom automatizacijom, proaktivno poboljšavamo naše sigurnosne sustave i tražimo dublje razumijevanje ovih izazova. Naš je cilj dodatno poboljšati model generiranja teksta odgovarajućim sigurnosnim mjerama, u skladu s našim načelima odgovorne umjetne inteligencije po dizajnu, vraćajući kontrolu programerima gdje god je to moguće.