Človeški pregled za avtomatizacijo s pozivom

Ta članek poudarja ključno vlogo človeškega pregleda pri uvajanju funkcije Ustvari besedilo z GPT v Power Automate. Ta funkcija uporablja model generiranja besedila iz AI Builder, ki ga poganja Azure OpenAI Service. Čeprav so ti modeli zelo učinkoviti, lahko včasih ustvarijo zavajajoče ali izmišljene informacije in so dovzetni za napade s takojšnjim vbrizgavanjem.

Pomembno

• AI Builder pozivi se izvajajo na modelu GPT-3.5 Turbo, ki ga poganja Azure OpenAI Service.
• Ta zmožnost je omejena na nekatere regije.
• Za to zmožnost lahko veljajo omejitve uporabe ali dušenje zmogljivosti.

Napadi takojšnjega injiciranja

Do napada s takojšnjim vbrizgavanjem pride, ko tretja oseba izkoristi inherentno zaupanje modela v vse vhodne vire. Napadalec vstavi poziv v vsebino, s katero zakoniti uporabnik zahteva interakcijo rešitve AI, kar povzroči spremembo izhoda rešitve AI in potencialno njenih dejanj.

Na primer, razmislite o scenariju, kjer državljanski razvijalec uporablja dejanje Ustvari besedilo z GPT za oblikovanje odgovorov na pritožbe strank, zbranih z različnih platform, kot so e-pošta, družbeni mediji ali forumi. Napadalec bi lahko v vsebino vstavil poziv iz enega od teh virov. Ta scenarij bi lahko zavedel model, da bi ustvaril odgovor, ki se razlikuje od predvidenega. Odgovor je lahko neprimeren, nepravilen ali škodljiv. Napačne informacije, poslane strankam, lahko negativno vplivajo na ugled podjetja in stranke Odnosi.

Izdelava v modelih AI

Izdelava, znana tudi kot halucinacija, je še en izziv, s katerim se soočajo modeli AI, vključno z modelom generiranja besedila. Do izdelave pride, ko model AI ustvari informacije, ki ne temeljijo na zagotovljenih vnosih ali že obstoječih podatkih, v bistvu izum ali halucinacije informacije.

Na primer, če mora model AI ustvariti povzetek zgodovinskega dogodka na podlagi danega besedila, lahko vključuje podrobnosti ali dogodke, ki niso bili omenjeni v izvornem besedilu. Tok na primer ustvari sinopsis sestanka na podlagi prepisa posnetka. Vhodni podatki vključujejo podrobnosti o udeležencih, obravnavanih člankih in sprejetih odločitvah. Vendar pa lahko model ustvari povzetek, ki vključuje element dejanja ali odločitev, o kateri se nikoli ni razpravljalo na sestanku. Ta situacija je primer izmišljotine, kjer je model haluciniral informacijo, ki ne obstaja v vhodnih podatkih.

Da bi zmanjšali tveganje izdelave, je ključnega pomena izvajanje odgovornih praks AI. To vključuje strogo testiranje poziva in toka, zagotavljanje modela s čim več temeljnimi informacijami in končno implementacijo robustnega sistema za človeški nadzor.

Obravnavajte tveganja z odgovornimi praksami umetne inteligence

Zagovarjamo odgovorne prakse umetne inteligence kot sredstvo za zmanjšanje tveganj. Kljub vzpostavljenim strategijam za moderiranje vsebine, ki jo ustvari model, upravljanje nagnjenosti modela k ustvarjanju izmišljenih odzivov ali podleganju hitrim napadom z vbrizgavanjem ostaja zapleten izziv. Zavedamo se teh tveganj in ponovno potrjujemo svojo zavezanost človeškemu nadzoru in kontroli.

Ker priznavamo potrebo po brezhibni avtomatizaciji, proaktivno izboljšujemo naše varnostne sisteme in si prizadevamo za globlje razumevanje teh izzivov. Naš cilj je dodatno izboljšati model generiranja besedila z ustreznimi varnostnimi ukrepi v skladu z našimi načeli odgovorne umetne inteligence po zasnovi, pri čemer se nadzor vrne razvijalcem, kjer koli je to izvedljivo.

Sorodne informacije

Odgovorni AI - pogosta vprašanja