Evaluarea umană pentru automatizare cu o solicitare
Acest articol subliniază rolul critic al revizuirii umane în implementarea funcției Creați text cu GPT în Power Automate. Această caracteristică utilizează modelul de generare de text de la AI Builder, oferit de Azure OpenAI Service. Deși aceste modele sunt foarte eficiente, ele pot genera uneori informații înșelătoare sau fabricate și sunt susceptibile la atacuri de injecție prompte.
Important
- AI Builder solicitările rulează pe modelele GPT-3.5 Turbo și GPT-4 (versiune preliminară) alimentate de Azure OpenAI Service.
- Această capacitate este limitată la unele regiuni.
- Această capacitate poate fi supusă limitelor de utilizare sau limitării capacității.
Atacurile de injectare promptă
Un atac de injecție promptă apare atunci când o terță parte profită de încrederea inerentă a modelului în toate sursele de intrare. Atacatorul injectează un prompt în conținut cu care un utilizator legitim îi cere soluției AI să interacționeze, ceea ce duce la o modificare a rezultatelor soluției AI și, eventual, a acțiunilor acesteia.
De exemplu, luați în considerare un scenariu în care un dezvoltator cetățean utilizează acțiunea Creați text cu GPT pentru a formula răspunsuri la reclamațiile clienților colectate de pe diverse platforme, cum ar fi e-mailuri, rețele sociale sau forumuri. . Un atacator ar putea insera un prompt în conținut dintr-una dintre aceste surse. Acest scenariu ar putea înșela modelul pentru a genera un răspuns care diferă de cel prevăzut. Răspuns poate fi inadecvat, incorect sau dăunător. Informațiile incorecte trimise clienților ar putea afecta negativ reputația companiei și relațiile cu clienții.
Fabricare în modele AI
Fabricarea, cunoscută și sub numele de halucinație, este o altă provocare cu care se confruntă modelele AI, inclusiv modelul de generare a textului. Fabricarea are loc atunci când modelul AI generează informații care nu se bazează pe intrări furnizate sau pe date preexistente, în esență inventând sau halucinând informații.
De exemplu, dacă modelului AI i se cere să genereze un rezumat al unui eveniment istoric pe baza unui text dat, acesta ar putea include detalii sau evenimente care nu au fost menționate în textul sursă. De exemplu, un flux creează un rezumat al unei întâlniri bazat pe transcrierea înregistrării. Datele de intrare includ detalii despre participanți, articolele discutate și deciziile luate. Cu toate acestea, modelul poate genera un rezumat care include un element de acțiune sau o decizie care nu a fost niciodată discutată în ședință. Această situație este o instanță de fabricație, în care modelul are informații halucinate care nu există în datele de intrare.
Pentru a reduce riscul de fabricație, este esențial să implementați practici responsabile de IA. Aceasta include testarea riguroasă a promptului și a fluxului, oferind modelului cât mai multe informații de bază și, în cele din urmă, implementând un sistem robust de supraveghere umană.
Abordați riscurile prin practici responsabile de IA
Pledăm pentru practici responsabile de IA ca mijloc de reducere a riscurilor. În ciuda faptului că există strategii de moderare a conținutului produs de model, gestionarea înclinației modelului de a genera răspunsuri fabricate sau de a ceda atacurilor de injecție promptă rămâne o provocare complexă. Recunoaștem aceste riscuri și reafirmăm angajamentul nostru față de supravegherea și controlul uman.
Recunoscând necesitatea unei automatizări fără întreruperi, ne îmbunătățim în mod proactiv sistemele de siguranță și căutăm o înțelegere mai profundă a acestor provocări. Obiectivul nostru este să perfecționăm și mai mult modelul de generare de text cu măsuri de siguranță adecvate, în conformitate cu principiile noastre de AI responsabilă prin proiectare, redând controlul dezvoltatorilor ori de câte ori este fezabil.