Ľudská kontrola na automatizáciu s výzvou
Tento článok zdôrazňuje kľúčovú úlohu kontroly človekom pri nasadzovaní funkcie Vytvoriť text pomocou značky GPT Power Automate. Táto funkcia využíva generovanie textu model od AI Builder, ktorý využíva službu Azure OpenAI . Hoci sú tieto modely vysoko účinné, môžu niekedy generovať zavádzajúce alebo vymyslené informácie a sú náchylné na rýchle injekčné útoky.
Dôležité
- AI Builder výzvy sú spustené na modeloch GPT 4o Mini a GPT 4o s podporou služby Azure OpenAI Service.
- Táto schopnosť je obmedzená na niektoré regióny.
- Táto schopnosť môže podliehať obmedzeniam používania alebo obmedzeniu kapacity.
Okamžité injekčné útoky
Útok rýchlej injekcie nastane, keď tretia strana využije inherentnú dôveru modelu vo všetky vstupné zdroje. Útočník vloží výzvu do obsahu, o ktorý legitímny používateľ požiada riešenie AI, aby s ním interagovalo, čo vedie k zmene výstupu riešenia AI a potenciálne aj jeho akcií.
Zvážte napríklad scenár, v ktorom občiansky vývojár použije akciu Vytvoriť text pomocou značky GPT na formulovanie odpovedí na sťažnosti zákazníkov zhromaždené z rôznych platforiem, ako sú e-maily, sociálne médiá alebo fóra. . Útočník by mohol do obsahu vložiť výzvu z jedného z týchto zdrojov. Tento scenár by mohol oklamať model, aby vygeneroval odpoveď, ktorý sa líši od zamýšľaného. Odpoveď môže byť nevhodné, nesprávne alebo škodlivé. Nesprávne informácie odosielané zákazníkom môžu negatívne ovplyvniť povesť spoločnosti a vzťahy so zákazníkmi.
Výroba v modeloch AI
Výroba, známa aj ako halucinácie, je ďalšou výzvou, ktorej čelia modely AI, vrátane modelu generovania textu. K výrobe dochádza, keď model AI generuje informácie, ktoré nie sú založené na poskytnutých vstupoch alebo už existujúcich údajoch, v podstate vynájdenie alebo halucinácie informácie.
Ak je napríklad model AI požiadaný o vytvorenie súhrnu historickej udalosti na základe daného textu, môže obsahovať podrobnosti alebo udalosti, ktoré neboli spomenuté v zdrojovom texte. Napríklad tok vytvorí synopsu stretnutia na základe prepisu nahrávky. Vstupné údaje zahŕňajú podrobnosti o účastníkoch, diskutovaných článkoch a prijatých rozhodnutiach. Model však môže vygenerovať súhrn, ktorý bude obsahovať akčný bod alebo rozhodnutie, o ktorom sa na stretnutí nikdy nediskutovalo. Táto situácia je príkladom fabrikácie, kde model má halucinované informácie, ktoré neexistujú vo vstupných dátach.
Na zmiernenie rizika výroby je dôležité implementovať zodpovedné postupy AI. To zahŕňa dôsledné testovanie promptu a toku, poskytnutie modelu čo najviac základných informácií a nakoniec implementáciu robustného systému pre ľudský dohľad.
Riešiť riziká prostredníctvom zodpovedných postupov AI
Podporujeme zodpovedné postupy AI ako prostriedok na zníženie rizík. Napriek zavedeným stratégiám na moderovanie obsahu produkovaného modelom, riadenie sklonu modelu generovať vymyslené odpovede alebo podľahnúť rýchlym injekčným útokom zostáva komplexnou výzvou. Uvedomujeme si tieto riziká a opätovne potvrdzujeme náš záväzok voči ľudskému dohľadu a kontrole.
Keďže si uvedomujeme potrebu bezproblémovej automatizácie, proaktívne zlepšujeme naše bezpečnostné systémy a snažíme sa hlbšie pochopiť tieto výzvy. Naším cieľom je ďalej vylepšovať model generovania textu pomocou vhodných bezpečnostných opatrení v súlade s našimi zásadami zodpovednej umelej inteligencie už od návrhu a vrátiť kontrolu vývojárom vždy, keď je to možné.