Mänsklig granskning för automatisering med en prompt
Den här artikeln betonar den kritiska rollen som mänsklig granskning spelar för att distribuera funktionen Skapa test med GPT i Power Automate. Den här funktionen använder textgenerering modell från AI Builder, som drivs av Azure OpenAI Service. Även om dessa modeller är mycket effektiva kan de ibland generera förfallande eller påhittad information och leda till angrepp mot angrepp.
Viktigt!
- AI Builder prompter körs på GPT-3.5 Turbo-modell som drivs av Azure OpenAI Service.
- Denna funktion är begränsad till vissa regioner.
- Den här funktionen kan vara beroende av användningsbegränsningar eller kapacitetsbegränsningar.
Promptinjektionsattacker
En snabb attack mot angrepp från tredje part utnyttjar modellens inbyggda förtroende för alla indatakällor används. Användaren förser sig med en fråga om innehåll som användaren inte har möjlighet att interagera med, vilket leder till att AI-lösningens resultat och potentiellt dess åtgärder förs in.
Tänk till exempel på ett scenario där en utvecklare med åtgärden Skapa text med GPT använder sig av åtgärden "Skapa text med GPT" för att ge svar på kunders klagomål som samlas in från olika plattformar, till exempel e-postmeddelanden, sociala media eller forum. En person kan infoga en prompt i innehållet från någon av dessa källor. Detta scenario kan leda till att modellen får ett svar som skiljer sig från det avsedda. Svaret kan vara olämpligt, felaktigt eller skadligt. Felaktig information som skickas till kunder kan påverka företagets rykte och kundrelationer negativt.
Fabrication i AI-modeller
Tillverkning, även känd som hallucination, är en annan utmaning för AI-modeller, inklusive textgenereringsmodellen. Tillverkning uppstår när AI-modellen genererar information som inte är baserad på tillhandahållen indata eller redan existerande data, i huvudsak uppfinner eller hallucinerar information.
Till exempel, om AI-modellen ombeds att generera en sammanfattning av en historisk händelse baserat på en given text, kan den inkludera detaljer eller händelser som inte nämndes i källtexten. Ett flöde skapar till exempel en synk av ett möte utifrån transkriptionen av registreringen. I indata finns information om deltagare, de artiklar som diskuteras och de beslut som tas. Modellen kan emellertid generera en sammanfattning som innehåller ett åtgärdsobjekt eller ett beslut som inte har behandlats under mötet. Detta är en instans av fabrication, där modellen har hallucinerar information som inte finns i indata.
För att minska risken för tillverkning är det avgörande att implementera ansvarsfulla AI-praxis. Här ingår att testa prompten och flödet på bästa sätt, ge modellen så mycket information som möjligt och slutligen implementera ett robust system för tillsyn av människor.
Hantera risker genom ansvarsfull AI-praxis
Vi förespråkar ansvarsfull AI-praxis som ett sätt att minska dessa risker. Trots att det finns strategier på plats för att moderera det innehåll som genereras av modellen, förblir hanteringen av modellens benägenhet att producera fabricerade svar eller falla offer för promptinjektionsattacker en komplex utmaning. Vi bekräftar att detta är en bra grund för vår kontroll och kontroll.
Eftersom det krävs smidig automatisering ökar vi våra säkerhetssystem proaktivt och ger en djupare förståelse av dessa utmaningar. Vårt mål är att ytterligare förfina textgenereringsmodellen med lämpliga säkerhetsåtgärder, i linje med våra principer för ansvarsfull AI som standard, återför kontrollen till utvecklarna där det är möjligt.