Menneskelig gennemgang af en automatisering med en prompt
I denne artikel understreges den vigtige rolle, som en menneskelig gennemgang spiller i forbindelse med implementering af funktionen Opret tekst med GPT i Power Automate. Denne funktion benytter modellen Tekstoprettelse fra AI Builder, der drives af Azure OpenAI Service. Selvom disse modeller er yderst effektive, kan de undertiden generere misvisende eller opdigtede oplysninger, og de er sårbare over for angreb med promptinjektion.
Vigtigt
- AI Builder prompts kører på GPT-3.5 Turbo-model drevet af Azure OpenAI Service.
- Denne funktion er begrænset til nogle områder.
- Denne funktion kan være underlagt grænser for anvendelse eller kapacitet.
Angreb med promptinjektion
Der opstår et angreb med promptinjektion, når en tredjepart drager fordel af modellens indbyggede tillid til alle inputkilder. Hackeren injicerer en prompt i indhold, som en gyldig bruger beder AI-løsningen om at kommunikere med, hvilket medfører, at AI-løsningens output og mulige handlinger ændres.
Overvej f.eks. et scenario, hvor en selvlært udvikler bruger handlingen Opret tekst med GPT til at besvare de kundeklager, der indsamles fra forskellige platforme, f.eks. mails, sociale medier eller forummer. En hacker kan indsætte en prompt i indholdet fra en af disse kilder. Dette scenario kan bedrage modellen til at generere et svar, der afviger fra den tilsigtede. Svaret kan være forkert, forkert eller skadelige. Forkerte oplysninger, der sendes til kunder, kan have en negativ indvirkning på virksomhedens ry og kunderelationer.
Fabrikation i AI-modeller
Fabrikation, også kaldet hallucination, er en anden udfordring for AI-modeller, herunder modellen til oprettelse af tekst. Produktion opstår, når AI-modellen genererer oplysninger, der ikke er baseret på leverede input eller allerede eksisterende data, så oplysningerne i bund og grund er opfundne eller forestillede.
Hvis AI-modellen skal generere en oversigt over en historisk hændelse baseret på en given tekst, kan den indeholde oplysninger eller hændelser, der ikke er nævnt i kildeteksten, eller tilmed fakta, der ikke er historisk korrekte. Et flow opretter f.eks. en synopse for et møde baseret på afskriften af optagelsen. Inputdataene indeholder oplysninger om deltagerne, de artikler, der er blevet diskuteret, og de beslutninger, der blev truffet. Men modellen kan oprette en oversigt, der indeholder et handlingselement eller en beslutning, der aldrig blev diskuteret på mødet. Denne situation er et tilfælde af fabrikation, hvor modellen har forestillet sig en oplysning, der ikke findes i inputdataene.
Hvis du vil afhjælpe risikoen for fabrikation, er det vigtigt at implementere ansvarlig AI-praksis. Det inkluderer omfattende test af prompten og flowet og at give modellen så mange grundoplysninger som muligt og til sidst implementere et robust system til menneskelig overvågning.
Adressere risiko via ansvarlig AI-praksis
Vi er fortaler for ansvarlige AI-fremgangsmåder som en måde at reducere risici på. Selvom der er blevet udarbejdet strategier for at moderere det indhold, der produceres af modellen, er det stadig en kompleks udfordring at administrere modellens evne til at generere opdigtede svar eller blive offer for angreb med promptinjektion. Vi er opmærksomme på disse risici, og at vi forpligter os til at menneskelig overvågning og kontrol.
I anerkendelse af behovet for problemfri automatisering forbedrer vi proaktivt vores sikkerhedssystemer og forsøger at forstå disse udfordringer mere indgående. Vores mål er yderligere at finjustere tekstgenereringsmodellen med passende sikkerhedsforanstaltninger i overensstemmelse med vores principper om ansvarlig bur af AI og at give styringen tilbage til udviklere, hvor det er muligt.