Lidská kontrola pro automatizaci pomocí dotazů

Tento článek vysvětluje kritickou roli lidské kontroly při spuštění zadání v Power Automate. Zadání používají modely generativní AI využívající službu Azure OpenAI Service. Přestože jsou tyto modely vysoce účinné, mohou někdy generovat zavádějící nebo smyšlené informace a jsou náchylné k útokům typu prompt injection.

Důležité

• Výzvy AI Builder jsou spouštěny na modelech GPT využívajících Azure OpenAI Service.
• Tato funkce je omezena na některé regiony.
• Tato funkce může podléhat omezením využití nebo kapacity.

Útoky typu prompt injection

K útoku typu prompt injection dochází, když třetí strana využije inherentní důvěru modelu ve všechny vstupní zdroje. Útočník vloží výzvu do obsahu, kterým legitimní uživatel žádá o interakci s řešením AI, což vede ke změně výstupu řešení AI a potenciálně i jeho akcí.

Představte si situaci, kdy civilní vývojář používá výzvu k vytvoření odpovědí na stížnosti zákazníků shromážděné z různých platforem, jako jsou e-maily, sociální média nebo fóra. Útočník může do obsahu vložit výzvu z jednoho z těchto zdrojů a oklamat model, aby vygeneroval nezamýšlenou odpověď. Odpověď může být nevhodná, nesprávná nebo škodlivá. Zasílání nesprávných informací zákazníkům může poškodit pověst společnosti a vztahy se zákazníky.

Fabrikace v modelech AI

Fabrikace, známá také jako halucinace, je další výzvou, které čelí modely umělé inteligence, včetně modelů generativní AI používaných zadáními. K fabrikaci dochází, když model AI generuje informace, které nejsou založeny na poskytnutých vstupech nebo již existujících datech, v podstatě vymýšlí nebo halucinuje informace.

Pokud je například model AI požádán o generování souhrnu historické události na základě daného textu, může obsahovat podrobnosti nebo události, které nebyly zmíněny ve zdrojovém textu. Cloudový tok například vytvoří synopsi schůzky na základě přepisu záznamu. Vstupní data zahrnují podrobnosti o účastnících, diskutovaných článcích a přijatých rozhodnutích. Model však může generovat shrnutí, které obsahuje akční položku nebo rozhodnutí, které nebylo na schůzce nikdy probráno. Tato situace je příkladem fabrikace, kdy model halucinoval část informace, která ve vstupních datech neexistuje.

Aby se zmírnilo riziko fabrikace, je zásadní zavést zodpovědné postupy umělé inteligence. To zahrnuje přísné testování zadání a cloudového toku, poskytnutí modelu co nejvíce relevantních informací a nakonec implementaci robustního systému pro lidský dohled.

Řešení rizik prostřednictvím odpovědných postupů umělé inteligence

Zastáváme odpovědné postupy AI jako prostředku ke zmírnění rizik. Navzdory tomu, že existují strategie pro moderování obsahu vytvářeného modelem, řízení sklonu modelu generovat fabrikované reakce nebo podlehnout útokům typu prompt injection zůstává složitou výzvou. Uvědomujeme si tato rizika a znovu potvrzujeme náš závazek k lidskému dohledu a kontrole.

Vzhledem k nutnosti bezproblémové automatizace proaktivně vylepšujeme naše bezpečnostní systémy a snažíme se těmto výzvám hlouběji porozumět. Naším cílem je dále zdokonalovat modely generativní AI používané zadáními pomocí vhodných bezpečnostních opatření v souladu s našimi principy odpovědné umělé inteligence již od návrhu, a vrátit kontrolu vývojářům, kdykoli je to možné.

Související informace

Nejčastější dotazy pro výzvy a funkce generování textu