Sdílet prostřednictvím

Lidská kontrola pro automatizaci pomocí dotazů

  • Článek

Tento článek zdůrazňuje zásadní roli kontroly člověkem při nasazování funkce vytvořit text pomocí GPT v Power Automate. Tato funkce využívá model generování textu od AI Builder, který využívá Azure OpenAI Service. Přestože jsou tyto modely vysoce účinné, mohou někdy generovat zavádějící nebo smyšlené informace a jsou náchylné k útokům typu prompt injection.

Důležité

Útoky typu prompt injection

K útoku typu prompt injection dochází, když třetí strana využije inherentní důvěru modelu ve všechny vstupní zdroje. Útočník vloží výzvu do obsahu, kterým legitimní uživatel žádá o interakci s řešením AI, což vede ke změně výstupu řešení AI a potenciálně i jeho akcí.

Zvažte například scénář, kdy civilní vývojář používá akci Vytvořit text pomocí GPT k formulování odpovědí na stížnosti zákazníků shromážděné z různých platforem, jako jsou e-maily, sociální média nebo fóra. Útočník by mohl do obsahu vložit výzvu z jednoho z těchto zdrojů. Tento scénář by mohl model oklamat, aby vygeneroval odezvu, která se liší od zamýšlené. Odpověď může být nevhodná, nesprávná nebo škodlivá. Nesprávné informace zasílané zákazníkům mohou negativně ovlivnit pověst společnosti a vztahy se zákazníky.

Fabrikace v modelech AI

Fabrikace, známá také jako halucinace, je dalším problémem, kterému čelí modely umělé inteligence, včetně modelu generování textu. K fabrikaci dochází, když model AI generuje informace, které nejsou založeny na poskytnutých vstupech nebo již existujících datech, v podstatě vymýšlí nebo halucinuje informace.

Pokud je například model AI požádán o generování souhrnu historické události na základě daného textu, může obsahovat podrobnosti nebo události, které nebyly zmíněny ve zdrojovém textu. Tok například vytvoří synopsi schůzky na základě přepisu nahrávky. Vstupní data zahrnují podrobnosti o účastnících, diskutovaných článcích a přijatých rozhodnutích. Model však může generovat shrnutí, které obsahuje akční položku nebo rozhodnutí, které nebylo na schůzce nikdy probráno. Tato situace je příkladem fabrikace, kdy model halucinoval část informace, která ve vstupních datech neexistuje.

Aby se zmírnilo riziko fabrikace, je zásadní zavést zodpovědné postupy umělé inteligence. To zahrnuje přísné testování výzvy a toku, poskytnutí modelu co nejvíce základních informací a konečně implementaci robustního systému pro lidský dohled.

Řešení rizik prostřednictvím odpovědných postupů umělé inteligence

Zastáváme odpovědné postupy AI jako prostředku ke zmírnění rizik. Navzdory tomu, že existují strategie pro moderování obsahu vytvářeného modelem, řízení sklonu modelu generovat fabrikované reakce nebo podlehnout útokům typu prompt injection zůstává složitou výzvou. Uvědomujeme si tato rizika a znovu potvrzujeme náš závazek k lidskému dohledu a kontrole.

Vzhledem k nutnosti bezproblémové automatizace proaktivně vylepšujeme naše bezpečnostní systémy a snažíme se těmto výzvám hlouběji porozumět. Naším cílem je dále vylepšit model generování textu pomocí vhodných bezpečnostních opatření v souladu s našimi zásadami zodpovědné umělé inteligence již od návrhu a vrátit kontrolu vývojářům, kdykoli je to možné.

Viz také

Odpovědná AI – časté otázky