Sdílet prostřednictvím

Vývoj zodpovědných aplikací a funkcí umělé inteligence ve Windows

Tento dokument obsahuje přehled doporučených osvědčených postupů pro vývoj, které se používají při vytváření aplikací a funkcí ve Windows s generováním umělé inteligence.

Modely generativní AI Windows AI Foundry na zařízeních mohou pomoci prosadit funkce zabezpečení lokálního obsahu, jako jsou zařízení pro klasifikaci škodlivého obsahu a výchozí seznam blokovaných položek. Microsoft upřednostňuje podporu vývojářů při vytváření bezpečných a důvěryhodných prostředí umělé inteligence s místními modely ve Windows.

Pokyny pro zodpovědný vývoj generovaných aplikací a funkcí umělé inteligence ve Windows

Každý tým v Microsoftu dodržuje základní principy a postupy zodpovědného sestavování a dodávání umělé inteligence, včetně Windows. Další informace o přístupu Microsoftu k zodpovědnému vývoji si můžete přečíst ve Zprávě Microsoftu o transparentnosti zodpovědné umělé inteligence. Windows se řídí základními pilíři vývoje RAI – řízením, mapováním, měřením a správou –, což je v souladu s rámcem řízení rizik AI Národního institutu pro standardy a technologie (NIST).

Řízení – zásady, postupy a procesy

Standardy jsou základem procesů správného řízení a dodržování předpisů. Společnost Microsoft vyvinula vlastní standard zodpovědné umělé inteligence, včetně šesti principů , které můžete použít jako výchozí bod k vývoji vašich pokynů pro zodpovědnou AI. Doporučujeme vytvořit principy AI do celého životního cyklu vývoje a také do procesů a pracovních postupů pro dodržování zákonů a předpisů v rámci ochrany osobních údajů, zabezpečení a zodpovědné umělé inteligence. To zahrnuje počáteční posouzení jednotlivých funkcí AI s využitím nástrojů, jako je AI Fairness Checklist a Guidelines for Human-AI Interaction - Microsoft Research, až po monitorování a kontrolu srovnávacích testů, testování a procesů AI s použitím nástrojů, jako je přehled zodpovědného AI, až po veřejnou dokumentaci schopností a omezení funkcí AI a zveřejnění pro uživatele – oznámení, souhlas, shromažďování a zpracování údajů atd. – v souladu s platnými zákony o ochraně osobních údajů, právními požadavky a zásadami.

Mapa – identifikace rizika

Mezi doporučené postupy pro identifikaci rizik patří:

Kompletní testování

Kompletní testování vyhodnocuje celý systém AI od začátku do konce, aby se zajistilo, že funguje podle očekávání a dodržuje stanovené standardy. Tento komplexní přístup může zahrnovat:

Červené seskupování

Termín red teaming historicky označuje systematické útoky k testování zranitelností zabezpečení. V poslední době se pojem rozšířil nad rámec tradiční kybernetické bezpečnosti a vyvinul se ve společném používání, aby popsal mnoho druhů sondování, testování a útoku na systémy AI.

S velkými jazykovými modely (LLM) i malými jazykovými modely (SLM) může neškodné i nepřátelské použití vést k potenciálně škodlivým výstupům, které mohou mít různé formy, včetně nenávistných projevů, vyvolávání nebo oslavování násilí, nebo sexuálního obsahu. Důkladné červené seskupování umožňuje zátěžově otestovat systém a upřesnit strategii obsahu, aby se snížila možnost, že váš systém způsobí škodu.

Všechny systémy AI by měly projít červeným týmovým testováním v závislosti na funkci a účelu pro systémy s vysokým rizikem, které využívají generující AI a systémy s nižším rizikem, které používají negenerující AI:

  • Formální červené seskupování: Nezávislé červené seskupování by mělo být dokončeno pro všechny vysoce rizikové systémy, které využívají generování umělé inteligence pomocí rozsáhlých jazykových modelů (LLM). Formální red teaming zahrnuje nábor odborníků mimo vaši organizaci, aby se mohli účastnit těchto aktivit.

  • Interní testování : Minimálně naplánujte interní testování pro všechny systémy s nižším rizikem, které negenerují obsah AI. To můžou dělat lidé ve vaší organizaci.

Další informace o červeném seskupování a o tom, jak vyhodnotit potřeby červeného seskupování systému: Microsoft AI Red Team

Vyhodnocení modelu

Jako součást kompletního testování je důležité vyhodnotit samotný model.

  • Karta modelu: Pro veřejně dostupné modely, jako jsou modely na HuggingFace, můžete zkontrolovat kartu modelu každého modelu jako užitečný odkaz, abyste pochopili, jestli je model pro váš případ použití ten správný. Přečtěte si další informace o modelových kartách.

  • Ruční testování: Lidé provádějící podrobné testy bez skriptů jsou důležitou součástí vyhodnocení modelu, která podporuje...

    • Měření průběhu u malé sady prioritních problémů. Při omezování konkrétních škod je často nejproduktivnější provádět ruční kontrolu průběhu pomocí malé datové sady, dokud již není poškození pozorováno, než přejdete na automatizované měření.

    • Definování a generování sestav metrik, dokud nebude automatizované měření dostatečně spolehlivé, aby bylo možné používat samostatně.

    • Pravidelné namátkové kontroly pro měření kvality automatického měření.

  • Automatizované testování: Automatické spouštění testování je také důležitou součástí vyhodnocení modelu, která podporuje...

    • Měření ve velkém měřítku se zvýšeným pokrytím za účelem zajištění komplexnějších výsledků.

    • Průběžné měření pro sledování jakékoliv regrese v době, kdy se systém, využití a zmírnění vyvíjí.

  • Výběr modelu: Vyberte model, který je vhodný pro váš účel, a seznamte se s jeho schopnostmi, omezeními a potenciálními bezpečnostními výzvami. Při testování modelu se ujistěte, že vytváří výsledky vhodné pro vaše použití. Pro začátek, destinace pro zdroje modelu Microsoft (a modely na bázi open source) zahrnují:

Měření – posouzení rizik a zmírnění rizik

Mezi doporučené postupy patří:

  • Přiřazení moderátora obsahu: Moderátor obsahu kontroluje textový, obrázkový a video obsah z hlediska materiálů, které jsou potenciálně urážlivé, rizikové nebo jinak nežádoucí. Další informace: Úvod do Content Moderatoru (školení k Microsoft Learn)

    • Používejte bezpečnostní filtry obsahu: Tento soubor klasifikačních modelů s více třídami detekuje čtyři kategorie škodlivého obsahu (násilí, nenávist, sexuální a sebepoškozování) na různých úrovních závažnosti (nízká, střední a vysoká). Další informace: Jak nakonfigurovat filtry obsahu pomocí služby Azure OpenAI.

    • Použít meta-prompt: Meta-prompt je systémová zpráva obsažená na začátku výzvy a slouží k vytvoření modelu s kontextem, pokyny nebo dalšími informacemi relevantními pro váš případ použití. Tyto pokyny slouží k řízení chování modelu. Další informace: Vytváření efektivních bezpečnostních mantinelí pomocí metapromptu nebo přípravy systémových zpráv

    • Využití seznamů blokovaných položek: Tím se v příkazovém řádku zablokují používání určitých termínů nebo vzorů. Další informace: Použití seznamu blokovaných položek v Azure OpenAI

    • Seznamte se s proveniencem modelu: Provenance je historie vlastnictví modelu nebo kdo-co-kdy-kdy, a je velmi důležité pochopit. Kdo shromáždil data v modelu? Komu se data týkají? Jaký druh dat se používá? Kde se data shromáždila? Kdy se data shromáždila? Znalost toho, odkud data modelu pocházejí, vám může pomoct vyhodnotit jejich kvalitu, spolehlivost a vyhnout se jakémukoli neetickému, nespravedlivému, zkreslenému nebo nepřesnýmu použití dat.

    • Použijte standardní pipeline: Používejte jednu pipeline pro moderování obsahu místo skládání jednotlivých částí dohromady. Další informace: Co jsou kanály Služby Azure Machine Learning?

  • Použijtezmírnění uživatelského rozhraní: Poskytují uživatelům důležitý přehled o možnostech a omezeních funkce založené na umělé inteligenci. Pokud chcete uživatelům pomoct a zajistit transparentnost funkce, můžete:

    • Povzbuďte uživatele, aby před přijetím upravovali výstupy.

    • Zvýraznění potenciálních nepřesností ve výstupech umělé inteligence

    • Zveřejnění role umělé inteligence v interakci

    • Citovat odkazy a zdroje

    • Pokud je to vhodné, omezte délku vstupu a výstupu.

    • Zadejte strukturu vstupu nebo výstupu – výzvy musí být ve standardním formátu.

    • Připravte předem určené odpovědi na problematické výzvy.

  • Implementace smyček zpětné vazby zákazníků: Povzbuďte uživatele, aby se aktivně zapojili do smyček zpětné vazby:

    • Požádejte o zpětnou vazbu přímo ve vaší aplikaci nebo produktu pomocí jednoduchého mechanismu zpětné vazby, který je k dispozici v kontextu v rámci uživatelského prostředí.

    • Využijte techniky sociálního naslouchání na kanálech, které vaši zákazníci používají pro rané konverzace o problémech s funkcemi, obavách a možných škodách.

Správa – zmírnění rizik umělé inteligence

Mezi doporučení pro zmírnění rizik umělé inteligence patří:

  • Monitorování zneužití: Tato metodologie detekuje a snižuje výskyty opakovaného obsahu nebo chování, které naznačují, že služba byla použita způsobem, který může narušit pravidla chování nebo jiné platné podmínky produktu. Další informace: Monitorování zneužití

  • Postupné doručování: Fázové zavádění řešení AI k řešení nahlášených problémů a obav.

  • Plán reakce na incidenty: Pro každé vysoce prioritní riziko vyhodnoťte, co se stane a jak dlouho bude trvat reakce na incident a jak bude proces reakce vypadat.

  • Možnost vypnout funkci nebo systém: Poskytněte funkci, která tuto funkci vypne, pokud dojde k incidentu nebo došlo k jeho pozastavení, aby nedošlo k dalším škodám.

  • Řízení nebo blokování uživatelských přístupů: Vytvořte způsob, jak blokovat uživatele, kteří zneužijí systém.

  • Zpětná vazba uživatele: Využijte mechanismy k detekci problémů na straně uživatele.

    • Požádejte o zpětnou vazbu přímo ve vašem produktu pomocí jednoduchého mechanismu zpětné vazby, který je k dispozici v kontextu typického pracovního postupu.

    • Využijte techniky sociálního naslouchání na kanálech, které vaši zákazníci používají pro rané konverzace o problémech s funkcemi, obavách a možných škodách.

  • Zodpovědné nasazení telemetrických dat: Identifikujte, shromážděte a monitorujte signály, které indikují spokojenost uživatelů nebo jejich schopnost používat systém podle očekávání, abyste mohli dodržovat příslušné zákony, zásady a závazky týkající se ochrany osobních údajů. Pomocí telemetrických dat identifikujte mezery a vylepšete systém.

Nástroje a prostředky