Vývoj zodpovědného generování aplikací a funkcí umělé inteligence na Windows

Tento dokument obsahuje přehled doporučených osvědčených postupů pro vývoj, které se používají při vytváření aplikací a funkcí na Windows s generováním umělé inteligence.

Microsoft Foundry na Windows generativní modely AI na zařízení mohou pomoci vynucovat funkce zabezpečení místního obsahu, jako jsou moduly klasifikace na zařízení pro škodlivý obsah a výchozí seznam blokací. Microsoft upřednostňuje podporu vývojářů při vytváření bezpečných a důvěryhodných prostředí umělé inteligence s místními modely na Windows.

Pokyny pro zodpovědný vývoj generovaných aplikací a funkcí umělé inteligence na Windows

Každý tým v Microsoftu dodržuje základní principy a postupy, aby zodpovědně sestavoval a dodával umělou inteligenci, včetně Windows. Další informace o přístupu společnosti Microsoft k odpovědnému vývoji najdete v zprávě Microsoft o transparentnosti zodpovědné umělé inteligence. Windows se řídí základními pilíři vývoje RAI – řízení, mapování, měření a správa – které jsou sladěny s rámcem pro řízení rizik AI institutu NIST (National Institute for Standards and Technology).

Řízení – zásady, postupy a procesy

Standardy jsou základem procesů správného řízení a dodržování předpisů. Microsoft vyvinul naše vlastní Reponsible AI Standard, včetně principů six, které můžete použít jako výchozí bod k vývoji pokynů pro zodpovědnou AI. Doporučujeme vytvořit principy AI do celého životního cyklu vývoje a také do procesů a pracovních postupů pro dodržování zákonů a předpisů v rámci ochrany osobních údajů, zabezpečení a zodpovědné umělé inteligence. Toto se rozprostírá od počátečního posouzení jednotlivých funkcí AI pomocí nástrojů, jako je kontrolní seznam spravedlnosti AI a pokyny pro interakci člověk-AI od Microsoft Research, až po monitorování a přezkum referenčních testů AI, testování a procesů pomocí nástrojů, jako je přehled odpovědné AI, a veřejné dokumentace k možnostem a omezením těchto funkcí, včetně informací o oznámení, souhlasu, shromažďování a zpracování údajů atd., v souladu s platnými zákony o ochraně osobních údajů, regulačními požadavky a zásadami.

Mapa – identifikace rizika

Mezi doporučené postupy pro identifikaci rizik patří:

Kompletní testování

Kompletní testování vyhodnocuje celý systém AI od začátku do konce, aby se zajistilo, že funguje podle očekávání a dodržuje stanovené standardy. Tento komplexní přístup může zahrnovat:

Červené seskupování

Termín red teaming historicky označuje systematické útoky k testování zranitelností zabezpečení. V poslední době se pojem rozšířil nad rámec tradiční kybernetické bezpečnosti a vyvinul se ve společném používání, aby popsal mnoho druhů sondování, testování a útoku na systémy AI.

S velkými jazykovými modely (LLM) i malými jazykovými modely (SLM) může neškodné i nepřátelské použití vést k potenciálně škodlivým výstupům, které mohou mít různé formy, včetně nenávistných projevů, vyvolávání nebo oslavování násilí, nebo sexuálního obsahu. Důkladné červené seskupování umožňuje zátěžově otestovat systém a upřesnit strategii obsahu, aby se snížila možnost, že váš systém způsobí škodu.

Všechny systémy AI by měly projít červeným týmovým testováním v závislosti na funkci a účelu pro systémy s vysokým rizikem, které využívají generující AI a systémy s nižším rizikem, které používají negenerující AI:

  • Formální červené seskupování: Nezávislé červené seskupování by mělo být dokončeno pro všechny vysoce rizikové systémy, které využívají generování umělé inteligence pomocí rozsáhlých jazykových modelů (LLM). Formální red teaming zahrnuje nábor odborníků mimo vaši organizaci, aby se mohli účastnit těchto aktivit.

  • Interní testování : Minimálně naplánujte interní testování pro všechny systémy s nižším rizikem, které negenerují obsah AI. To můžou dělat lidé ve vaší organizaci.

Přečtěte si další informace o red teamingu a o tom, jak vyhodnotit potřeby red teamingu vašeho systému: Microsoft AI Red Team

Vyhodnocení modelu

Jako součást kompletního testování je důležité vyhodnotit samotný model.

  • Modelová karta: U veřejně dostupných modelů, jako jsou ty na Hugging Face, můžete zkontrolovat modelovou kartu každého modelu jako praktický nástroj pro pochopení, jestli je model vhodný pro váš případ použití. Přečtěte si další informace o modelových kartách.

  • Ruční testování: Lidé provádějící podrobné testy bez skriptů jsou důležitou součástí vyhodnocení modelu, která podporuje...

    • Měření průběhu u malé sady prioritních problémů. Při omezování konkrétních škod je často nejproduktivnější provádět ruční kontrolu průběhu pomocí malé datové sady, dokud již není poškození pozorováno, než přejdete na automatizované měření.

    • Definování a generování sestav metrik, dokud nebude automatizované měření dostatečně spolehlivé, aby bylo možné používat samostatně.

    • Pravidelné namátkové kontroly pro měření kvality automatického měření.

  • Automatizované testování: Automatické spouštění testování je také důležitou součástí vyhodnocení modelu, která podporuje...

    • Měření ve velkém měřítku se zvýšeným pokrytím za účelem zajištění komplexnějších výsledků.

    • Průběžné měření pro sledování jakékoliv regrese v době, kdy se systém, využití a zmírnění vyvíjí.

  • Výběr modelu: Vyberte model, který je vhodný pro váš účel, a seznamte se s jeho schopnostmi, omezeními a potenciálními bezpečnostními výzvami. Při testování modelu se ujistěte, že vytváří výsledky vhodné pro vaše použití. Pokud chcete začít, destinace pro zdroje modelů Microsoft (a ne-Microsoft/open source) zahrnují:

Měření – posouzení rizik a zmírnění rizik

Mezi doporučené postupy patří:

  • Přiřazení moderátora obsahu: Moderátor obsahu kontroluje textový, obrázkový a video obsah z hlediska materiálů, které jsou potenciálně urážlivé, rizikové nebo jinak nežádoucí. Další informace: Úvod ke Content Moderátoru (Microsoft Learn Training).

    • Používejte bezpečnostní filtry obsahu: Tento soubor klasifikačních modelů s více třídami detekuje čtyři kategorie škodlivého obsahu (násilí, nenávist, sexuální a sebepoškozování) na různých úrovních závažnosti (nízká, střední a vysoká). Další informace: Jak nakonfigurovat filtry obsahu pomocí Azure OpenAI Service.

    • Použít meta-prompt: Meta-prompt je systémová zpráva obsažená na začátku výzvy a slouží k vytvoření modelu s kontextem, pokyny nebo dalšími informacemi relevantními pro váš případ použití. Tyto pokyny slouží k řízení chování modelu. Další informace: Vytváření efektivních bezpečnostních mantinelí pomocí metapromptu nebo přípravy systémových zpráv

    • Využití seznamů blokovaných položek: Tím se v příkazovém řádku zablokují používání určitých termínů nebo vzorů. Další informace: Použití seznamu blokovaných položek v Azure OpenAI.

    • Seznamte se s proveniencem modelu: Provenance je historie vlastnictví modelu nebo kdo-co-kdy-kdy, a je velmi důležité pochopit. Kdo shromáždil data v modelu? Komu se data týkají? Jaký druh dat se používá? Kde se data shromáždila? Kdy se data shromáždila? Znalost toho, odkud data modelu pocházejí, vám může pomoct vyhodnotit jejich kvalitu, spolehlivost a vyhnout se jakémukoli neetickému, nespravedlivému, zkreslenému nebo nepřesnýmu použití dat.

    • Použijte standardní pipeline: Používejte jednu pipeline pro moderování obsahu místo skládání jednotlivých částí dohromady. Další informace: Co jsou kanály Azure Machine Learning?.

  • Použijtezmírnění uživatelského rozhraní: Poskytují uživatelům důležitý přehled o možnostech a omezeních funkce založené na umělé inteligenci. Pokud chcete uživatelům pomoct a zajistit transparentnost funkce, můžete:

    • Povzbuďte uživatele, aby před přijetím upravovali výstupy.

    • Zvýraznění potenciálních nepřesností ve výstupech umělé inteligence

    • Zveřejnění role umělé inteligence v interakci

    • Citovat odkazy a zdroje

    • Pokud je to vhodné, omezte délku vstupu a výstupu.

    • Zadejte strukturu vstupu nebo výstupu – výzvy musí být ve standardním formátu.

    • Připravte předem určené odpovědi na problematické výzvy.

  • Implementace smyček zpětné vazby zákazníků: Povzbuďte uživatele, aby se aktivně zapojili do smyček zpětné vazby:

    • Požádejte o zpětnou vazbu přímo ve vaší aplikaci nebo produktu pomocí jednoduchého mechanismu zpětné vazby, který je k dispozici v kontextu v rámci uživatelského prostředí.

    • Využijte techniky sociálního naslouchání na kanálech, které vaši zákazníci používají pro rané konverzace o problémech s funkcemi, obavách a možných škodách.

Správa – zmírnění rizik umělé inteligence

Mezi doporučení pro zmírnění rizik umělé inteligence patří:

  • Monitorování zneužití: Tato metodologie detekuje a snižuje výskyty opakovaného obsahu nebo chování, které naznačují, že služba byla použita způsobem, který může narušit pravidla chování nebo jiné platné podmínky produktu. Další informace: Monitorování zneužití

  • Postupné doručování: Fázové zavádění řešení AI k řešení nahlášených problémů a obav.

  • Plán reakce na incidenty: Pro každé vysoce prioritní riziko vyhodnoťte, co se stane a jak dlouho bude trvat reakce na incident a jak bude proces reakce vypadat.

  • Možnost vypnout funkci nebo systém: Poskytněte funkci, která tuto funkci vypne, pokud dojde k incidentu nebo došlo k jeho pozastavení, aby nedošlo k dalším škodám.

  • Řízení nebo blokování uživatelských přístupů: Vytvořte způsob, jak blokovat uživatele, kteří zneužijí systém.

  • Zpětná vazba uživatele: Využijte mechanismy k detekci problémů na straně uživatele.

    • Požádejte o zpětnou vazbu přímo ve vašem produktu pomocí jednoduchého mechanismu zpětné vazby, který je k dispozici v kontextu typického pracovního postupu.

    • Využijte techniky sociálního naslouchání na kanálech, které vaši zákazníci používají pro rané konverzace o problémech s funkcemi, obavách a možných škodách.

  • Zodpovědné nasazení telemetrických dat: Identifikujte, shromážděte a monitorujte signály, které indikují spokojenost uživatelů nebo jejich schopnost používat systém podle očekávání, abyste mohli dodržovat příslušné zákony, zásady a závazky týkající se ochrany osobních údajů. Pomocí telemetrických dat identifikujte mezery a vylepšete systém.

Nástroje a prostředky

  • Last updated on