Zodpovědná a důvěryhodná AI

Microsoft popisuje šest klíčových principů zodpovědné umělé inteligence: odpovědnost, inkluzivnost, spolehlivost a bezpečnost, nestrannost, transparentnost a ochrana osobních údajů a zabezpečení. Tyto principy jsou nezbytné pro vytvoření zodpovědné a důvěryhodné umělé inteligence při jejím přesunu do běžných produktů a služeb. Řídí se dvěma perspektivami: etickými a vysvětlitelnými.

Etické

Z etického hlediska by AI měla:

• Buďte ve svých tvrzeních spravedliví a inkluzivní.
• Být zodpovědný za jeho rozhodnutí.
• Nediskriminovat nebo bránit různým rasám, zdravotním postižením nebo pozadí.

V roce 2017 Microsoft založil poradní výbor pro AI, etiku a účinky v oblasti inženýrství a výzkumu (Aether). Hlavní odpovědností výboru je radit v otázkách, technologiích, procesech a osvědčených postupech pro odpovědnou AI. Další informace najdete v tématu Principy modelu zásad správného řízení Microsoftu – Aether + Office of Responsible AI.

Odpovědnost

Odpovědnost je základním pilířem zodpovědné umělé inteligence. Lidé, kteří navrhují a nasazují systém AI, musí být zodpovědní za jeho akce a rozhodnutí, zejména když postupujeme směrem k více autonomním systémům.

Organizace by měly zvážit zřízení interního kontrolního orgánu, který poskytuje dohled, přehledy a pokyny k vývoji a nasazení systémů AI. Tyto pokyny se můžou lišit v závislosti na společnosti a oblasti a měly by odrážet cestu AI organizace.

Inkluzivnost

Inkluzivnost vyžaduje, aby AI zvážila všechny lidské rasy a zkušenosti. Postupy inkluzivního návrhu můžou vývojářům pomoct pochopit a vyřešit potenciální překážky, které by mohly neúmyslně vyloučit lidi. Tam, kde je to možné, by organizace měly používat technologie převodu řeči na text, převodu textu na řeč a vizuální rozpoznávání, které umožní lidem se sluchovým, zrakovým a jiným postižením.

Spolehlivost a zabezpečení

Aby byly systémy AI důvěryhodné, musí být spolehlivé a bezpečné. Je důležité, aby systém fungoval tak, jak byl původně navržen, a aby bezpečně reagoval na nové situace. Její inherentní odolnost by měla odolat zamýšlené i nezamýšlené manipulaci.

Organizace by měla zavést přísné testování a ověřování provozních podmínek, aby se zajistilo, že systém reaguje na hraniční případy bezpečně. Do procesu hodnocení by měla integrovat metody testování A/B a champion/challenger.

Výkon systému AI se může časem snižovat. Organizace potřebuje vytvořit robustní proces monitorování a sledování modelů, který bude reaktivně a proaktivně měřit výkon modelu (a podle potřeby ho znovu natrénovat na modernizaci).

Vysvětlitelné

Vysvětlitelnost pomáhá datovým vědcům, auditorům a pracovníkům s rozhodovací pravomocí zajistit, aby systémy AI mohly ospravedlnit jejich rozhodnutí a způsob, jakým dospěly ke svým závěrům. Vysvětlitelnost také pomáhá zajistit soulad se zásadami společnosti, oborovými standardy a vládními předpisy.

Datový vědec by měl být schopen vysvětlit zúčastněné straně, jak dosáhl určité úrovně přesnosti a co ovlivnilo výsledek. Stejně tak auditor potřebuje k dodržování zásad společnosti nástroj, který model ověřuje. Firma s rozhodovací pravomocí musí získat důvěru tím, že poskytne transparentní model.

Nástroje pro vysvětlení

Microsoft vyvinul InterpretML, opensourcovou sadu nástrojů, která organizacím pomáhá dosáhnout vysvětlitelnosti modelu. Podporuje prosklené a černobílé modely:

• Modely ze skleněných krabic jsou interpretovatelné díky své struktuře. Pro tyto modely poskytuje explainable boosting machine (EBM) stav algoritmu na základě rozhodovacího stromu nebo lineárních modelů. EBM poskytuje bezeztrátová vysvětlení a odborníci na danou oblast ji dají upravit.

• Černá skříňka modely je náročnější interpretovat kvůli složité vnitřní struktuře, neurální síti. Vysvětlitelé jako místně interpretovatelné vysvětlení nezávislé na modelu (LIME) nebo SHapley Additive exPlanations (SHAP) interpretují tyto modely analýzou vztahu mezi vstupem a výstupem.

Fairlearn je integrace služby Azure Machine Learning a opensourcová sada nástrojů pro sadu SDK a grafické uživatelské rozhraní AutoML. K pochopení toho, co model nejvíce ovlivňuje, používá vysvětlující nástroje, a k ověření těchto vlivů používá odborníky na danou doménu.

Další informace o vysvětlitelnosti najdete v tématu o interpretovatelnosti modelů ve službě Azure Machine Learning.

Nestrannost

Nestrannost je základním etickým principem, kterému se všichni lidé snaží porozumět a uplatňovat ho. Tento princip je ještě důležitější při vývoji systémů AI. Klíčové kontroly a rovnováhy musí zajistit, aby rozhodnutí systému nediskriminovali nebo nevyjádřila předsudky vůči skupině nebo jednotlivci na základě pohlaví, rasy, sexuální orientace nebo náboženského vyznání.

Microsoft poskytuje kontrolní seznam pro nestrannost AI , který nabízí pokyny a řešení pro systémy AI. Tato řešení jsou volně rozdělená do pěti fází: vize, prototyp, sestavení, uvedení na trh a vývoj. V každé fázi jsou uvedeny doporučené aktivity hloubkové kontroly, které pomáhají minimalizovat dopad nespravedlivosti na systém.

Fairlearn se integruje se službou Azure Machine Learning a podporuje datové vědce a vývojáře při posuzování a zlepšování spravedlnosti systémů AI. Poskytuje algoritmy pro zmírnění nespravedlnosti a interaktivní řídicí panel, který vizualizuje nestrannost modelu. Organizace by měla používat sadu nástrojů a pečlivě posoudit nestrannost modelu během sestavování. Tato aktivita by měla být nedílnou součástí procesu datových věd.

Zjistěte, jak zmírnit nespravedlivost v modelech strojového učení.

Transparentnost

Dosažení transparentnosti pomáhá týmu pochopit:

• Data a algoritmy použité k trénování modelu
• Logika transformace, která byla použita na data.
• Konečný model, který byl vygenerován.
• Prostředky přidružené k modelu.

Tyto informace nabízejí přehled o tom, jak byl model vytvořen, aby ho tým mohl transparentně reprodukovat. Snímky v rámci pracovních prostorů Služby Azure Machine Learning podporují transparentnost tím, že zaznamenávají nebo přetrénují všechny prostředky a metriky související s trénováním, které jsou součástí experimentu.

Ochrana osobních údajů a zabezpečení

Držitel údajů je povinen chránit data v systému AI. Ochrana osobních údajů a zabezpečení jsou nedílnou součástí tohoto systému.

Osobní údaje musí být zabezpečené a přístup k němu by neměl ohrozit soukromí jednotlivce. Rozdílové ochrany osobních údajů v Azure pomáhají chránit a chránit soukromí tím, že náhodně zabírají data a přidávají šum, který skrývá osobní informace před datovými vědci.

Pokyny pro lidskou AI

Pokyny pro návrh lidské umělé inteligence se skládají z 18 principů, které se vyskytují ve čtyřech obdobích: na začátku, během interakce, při nesprávném a v průběhu času. Tyto principy pomáhají organizaci vytvořit inkluzivnější systém AI zaměřený na člověka.

Initially (Na začátku)

• Vysvětlit, co systém dokáže. Pokud systém AI používá nebo generuje metriky, je důležité ukázat je všechny a jak se sledují.

• Vysvětlit, jak dobře systém dokáže to, co dělá. Pomozte uživatelům pochopit, že AI není úplně přesná. Nastavte očekávání, kdy systém AI může dělat chyby.

Během interakce

• Umožňuje zobrazit kontextově relevantní informace. Poskytuje vizuální informace související s aktuálním kontextem a prostředím uživatele, například okolní hotely. Vrátí podrobnosti v blízkosti cílového cíle a data.

• Zmírnění sociálních předsudků Ujistěte se, že jazyk a chování nezavádí nezamýšlené stereotypy nebo předsudky. Například funkce automatického dokončování musí zahrnovat genderovou identitu.

Když se špatně

• Podpora efektivního propouštění. Poskytuje snadný mechanismus pro ignorování nebo zavření nežádoucích funkcí nebo služeb.
• Podpora efektivní opravy. Poskytuje intuitivní způsob, jak usnadnit úpravy, zpřesnění nebo obnovení.
• Ujasněte si, proč systém udělal to, co udělal. Optimalizujte vysvětlitelnou AI, abyste mohli nabídnout přehledy o kontrolních výrazech systému AI.

Over time (V průběhu času)

• Zapamatujte si nedávné interakce. Uchovávejte historii interakcí pro budoucí použití.
• Poučte se z chování uživatelů. Přizpůsobte interakci na základě chování uživatele.
• Aktualizujte a přizpůsobte opatrně. Omezte rušivé změny a aktualizujte ho podle profilu uživatele.
• Podpořte podrobnou zpětnou vazbu. Shromážděte zpětnou vazbu uživatelů z jejich interakcí se systémem AI.

Důvěryhodná architektura AI

Návrhář AI

Návrhář AI sestaví model a zodpovídá za:

• Posun dat a kontroly kvality. Návrhář zjistí odlehlé hodnoty a provede kontroly kvality dat za účelem identifikace chybějících hodnot. Návrhář také standardizuje distribuci, kontroluje data a vytváří sestavy případů použití a projektu.

• Vyhodnocení dat ve zdroji systému za účelem identifikace potenciálních předsudků

• Návrh algoritmů AI za účelem minimalizace předsudků dat Mezi tyto snahy patří zjištění, jak binning, seskupování a normalizace (zejména v tradičních modelech strojového učení, jako jsou stromové modely) můžou eliminovat menšinové skupiny z dat. Kategorický návrh AI opakuje datové předsudky tím, že seskupuje sociální, rasové a genderové třídy ve vertikálách odvětví, které spoléhají na chráněné zdravotní informace (PHI) a osobní údaje.

• Optimalizace monitorování a výstrah za účelem identifikace cílového úniku a posílení vývoje modelu

• Vytvoření osvědčených postupů pro vytváření sestav a přehledů, které nabízejí podrobné porozumění modelu. Návrhář se vyhýbá přístupům s černou skříňkou, které používají důležitost prvků nebo vektorů, clustering u UMAP (Uniform Manfold Approximation and Projection), Friedmanovu H-statistiku, efekty funkcí a související techniky. Identifikační metriky pomáhají definovat prediktivní vliv, vztahy a závislosti mezi korelacemi ve složitých a moderních datových sadách.

Správce a pracovníci AI

Správci a pracovníci AI dohlíží na AI, zásady správného řízení a operace a metriky výkonu architektury auditu. Také dohlíží na implementaci zabezpečení AI a návratnost investic firmy. Mezi jejich úkoly patří:

• Monitorování řídicího panelu sledování, který pomáhá s monitorováním modelů a kombinuje metriky modelu pro produkční modely. Řídicí panel se zaměřuje na přesnost, snížení výkonu modelu, posun dat, odchylku a změny rychlosti nebo chyby odvozování.

• Implementace flexibilního nasazení a opětovného nasazení (nejlépe prostřednictvím rozhraní REST API), které umožňuje implementaci modelů do otevřené a nezávislé architektury. Architektura integruje model s obchodními procesy a generuje hodnotu pro smyčky zpětné vazby.

• Práce na vytváření zásad správného řízení a přístupu k modelům za účelem nastavení hranic a zmírnění negativního obchodního a provozního dopadu Standardy řízení přístupu na základě role (RBAC) určují kontrolní mechanismy zabezpečení, které zachovávají omezená produkční prostředí a IP adresu.

• Použití architektur auditu a dodržování předpisů AI ke sledování toho, jak se modely vyvíjejí a mění, aby se dodržovaly standardy specifické pro jednotlivá odvětví. Interpretovatelná a zodpovědná AI je založena na mírách vysvětlitelnosti, stručných funkcích, vizualizacích modelů a jazyku vertikálním v oboru.

AI – firemní spotřebitelé

Podnikoví spotřebitelé a inteligence (obchodní odborníci) uzavírají smyčku zpětné vazby a poskytují vstup pro návrháře AI. Prediktivní rozhodování a potenciální důsledky, jako jsou nestrannost a etická opatření, ochrana osobních údajů a dodržování předpisů a obchodní efektivita, pomáhají vyhodnocovat systémy AI. Tady je několik důležitých informací pro firemní spotřebitele:

• Smyčky zpětné vazby patří do ekosystému firmy. Data, která ukazují předsudky, chyby, rychlost predikce a nestrannost modelu, vytvářejí důvěru a rovnováhu mezi návrhářem, správcem a pracovníky AI. Hodnocení zaměřené na člověka by mělo postupně zlepšovat AI v průběhu času.

  Minimalizace učení umělé inteligence z multidimenzionálních, složitých dat může pomoct zabránit zkresleným učením. Tato technika se nazývá učení méně než jeden snímek (LO-shot).

• Díky návrhu interpretovatelnosti a nástrojům jsou systémy AI zodpovědné za potenciální předsudky. Problémy se předsudky a nestranností modelu by se měly označit příznakem a předávat systému pro detekci anomálií, který se z tohoto chování učí a automaticky řeší předsudky.

• Každá prediktivní hodnota by měla být rozdělena na jednotlivé znaky nebo vektory podle důležitosti nebo dopadu. Měla by poskytovat důkladná vysvětlení predikcí, která se dají exportovat do obchodní sestavy pro účely kontrol auditu a dodržování předpisů, transparentnosti zákazníků a obchodní připravenosti.

• Vzhledem k rostoucím globálním rizikům v oblasti zabezpečení a ochrany osobních údajů vyžadují osvědčené postupy pro řešení narušení dat během odvozování dodržování předpisů v jednotlivých oborových vertikálách. Mezi příklady patří výstrahy týkající se nedodržování předpisů phi a osobních údajů nebo výstrahy týkající se porušení národních/regionálních bezpečnostních zákonů.

Další kroky

Další informace o zodpovědné umělé inteligenci najdete v pokynech pro lidskou AI.