Monitorování zneužití

  • Článek

Služba Azure OpenAI detekuje a snižuje výskyty opakovaného obsahu nebo chování, které navrhují použití služby způsobem, který může narušit pravidla chování nebo jiné platné podmínky produktu. Podrobnosti o způsobu zpracování dat najdete na stránce Data, Ochrana osobních údajů a zabezpečení. Použití tohoto formuláře k úpravě monitorování zneužití: Kontrola omezeného přístupu Azure OpenAI: Monitorování změněných zneužití

Součásti monitorování zneužití

Monitorování zneužití má několik komponent:

  • Klasifikace obsahu: Klasifikátorové modely detekují škodlivý jazyk a/nebo obrázky v uživatelských výzev (vstupy) a dokončení (výstupy). Systém hledá kategorie škod definovaných v požadavcích na obsah a přiřazuje úrovně závažnosti, jak je popsáno podrobněji na stránce Filtrování obsahu.

  • Zachycení vzoru zneužití: Monitorování zneužití služby Azure OpenAI sleduje vzory využití zákazníků a využívá algoritmy a heuristiky k detekci indikátorů potenciálního zneužití. Zjištěné vzory zvažují například frekvenci a závažnost, při které se v výzev a dokončení zákazníka zjistí škodlivý obsah.

  • Lidská kontrola a rozhodnutí: Když se výzvy nebo dokončení označí prostřednictvím klasifikace obsahu a zachycení vzoru zneužití, jak je popsáno výše, mohou autorizovaní zaměstnanci Microsoftu vyhodnotit obsah označený příznakem a buď potvrdit nebo opravit klasifikaci nebo určení na základě předdefinovaných pokynů a zásad. K datům lze získat přístup pouze autorizovanými zaměstnanci Microsoftu prostřednictvím pracovních stanic SAWs (Secure Access Workstations) s žádostí o schválení za běhu (JIT), které udělili manažeři týmu. Pro prostředky služby Azure OpenAI nasazené v Evropském hospodářském prostoru se autorizovaní zaměstnanci Microsoftu nacházejí v Evropském hospodářském prostoru.

  • Oznámení a akce: Pokud byla na základě předchozích tří kroků potvrzena prahová hodnota zneužívajícího chování, informuje zákazník o rozhodnutí e-mailem. S výjimkou případů závažného nebo opakovaného zneužití mají zákazníci obvykle příležitost vysvětlit nebo napravit (a implementovat mechanismy, které brání opakování) zneužívajícího chování. Selhání řešení chování nebo opakovaného nebo závažného zneužití může vést k pozastavení nebo ukončení přístupu zákazníka k prostředkům Azure OpenAI a/nebo možnostem.

Další kroky