Monitorování rizik a bezpečnosti v nástroji Azure OpenAI Studio (Preview)

Pokud používáte nasazení modelu Azure OpenAI s filtrem obsahu, můžete zkontrolovat výsledky aktivity filtrování. Tyto informace můžete použít k další úpravě konfigurace filtru tak, aby sloužily vašim konkrétním obchodním potřebám a principům zodpovědné umělé inteligence.

Azure OpenAI Studio poskytuje řídicí panel pro monitorování rizik a bezpečnosti pro každé nasazení, které používá konfiguraci filtru obsahu.

Monitorování rizik přístupu a bezpečnosti

Pokud chcete získat přístup k monitorování rizik a bezpečnosti, potřebujete prostředek Azure OpenAI v jedné z podporovaných oblastí Azure: USA – východ, Švýcarsko – sever, Francie – střed, Švédsko – střed, Kanada – východ. Potřebujete také nasazení modelu, které používá konfiguraci filtru obsahu.

Přejděte do Azure OpenAI Studia a přihlaste se pomocí přihlašovacích údajů přidružených k vašemu prostředku Azure OpenAI. Na levé straně vyberte kartu Nasazení a pak ze seznamu vyberte nasazení modelu. Na stránce nasazení vyberte nahoře kartu Rizika a bezpečnost .

Detekce obsahu

Podokno Detekce obsahu zobrazuje informace o aktivitě filtrování obsahu. Konfigurace filtru obsahu se použije podle popisu v dokumentaci k filtrování obsahu.

Popis sestavy

Data filtrování obsahu se zobrazují následujícími způsoby:

• Celkový počet blokovaných požadavků a míra blokování: Toto zobrazení zobrazuje globální zobrazení množství a míry obsahu filtrovaného v průběhu času. To vám pomůže pochopit trendy škodlivých požadavků od uživatelů a zobrazit jakoukoli neočekávanou aktivitu.
• Blokované žádosti podle kategorie: Toto zobrazení zobrazuje množství obsahu blokovaného pro každou kategorii. Jedná se o veškerou statistiku škodlivých požadavků ve vybraném časovém rozsahu. V současné době podporuje kategorie škod nenávisti, sexuální, sebepoškozování a násilí.
• Míra blokování v průběhu času podle kategorie: Toto zobrazení zobrazuje míru blokování pro každou kategorii v průběhu času. V současné době podporuje kategorie škod nenávisti, sexuální, sebepoškozování a násilí.
• Rozdělení závažnosti podle kategorie: Toto zobrazení zobrazuje úrovně závažnosti zjištěné pro každou kategorii škod v celém vybraném časovém rozsahu. To není omezeno na blokovaný obsah, ale spíše zahrnuje veškerý obsah, který byl označen filtry obsahu.
• Rozdělení míry závažnosti v čase podle kategorie: Toto zobrazení zobrazuje míru zjištěných úrovní závažnosti v průběhu času pro každou kategorii škod. Výběrem karet můžete přepínat mezi podporovanými kategoriemi.

Doporučené akce

Upravte konfiguraci filtru obsahu tak, aby lépe odpovídala obchodním potřebám a principům zodpovědné umělé inteligence.

Potenciálně zneužívající detekce uživatelů

Podokno detekce potenciálně zneužívajících uživatelů využívá hlášení o zneužití na úrovni uživatele k zobrazení informací o uživatelích, jejichž chování způsobilo blokovaný obsah. Cílem je pomoct vám získat přehled o zdrojích škodlivého obsahu, abyste mohli provádět responzivní akce, abyste zajistili, že se model používá zodpovědným způsobem.

Pokud chcete použít potenciálně zneužívající detekci uživatelů, potřebujete:

• Konfigurace filtru obsahu použitá pro vaše nasazení.
• V žádostech o dokončení chatu musíte odesílat informace o ID uživatele (viz například parametr uživatele rozhraní API Pro doplňování).

  Upozornění

  K identifikaci jednotlivých uživatelů použijte řetězce GUID. Do pole "uživatel" nezahrnujte citlivé osobní údaje.

• Databáze Azure Data Exploreru nastavená tak, aby ukládaly výsledky analýzy uživatelů (pokyny níže).

Nastavení databáze Azure Data Exploreru

Abychom ochránili ochranu osobních údajů uživatelů a spravovali oprávnění k datům, podporujeme možnost, aby naši zákazníci měli vlastní úložiště, abychom získali podrobné informace o potenciálně zneužívajícím zjišťování uživatelů (včetně identifikátorů GUID a statistik o škodlivých požadavcích podle kategorií) uložených v souladu s předpisy a s úplnou kontrolou. Pokud ho chcete povolit, postupujte takto:

1. V Nástroji Azure OpenAI Studio přejděte k nasazení modelu, se kterým chcete nastavit analýzu zneužití uživatelů, a vyberte Přidat úložiště dat.
2. Vyplňte požadované informace a vyberte Uložit. Doporučujeme vytvořit novou databázi pro uložení výsledků analýzy.
3. Po připojení úložiště dat udělte následujícím postupem oprávnění k zápisu výsledků analýzy do připojené databáze:
   1. Na webu Azure Portal přejděte na stránku prostředku Azure OpenAI a zvolte kartu Identita .
   2. Zapněte stav pro identitu přiřazenou systémem a zkopírujte vygenerované ID.
   3. Na webu Azure Portal přejděte k prostředku Azure Data Exploreru, zvolte databáze a pak zvolte konkrétní databázi, kterou jste vytvořili pro ukládání výsledků analýzy uživatelů.
   4. Vyberte oprávnění a přidejte do databáze roli správce .
   5. Vložte identitu Azure OpenAI vygenerovanou v předchozím kroku a vyberte hledanou identitu. Teď má vaše identita prostředku Azure OpenAI oprávnění ke čtení a zápisu do účtu úložiště.
4. Udělte uživatelům, kteří potřebují zobrazit výsledky analýzy, přístup k připojené databázi Azure Data Exploreru:
   1. Přejděte k prostředku Azure Data Exploreru, který jste připojili, zvolte řízení přístupu a přidejte roli čtenáře clusteru Azure Data Exploreru pro uživatele, kteří potřebují přístup k výsledkům.
   2. Zvolte databáze a zvolte konkrétní databázi, která je připojená k ukládání výsledků analýzy zneužití na úrovni uživatele. Zvolte oprávnění a přidejte roli čtenáře databáze pro uživatele, kteří potřebují přístup k výsledkům.

Popis sestavy

Detekce potenciálně zneužívajících uživatelů spoléhá na informace o uživateli, které zákazníci odesílají pomocí volání rozhraní API Azure OpenAI společně s obsahem požadavku. Zobrazí se následující přehledy:

• Celkový potenciálně zneužívající počet uživatelů: Toto zobrazení zobrazuje počet zjištěných potenciálně zneužívajících uživatelů v průběhu času. Jedná se o uživatele, pro které byl zjištěn vzor zneužití a kteří můžou představovat vysoké riziko.
• Seznam potenciálně zneužívajících uživatelů: Toto zobrazení je podrobný seznam zjištěných potenciálně zneužívajících uživatelů. Každému uživateli poskytne následující informace:
  • UserGUID: Zákazník ji odešle prostřednictvím pole "user" v rozhraních API Azure OpenAI.
  • Skóre zneužití: Jedná se o obrázek vygenerovaný modelem, který analyzuje požadavky a chování jednotlivých uživatelů. Skóre se normalizuje na 0–1. Vyšší skóre značí vyšší riziko zneužití.
  • Trend skóre zneužití: Změna skóre zneužití ve vybraném časovém rozsahu.
  • Datum vyhodnocení: Datum, kdy byly výsledky analyzovány.
  • Celkový poměr a počet požadavků na zneužití
  • Poměr zneužití/počet podle kategorie

Doporučené akce

Zkombinujte tato data s obohacenými signály, abyste ověřili, jestli jsou detekovaní uživatelé skutečně zneužívající nebo ne. Pokud ano, proveďte responzivní akci, jako je omezování nebo pozastavení uživatele, aby se zajistilo zodpovědné používání vaší aplikace.

Další kroky

Dále vytvořte nebo upravte konfiguraci filtru obsahu v Nástroji Azure OpenAI Studio.

• Konfigurace filtrů obsahu pomocí služby Azure OpenAI