Konfigurace filtrů obsahu pomocí služby Azure OpenAI
Systém filtrování obsahu integrovaný do služby Azure OpenAI běží společně s základními modely, včetně modelů generování imagí DALL-E. Používá soubor klasifikačních modelů s více třídami k detekci čtyř kategorií škodlivého obsahu (násilí, nenávist, sexuální a sebepoškozování) na čtyřech úrovních závažnosti (bezpečné, nízké, střední a vysoké) a volitelných binárních klasifikátorů pro detekci rizika jailbreaku, stávajícího textu a kódu ve veřejných úložištích. Výchozí konfigurace filtrování obsahu je nastavená tak, aby filtrovat na střední prahovou hodnotu závažnosti pro všechny čtyři kategorie škodí obsahu pro výzvy i dokončení. To znamená, že obsah, který je zjištěn na střední nebo vysoké úrovni závažnosti, je filtrován, zatímco obsah zjištěný na úrovni závažnosti nízké nebo bezpečné filtry obsahu nefiltrují. Další informace o kategoriích obsahu, úrovních závažnosti a chování systému filtrování obsahu najdete tady. Detekce rizik jailbreaku a chráněné modely textu a kódu jsou ve výchozím nastavení volitelné a vypnuté. Funkce konfigurovatelnosti umožňuje všem zákazníkům zapnout a vypnout modely s jailbreakem a chráněným textem a kódem. Modely jsou ve výchozím nastavení vypnuté a dají se zapnout podle vašeho scénáře. Některé modely musí být zapnuté pro určité scénáře, aby se zachovalo pokrytí v rámci závazku pro autorská práva zákazníka.
Poznámka:
Všichni zákazníci mají možnost upravit filtry obsahu a nakonfigurovat prahové hodnoty závažnosti (nízká, střední, vysoká). Schválení se vyžaduje pro částečné nebo úplné vypnutí filtrů obsahu. Spravovaní zákazníci můžou prostřednictvím tohoto formuláře požádat pouze o úplné filtrování obsahu: Azure OpenAI Limited Access Review: Upravené filtry obsahu. V tuto chvíli není možné se stát spravovaným zákazníkem.
Filtry obsahu je možné nakonfigurovat na úrovni prostředku. Po vytvoření nové konfigurace je možné ji přidružit k jednomu nebo několika nasazením. Další informace o nasazení modelu najdete v tématu Průvodce nasazením prostředku.
Požadavky
- Abyste mohli nakonfigurovat filtry obsahu, musíte mít prostředek Azure OpenAI a nasazení velkého jazykového modelu (LLM). Začněte podle rychlého startu .
Vysvětlení konfigurovatelnosti filtru obsahu
Služba Azure OpenAI zahrnuje výchozí nastavení zabezpečení použitá pro všechny modely s výjimkou Azure OpenAI Whisper. Tyto konfigurace poskytují ve výchozím nastavení zodpovědné prostředí, včetně modelů filtrování obsahu, seznamů blokovaných položek, transformace výzvy, přihlašovacích údajů k obsahu a dalších. Přečtěte si další informace o tom tady.
Všichni zákazníci můžou také nakonfigurovat filtry obsahu a vytvořit vlastní zásady zabezpečení, které jsou přizpůsobené požadavkům na případy použití. Funkce konfigurovatelnosti umožňuje zákazníkům upravit nastavení samostatně pro výzvy a dokončení a filtrovat obsah pro každou kategorii obsahu na různých úrovních závažnosti, jak je popsáno v následující tabulce. Obsah zjištěný na úrovni "bezpečné" závažnosti je označený v poznámkách, ale není předmětem filtrování a není konfigurovatelný.
| Filtrovaná závažnost | Konfigurovatelné pro výzvy | Konfigurovatelné pro dokončení | Popisy |
|---|---|---|---|
| Nízká, střední, vysoká | Ano | Yes | Nejtěsnější konfigurace filtrování. Obsah zjištěný na úrovních závažnosti je nízký, střední a vysoký filtr. |
| Střední, vysoká | Ano | Yes | Obsah zjištěný na úrovni závažnosti není filtrovaný, obsah na střední a vysoké úrovni se filtruje. |
| Vysoká | Ano | Yes | Obsah zjištěný na úrovních závažnosti nízký a střední není filtrovaný. Filtruje se pouze obsah na úrovni závažnosti. |
| Žádné filtry | Pokud schváleno1 | Pokud schváleno1 | Žádný obsah se nefiltruje bez ohledu na zjištěnou úroveň závažnosti. Vyžaduje schválení1. |
| Pouze přidávání poznámek | Pokud schváleno1 | Pokud schváleno1 | Zakáže funkci filtru, takže obsah nebude blokovaný, ale prostřednictvím odpovědi rozhraní API se vrátí poznámky. Vyžaduje schválení1. |
1 Pro modely Azure OpenAI mají plnou kontrolu nad filtrováním obsahu jenom zákazníci, kteří byli schváleni pro filtrování upraveného obsahu, a můžou vypnout filtry obsahu. Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure OpenAI Limited Access Review: Upravené filtry obsahu. Pro zákazníky Azure Government platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Azure Government – Vyžádání upraveného filtrování obsahu pro službu Azure OpenAI.
Konfigurovatelné filtry obsahu pro vstupy (výzvy) a výstupy (dokončení) jsou k dispozici pro následující modely Azure OpenAI:
- Řada modelů GPT
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 a 3
Konfigurovatelné filtry obsahu nejsou k dispozici pro
- o1-preview
- o1-mini
*Dostupná pouze pro GPT-4 Turbo Vision GA, nevztahuje se na GPT-4 Turbo Vision Preview.
Konfigurace filtrování obsahu se vytvářejí v rámci prostředku v Azure AI Studiu a dají se přidružit k nasazením. Další informace o možnosti konfigurace najdete tady.
Zákazníci zodpovídají za zajištění toho, aby aplikace integrující Azure OpenAI dodržovaly pravidla chování.
Vysvětlení dalších filtrů
Kromě výchozíchfiltrůch
| Kategorie filtru | Stav | Výchozí nastavení | Používá se k zobrazení výzvy nebo dokončení? | Popis |
|---|---|---|---|---|
| Vyzvání štítů k přímým útokům (jailbreak) | GA | Zapnout | Výzva uživatele | Filtry / anotuje výzvy uživatelů, které můžou představovat riziko jailbreaku. Další informace o anotacích najdete v tématu Filtrování obsahu služby Azure OpenAI. |
| Vyzvání štítů k nepřímým útokům | GA | Zapnout | Výzva uživatele | Filtrování nebo přidávání poznámek k nepřímým útokům, označovaným také jako útoky nepřímých výzev nebo útoků prostřednictvím injektáže mezi doménovými výzvami, což je potenciální ohrožení zabezpečení, kde třetí strany umístí škodlivé instrukce do dokumentů, ke kterým může systém generující umělé inteligence přistupovat a zpracovávat je. Povinné: Formátování dokumentu. |
| Chráněný materiál – kód | GA | Zapnout | Dokončení | Filtruje chráněný kód nebo získá ukázkové citace a informace o licencích v poznámkách pro fragmenty kódu, které odpovídají jakýmkoli veřejným zdrojům kódu využívajícím GitHub Copilot. Další informace o používání poznámek najdete v průvodci koncepty filtrování obsahu. |
| Chráněný materiál – text | GA | Zapnout | Dokončení | Identifikuje a blokuje zobrazení známého textového obsahu ve výstupu modelu (například text skladby, recepty a vybraný webový obsah). |
Konfigurace filtrů obsahu přes Azure OpenAI Studio
Následující kroky ukazují, jak pro prostředek nastavit vlastní konfiguraci filtrování obsahu.
Přejděte do Azure OpenAI Studia a přejděte na kartu Filtry obsahu (v levém dolním navigačním panelu, jak je označené červeným polem níže).
Vytvořte novou přizpůsobenou konfiguraci filtrování obsahu.
To vede k následujícímu zobrazení konfigurace, kde můžete zvolit název konfigurace vlastního filtrování obsahu. Po zadání názvu můžete nakonfigurovat vstupní filtry (výzvy uživatelů) a výstupní filtry (odpověď modelu). Pro první čtyři kategorie obsahu existují tři úrovně závažnosti, které jsou konfigurovatelné: Nízká, střední a vysoká. Pomocí posuvníků můžete nastavit prahovou hodnotu závažnosti, pokud zjistíte, že vaše aplikace nebo scénář použití vyžaduje jiné filtrování než výchozí hodnoty. Některé filtry umožňují určit, jestli má model a/nebo blokovat poznámky. Když vyberete Anotace, spustí se příslušný model a vrátí poznámky prostřednictvím odpovědi rozhraní API, ale nebude filtrovat obsah. Kromě poznámek můžete také zvolit filtrování obsahu přepnutím přepínače Filtr na zapnuto.
Pokud byl váš případ použití schválen pro upravené filtry obsahu, jak je uvedeno výše, obdržíte úplnou kontrolu nad konfigurací filtrování obsahu a můžete se rozhodnout filtrování částečně nebo úplně vypnout.
Podle vašich požadavků můžete vytvořit několik konfigurací filtrování obsahu.
Dále vytvořte vlastní konfiguraci filtrování obsahu zprovoznění, přiřaďte konfiguraci k jednomu nebo více nasazením ve vašem prostředku. Uděláte to tak, že přejdete na kartu Nasazení a vyberete nasazení. Pak vyberte Edit (Upravit).
V zobrazeném okně nasazení aktualizace vyberte vlastní filtr z rozevírací nabídky Filtr obsahu. Pak vyberte Uložit a zavřít a použijte vybranou konfiguraci pro nasazení.
V případě potřeby můžete také upravit a odstranit konfiguraci filtru obsahu. Uděláte to tak, že přejdete na kartu filtry obsahu a vyberete konfiguraci. Pak vyberte požadovanou akci. Konfiguraci filtrování můžete upravovat jenom najednou.
Poznámka:
Před odstraněním konfigurace filtrování obsahu ho budete muset zrušit přiřazení z jakéhokoli nasazení na kartě Nasazení.
Dodržujte osvědčené postupy.
Doporučujeme informovat vaše rozhodnutí o konfiguraci filtrování obsahu prostřednictvím iterativní identifikace (například červeného týmového testování, zátěžového testování a analýzy) a procesu měření, který řeší potenciální škody, které jsou relevantní pro konkrétní model, aplikaci a nasazení. Po implementaci zmírnění rizik, jako je filtrování obsahu, opakujte měření a otestujte efektivitu. Doporučení a osvědčené postupy pro zodpovědnou AI pro Azure OpenAI, které jsou zakotveny v standardu Microsoft Responsible AI, najdete v přehledu zodpovědné umělé inteligence pro Azure OpenAI.
Související obsah
- Přečtěte si další informace o postupech zodpovědné umělé inteligence pro Azure OpenAI: Přehled zodpovědných postupů AI pro modely Azure OpenAI.
- Přečtěte si další informace o kategoriích filtrování obsahu a úrovních závažnosti pomocí služby Azure OpenAI.
- Přečtěte si další informace o červeném seskupování z našeho článku: Úvod do červeného seskupování velkých jazykových modelů (LLMs).