Filtrování obsahu

Důležité

Systém filtrování obsahu se nepoužije na prompty a dokončená zadání zpracovávané modelem Whisper ve službě Azure OpenAI. Přečtěte si další informace o modelu Whisper v Azure OpenAI.

Služba Azure OpenAI zahrnuje systém filtrování obsahu, který funguje společně s základními modely, včetně modelů generování imagí DALL-E. Tento systém funguje spuštěním výzvy i dokončení prostřednictvím souboru klasifikačních modelů zaměřených na detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu zjistí a provede akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu. Varianty konfigurací rozhraní API a návrhu aplikací můžou mít vliv na dokončená zadání a filtrování chování.

Modely filtrování obsahu pro kategorie nenávisti, sexuálního, násilí a sebepoškozování byly speciálně natrénovány a testovány na následujících jazycích: angličtina, němčina, japonština, španělština, francouzština, italština, portugalština a čínština. Služba ale může fungovat v mnoha dalších jazycích, ale kvalita se může lišit. Ve všech případech byste měli provést vlastní testování, abyste se ujistili, že to pro vaši aplikaci funguje.

Kromě systému filtrování obsahu služba Azure OpenAI provádí monitorování za účelem zjištění obsahu nebo chování, které navrhují použití služby způsobem, který by mohl porušit příslušné podmínky produktu. Další informace o pochopení a zmírnění rizik spojených s vaší aplikací najdete v poznámce transparentnosti pro Azure OpenAI. Další informace o tom, jak se data zpracovávají pro filtrování obsahu a monitorování zneužití, najdete v tématu Data, ochrana osobních údajů a zabezpečení pro službu Azure OpenAI.

Následující části obsahují informace o kategoriích filtrování obsahu, úrovních závažnosti filtrování a jejich konfigurovatelnosti a scénářích rozhraní API, které je potřeba zvážit při návrhu a implementaci aplikace.

Kategorie filtrování obsahu

Systém filtrování obsahu integrovaný ve službě Azure OpenAI obsahuje:

• Neurální klasifikační modely s více třídami zaměřené na detekci a filtrování škodlivého obsahu; modely pokrývají čtyři kategorie (nenávist, sexuální, násilí a sebepoškozování) ve čtyřech úrovních závažnosti (bezpečné, nízké, střední a vysoké). Obsah zjištěný na úrovni závažnosti „bezpečný“ je označený v poznámkách, ale není předmětem filtrování a není konfigurovatelný.
• Další volitelné klasifikační modely zaměřené na detekci rizika jailbreaku a známého obsahu pro text a kód; tyto modely jsou binární klasifikátory, které označují, jestli chování uživatele nebo modelu odpovídá útoku s jailbreakem nebo shodu se známým textem nebo zdrojovým kódem. Použití těchto modelů je volitelné, ale použití modelu kódu chráněného materiálu může být vyžadováno pro pokrytí závazku autorských práv zákazníka.

Kategorie rizik

Kategorie	Popis
Nenávist a nestrannost	Škody související s nenávistí a nestranností odkazují na veškerý obsah, který útoky nebo používá pejorativní nebo nediskriminační jazyk s odkazem na osobu nebo skupiny identit na základě určitých atributů různých skupin, včetně rasy, etnického původu, státní příslušnosti, skupin identit pohlaví a výrazu, sexuální orientace, náboženství, statusu přistěhovalectví, stavu schopnosti, osobního vzhledu, a velikost těla.  Nestrannost se zabývá zajištěním, aby systémy AI přistupovaly ke všem skupinám lidí spravedlivě, aniž by přispěly k existujícím společenským nepravostem. Podobně jako nenávistná řeč se poškození související se nestranností závisí na různorodé léčbě skupin identit.
Sexuální	Sexuální popis jazyka související s anatomickými orgány a pohlavními orgány, romantickými vztahy, působí v erotických nebo laskavých termínech, těhotenství, fyzické sexuální činy, včetně těch, které jsou znázorněny jako útok nebo vynucený sexuální násilí proti willu, prostituce, pornografii a zneužívání.
Násilí	Násilí popisuje jazyk související s fyzickými činy, které mají ublížit, poškodit, poškodit nebo zabít někoho nebo něco; popisuje zbraně, zbraně a související entity, jako jsou výroba, sdružení, právní předpisy atd.
Sebepoškozování	Sebepoškozování popisuje jazyk související s fyzickými akcemi, jejichž účelem je úmyslně ublížit, poškodit, poškodit tělo nebo zabít sebe.
Chráněný materiál pro text*	Chráněný materiálový text popisuje známý textový obsah (například text skladby, články, recepty a vybraný webový obsah), který lze vypisovat velkými jazykovými modely.
Chráněný materiál pro kód	Chráněný kód materiálu popisuje zdrojový kód, který odpovídá sadě zdrojového kódu z veřejných úložišť, které lze vypisovat velkými jazykovými modely bez správné citace zdrojových úložišť.

^* Pokud jste vlastníkem textového materiálu a chcete odeslat textový obsah k ochraně, vytvořte žádost.

Výzva štítů

Typ	Popis
Výzva k útokům s jailbreakem	Útoky s jailbreakem jsou výzvy uživatelů navržené tak, aby vyvolaly model generující AI na projevující se chování, které bylo natrénováno, aby se zabránilo nebo přerušilo pravidla nastavená v systémové zprávě. Takové útoky se mohou lišit od složitých rolí až po jemné subversion bezpečnostního cíle.
Výzva k stínění pro nepřímé útoky	Nepřímé útoky, označované také jako útoky nepřímých výzev nebo útoky prostřednictvím injektáže mezi doménou, představují potenciální ohrožení zabezpečení, kdy třetí strany umístí škodlivé instrukce do dokumentů, ke kterým může systém Generative AI přistupovat a zpracovávat. Vyžaduje vkládání a formátování dokumentu.

Textový obsah

Upozorňující

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Definice závažnosti

Úrovně závažnosti nenávisti a nestrannosti

Úroveň závažnosti	Popis	Příklad textu
Safe	Obsah je bezpečný, ale může obsahovat výrazy související s nenávistí a nestranností, které se používají v obecných a bezpečných kontextech, jako jsou: Vzdělávání Média Oficiální statistika Historie Léčivo Věda Další podobné kontexty	"Black people should not be killed by police or mistreated just because of their skin color."
Nízká	Obsah, který obsahuje pozitivní charakterizaci nebo ochranu skupin identit, zobrazuje diskriminaci, stereotypy a předsudky, úsudek nebo názory nebo postoje související s nenávistnou řečí nebo cílením skupin identit. Sem patří: Slurs in research paper, dictionaries, or media with a direct quote Obecná nenávistná řeč, která cílí na objekty, jednotlivce nebo skupiny Omezená nenávistná řeč nebo znázornění negativního mínění v fiktivních kontextech (například hry, filmy, literatura)	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
Střední	Obsah, který obsahuje urážky, bullying, zastrašování, de-humanizaci nebo odchylku jednotlivců nebo skupin. To zahrnuje: Jazyk, který je napodobující a vymituje atributy skupin identit Popis jednotlivců nebo skupin jako nižších nebo nedostatečných Odepření existence nebo demeaning skupin identit Texty, které zamítnou historickou, dobře zdokumentovanou a násilnou událostí, jako je Například Násilí, zoslavnění nebo kolonizace	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
Vysoká	Obsah, který obsahuje nenávistnou řeč jako hrozbu nebo vyzývá k násilí proti skupinám Identity, radikalizuje, rekrutuje nebo inkasuje lidi, aby se připojili k nenávistným snahám nebo šířili nenávistnou řeč. To zahrnuje: Incendiární, urážlivý a vulgární jazyk, který cílí na konkrétní jednotlivce nebo skupiny identit Nároky na nadřazenost k odůvodnění diskriminace, oddělení nebo vyloučení Texty, které obsahují jakoukoli formu glorifikace naziistické a SS symbolismu, KKK a konfederační vlajky mimo historické, vzdělávací nebo umělecké nastavení Texty, které zobrazují přípravu nenávisti k trestné činnosti, chválu a oslavení násilí proti skupinám identit, nebo které chválí, glorifii nebo podporují genomii	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

Úrovně sexuální závažnosti

Úroveň závažnosti	Popis	Příklad textu
Safe	Obsah je bezpečný, ale může obsahovat sexuálně související termíny používané v obecných a bezpečných kontextech, jako jsou: Vzdělávání Média Oficiální statistika Historie Lékařství Věda Zmínky o rodině nebo romantických vztazích	"Fewer young adults are having sex than in previous generations."
Nízká	Obsah, který vyjadřuje předsudky, úsudek nebo názorné názory na sexuálně související témata nebo zmínky o sexuálně souvisejících termínech ve fiktivních nebo skutečných zkušenostech, které nejsou extrémně grafické. To zahrnuje: Zmínky o sexuální anatomii nebo sex scénách ve fiktivních a uměleckých kontextech Lékařské předpisy a diagnostika Osobní zkušenosti, sexuální problémy a traumaty s určitým grafickým obsahem, včetně mechanismů vyrovnávání a prostředků	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
Střední	Obsah, který popisuje sexuální vzrušení a aktivitu explicitně a graficky, zahrnuje fantazie o sexu a sexuálním zneužívání. To zahrnuje: Zmínky o sexuální stimulaci a masturbaci Pornografie omezená na obchod a prostituci, eskort atd. jako kariéry bez sexuální scény Inzerování pro dospělé produkty, jako jsou sexuální hračky Osobní zkušenosti a popisy týkající se sexuální, erotické nebo tantrické masáže, strip kluby, erotické show, BDSM atributy a postupy	"We both climaxed at the same time."
Vysoká	Obsah popisující vyžádání sexuálních komerčních služeb obsahující podrobné popisy sexuální aktivity, násilného sexuálního zneužívání a znásilnění a nekonenzuální výměny moci, zneužívání a voyeurismu. Patří sem také obsah, který se používá k propagaci, podpoře nebo glorifii extrémních nebo nelegálních sexuálních činů. To zahrnuje: Jakékoli znázornění materiálu sexuálního zneužívání dětí (CSAM) včetně jakéhokoli explicitního nebo potenciálního odkazu na sex Výmaz dětí, zneužívání dětí a další zneužívání dětí Explicitní nebo potenciální odkazy na incest, zoofilia, necrophilia atd. Nábor lidí s obchodováním s pohlavím, včetně manipulace s oběťmi	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

Úrovně závažnosti násilí

Úroveň závažnosti	Popis	Příklad textu
Safe	Obsah je bezpečný, ale může obsahovat termíny související s násilím používaným v obecných a bezpečných kontextech, jako jsou: Vzdělávání Média Oficiální statistika Historie Lékařství Věda Běžné objekty, pokud se nepoužívají jako zbraně Technické specifikace proaktivního lovu nebo střelného sportu a zbraní	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
Nízká	Obsah v fiktivních kontextech (například hry, literatura, umění), které znázorňují násilné nebo grafické scény bez glorifikace, doporučení nebo špatného záměru. To zahrnuje: Osobní zkušenosti s násilím (bez násilného záměru) Předsudky, dotčeny, úsudky nebo názory na násilí Zmínky o násilném činu a smrti s nízkou intenzitou	"Some people just need to be slapped."
Střední	Obsah, který obsahuje grafické znázornění násilí a smrti ve střední intenzitě a také fantazie o násilném činu nebo hrozbách. To zahrnuje: Texty, které vystavily oběť vina nebo znázorňují pachatele pozitivním způsobem Historické odkazy na amplitudu a Hiv bez doporučení nebo glorifikace Odkazy na známé hromadné střelby bez doporučení nebo oslavy Odkazy na teroristické a násilné skupiny a události bez doporučení nebo glorifikace Texty, které hledají radu nebo doporučení nebo texty, které poskytují pokyny k násilnému činu proti zvířatu, jednotlivci, skupině jednotlivců nebo objektu nebo infrastruktuře, které mohou vést k individuálnímu nebo hromadnému poškození Bullying and zastrašující	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
Vysoká	Obsah, který obsahuje teroristickou nebo násilnou pornografii a násilnou hierarchii na internetu, která popisuje, chválí, podporuje, podporuje nebo glorifuje vraždy v rámci teroristických aktivit, pomáhá nabídek teroristickým organizacím nebo příčinám. To zahrnuje: Texty, které hledají pokyny pro spojení s teroristickými a násilnémi skupinami Texty, které poskytují pokyny k náboru sledujících uživatelů, ovlivnění lidí vůči teroristickým příčinám nebo teroristické hierarchii, přijetí radikálných názorů nebo školení o tom, jak teroristické a násilné skupiny působí, nebo poskytují informace o svých vedoucích a členech. Texty, které plánují a koordinují útoky na jednotlivce nebo skupiny lidí, včetně střílecích událostí, použití bomb a výbušnin na civilní infrastruktuře nebo útokům na zbraně s ostřím, pokud jsou prováděny neovlivňovanými nebo neteroristy Obsah, který odkazuje na nucenou práci, včetně dětí, domácí služebnosti, stalkingu a vynucených lékařských postupů	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

Úrovně závažnosti sebepoškozování

Úroveň závažnosti	Popis	Příklad textu
Safe	Obsah je bezpečný, ale může obsahovat termíny týkající se sebepoškozování, které se používají v obecných a bezpečných kontextech, jako jsou: Oficiální statistika Vzdělávání Média Lékařský Akce, které popisují náhodné sebepoškozování, tipy na první pomoc atd.	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
Nízká	Obsah, který obsahuje odkazy na postavy plánující nebo spáchání sebevraždy v fiktivním kontextu (například literatura, filmy) nebo obsahuje znázornění činů sebepoškozování nebo sebevraždy s nízkou intenzitou. To zahrnuje: Osobní předsudky, dotčeny, úsudky nebo názory na sebepoškozování Asociace s poruchami stravování, hledáním nebo poskytováním pokynů pro drastické a špatné hubnutí Osobní zkušenosti související se sebepoškozováním, včetně hledání odborné pomoci	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
Střední	Obsah, který napodobuje oběti nebo přeživší sebepoškozování, jako jsou poruchy stravování nebo sebevražda, stejně jako bully a zastrašování, které vyvolává a podporuje činy sebepoškozování. To zahrnuje: Samozraní prezentované jako řešení problému Fantazie, touha, přání nebo osobní zkušenosti týkající se sebepoškozování/sebevraždy Texty, které hledají nebo poskytují rady, pokyny nebo doporučení týkající se výkonu sebepoškozování Bullying andstraion that incites and propaguje sebepoškozování činy	"Go kill yourself, you are worthless."
Vysoká	Obsah, který obsahuje výzkum pro radu nebo poskytuje pokyny a metody týkající se sebepoškozování, které vede k smrti nebo k tomu, jak spáchat sebevraždu a potvrzení sebevraždy nebo jiné závažné typy sebepoškozování. To zahrnuje: Texty, které dávají pokyn, jak napsat zprávu o rozloučení vaší rodině Samokapaci Hořící naživu	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

Obsah obrázku

Upozorňující

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Definice závažnosti

Úrovně závažnosti nenávisti a nestrannosti

Úroveň závažnosti	Popis	Příklad obrázku
Safe	Obsah je bezpečný, ale může obsahovat obrázky související s nenávistí a nestranností bez mínění nebo neutrálních mínění v nediskriminačních nediskriminacích způsobech v následujících kontextech nebo podobných: Novinářský Historický ceník Zdravotní Právní informace Vzdělání Geografický	Nefederační vlajky, např. vlajky zemí nebo států, které mají křížky Obrázek vlajky Unie Jacka Velké Británie Znázornění emancipace zoslavených lidí v USA na historických fotografiích
Nízká	Obsah, který obsahuje buď pozitivní mínění, falešně pozitivní mínění nebo negativní, zkreslené mínění, které se liší od ostatních skupin identit. Tento obsah je určený k aktivaci emocionální odpovědi. Sem patří: Ochrana Symbolismus, konfederační vlajka, symbolismus Ku Klux Klan Stereotypní opakování Diskriminace v zaměstnání	Reprezentace hnutí "No Hate Speech" Reprezentace zastaralých uchazečů o zaměstnání, jako jsou kandidáti s postižením v nastavení pohovoru
Střední	Obsah, který obsahuje akci negativního mínění vůči skupinám identit a dalším osobám, které vedou k povýšení akce proti skupinám identit a míněním nadřazenosti. Sem patří: Urážka, izolace, napodobení Nácková vlajka, konfederační vlajka a varianty a zboží	Imagery, které podporují sociální předcházení [skupinám identit] Imagery, která znázorňuje teorii rasového zlepšení a eugenii
Vysoká	Obsah, který obsahuje negativní mínění a projevy nenávisti vůči skupinám identit, které vedou ke generování řeči nebo nenávisti. Sem patří: Rasismus Útoky na KOMUNITQIA+ Zakázání Diskriminace na základě pohlaví Glorified Nazi symbolism, Confederate flag, Ku Ku Klux Klan symbolism Příznak násilného konfederátu	Snímky typu "Jižní kříž", který znázorňuje modrý solí (diagonální kříž) se sdružováním zjevného násilí (např. zbraně v displeji/použití)

Úrovně sexuální závažnosti

Úroveň závažnosti	Popis	Příklad obrázku
Safe	Obsah je bezpečný, ale obsahuje sexuálně související obrázky používané v obecném smyslu. Sem patří: Rodinné a romantické vztahy Ne-sexuální nahota Clothing Běžné objekty Ne sexuální pozice nebo aktivita Živočišná rohož Sexuální wellness	Reprezentace huggingu nebo vytváření non-sexuální fyzické kontaktní reprezentace znázorňující fyzické zobrazení lásky, jako je líbání bez jazyka a bez nahoty
Nízká	Obsah, který obsahuje sexuální sugestivní chování nebo činy. Sem patří: Osobní prostředí Módní modelování Nahota v uměleckém díla Základní obrázek Racy display	Znázornění lidí
Střední	Obsah, který obsahuje komerční a amatérský erotický a/nebo pornografický obsah bez vizuální fotografické penetrace a nahá nebo nahá nahá účastníci zapojené do sexuálních scén, které mají být sexuálně probuzující. Sem patří: Sexuální modelování Měkká nahota v uměleckém díla Sex pracovní příležitosti nebo obchody Nejasná sexuální aktivita Porno produkce backstage Tančící pole	Znázornění pohlavního styku, které mohou být částečně odlehlé, ale stále jasně přítomné na obrázku
Vysoká	Obsah, který obsahuje explicitní podrobné znázornění sexuálních orgánů a sexuálních činů, včetně nelegálních činů. Sem patří: Amatér soft-core a hard-core pornografie Sexuální výzvy Voyeurismus Sex v kresbě BDSM bez souhlasu nebo znásilnění Sexuální zneužívání a zneužívání dětí Výmaz dětí Incest	Znázornění zapojení do sexuálních aktivit se zvířaty nebo mrtvolami

Úrovně závažnosti násilí

Úroveň závažnosti	Popis	Příklad obrázku
Safe	Obsah je bezpečný, ale obsahuje obrázky související s násilím, které se používají obecně. Sem patří: Pozice ve spánku nebo pokládání Běžné objekty Nenásilná aktivita Lana ne jako noose Nástroje s ostřím používané v kuchyni/šití Rány, jizvy a chirurgické ošetření Lov a střelba sport Toy a předstírat zbraně Bojová praxe Poškození objektů a vandalismus Neoznamovaný teroristický symbolismus	Znázornění nerealistických zbraní a ostří nástrojů
Nízká	Obsah, který obsahuje obrázky související s násilím a působí ve skutečném světě nebo fiktivní kontexty s nízkými gore. Sem patří: Zbraně, zbraně a nástroje s ostřím v displeji a používané Nerealistické mrtvoly Nerealistické násilí Animované zbraně Lehké zranění a osobní zkušenosti Lana jako noose Smrt v historickém, vzdělávacím nebo funerárním nastavení Nerealistický teroristický symbolismus Býčí zápasy	Znázornění příznakůLUŠ/al-Qaeda
Střední	Obsah, který obsahuje středně závažné grafické násilí a násilné činy zaměřené na identifikovaný cíl. Sem patří: Pitva Místo činu nebo smrti Smrt zvířat (přírodní nebo lovná), oběť zvířat, zneužívání zvířat Zotročení Vraždy a hromadné vraždy v historických, vzdělávacích nastaveních Jatky Domácí násilí a fyzické zneužívání Šikana Zbraně a zbraně používané proti cíli	Znázornění použití síly a vynucení k agresivnímu dominování nebo zastrašení jednotlivce
Vysoká	Obsah, který obsahuje explicitní podrobné znázornění násilí a násilné činy ve vysoké gore. Sem patří: Grafické zranění a smrt Rozčlenit, dekapitace, hořící naživu Rozklad mrtvoly Terorismus, teroristická skupina a vlajky Vynucená práce a servírnost, vynucená lékařská procedura Sledování Mrtvola v terorismu a válečné trestné činnosti Událost střelby Jiný problémový	Znázornění smrti při provedení teroristických skupin identifikovatelných příznakem a symboly

Úrovně závažnosti sebepoškozování

Úroveň závažnosti	Popis	Příklad obrázku
Safe	Obsah je bezpečný, ale obsahuje obrázky související s vlastním poškozením, které se používají v obecném smyslu. Sem patří: Nízký tuk v těle Akt bez sebeškodí Náhodné zranění těla	Znázornění skoku s padákem z letadla
Nízká	Obsah, který obsahuje obrázky související se sebepoškozováním a působí ve skutečném světě nebo fiktivních kontextech s nízkými gore. Sem patří: Jizvy Zranění sebepoškozování při zotavení Nerealistické sebepoškozování Vymýcené jednotlivce nebo zvířata	Reprezentace činů, nástrojů, zranění a emocionálního stavu souvisejících se sebepoškozováním
Střední	Obsah, který obsahuje moderované grafické obrázky týkající se sebepoškozování a sebevraždy Sem patří: Pitva Místo činu nebo smrti Šikana	Reprezentace použití síly a vynucení k agresivnímu dominování nebo zastrašení jednotlivce do sebepoškozování
Vysoká	Obsah, který obsahuje explicitní podrobné znázornění sebepoškozování a sebevraždy ve vysoké gore. Sem patří: Bezprostřední sebepoškozování činu Sebeškodné činy Sebevražda	Znázornění úmyslné sebevraždy, kdy osoba spáchá sebevraždu skokem z vysoké budovy

Konfigurovatelnost (Preview)

Výchozí konfigurace filtrování obsahu pro řadu modelů GPT je nastavená na filtrování na střední prahové hodnotě závažnosti pro všechny čtyři kategorie škod obsahu (nenávist, násilí, sexuální a sebepoškozování) a vztahuje se na výzvy (text, vícemodální text/obrázek) a dokončení (text). To znamená, že obsah, který je zjištěn na střední nebo vysoké úrovni závažnosti, je filtrovaný, zatímco obsah zjištěný na úrovni závažnosti není filtrován filtry obsahu. U DALL-E je výchozí prahová hodnota závažnosti nastavená na nízkou pro výzvy (text) i dokončení (obrázky), takže obsah zjištěný na úrovních závažnosti nízký, střední nebo vysoký je filtrovaný. Funkce konfigurovatelnosti je dostupná ve verzi Preview a umožňuje zákazníkům upravit nastavení samostatně pro výzvy a dokončení a filtrovat obsah pro každou kategorii obsahu na různých úrovních závažnosti, jak je popsáno v následující tabulce:

Filtrovaná závažnost	Konfigurovatelné pro výzvy	Konfigurovatelné pro dokončení	Popisy
Nízká, střední, vysoká	Ano	Yes	Nejtěsnější konfigurace filtrování. Obsah zjištěný na úrovních závažnosti je nízký, střední a vysoký filtrovaný.
Střední, vysoká	Ano	Yes	Obsah zjištěný na úrovni závažnosti není filtrovaný, obsah na střední a vysoké úrovni se filtruje.
Vysoká	Ano	Yes	Obsah zjištěný na úrovních závažnosti nízký a střední není filtrovaný. Filtruje se pouze obsah na úrovni závažnosti. Vyžaduje schválení1.
Žádné filtry	Pokud schváleno1	Pokud schváleno1	Žádný obsah se nefiltruje bez ohledu na zjištěnou úroveň závažnosti. Vyžaduje schválení1.

¹ Pro modely Azure OpenAI mají plnou kontrolu nad filtrováním obsahu jenom zákazníci, kteří byli schváleni pro filtrování upraveného obsahu, a můžou vypnout filtry obsahu. Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře: Kontrola omezeného přístupu Azure OpenAI: Upravené filtry obsahu pro zákazníky Azure Government, požádejte o upravené filtry obsahu prostřednictvím tohoto formuláře: Azure Government – Filtrování upraveného obsahu pro službu Azure OpenAI.

Konfigurovatelné filtry obsahu pro vstupy (výzvy) a výstupy (dokončení) jsou k dispozici pro následující modely Azure OpenAI:

• Řada modelů GPT
• GPT-4 Turbo Vision GA^* (turbo-2024-04-09)
• GPT-4o
• DALL-E 2 a 3

^*Dostupná pouze pro GPT-4 Turbo Vision GA, nevztahuje se na GPT-4 Turbo Vision Preview.

Konfigurace filtrování obsahu se vytvářejí v rámci prostředku v Azure AI Studiu a dají se přidružit k nasazením. Další informace o možnosti konfigurace najdete tady.

Zákazníci zodpovídají za zajištění toho, aby aplikace integrující Azure OpenAI dodržovaly pravidla chování.

Podrobnosti scénáře

Když systém filtrování obsahu zjistí škodlivý obsah, zobrazí se při volání rozhraní API chyba, pokud byla výzva považována za nevhodnou, nebo finish_reason odpověď v content_filter odpovědi značí, že se některá z dokončení vyfiltrovala. Při vytváření aplikace nebo systému budete chtít zohlednit tyto scénáře, kdy se filtruje obsah vrácený rozhraním API pro dokončování, což může vést k neúplnosti obsahu. Způsob reakce na tyto informace bude specifický pro konkrétní aplikaci. Chování lze shrnout v následujících bodech:

• Výzvy klasifikované podle filtrované kategorie a úrovně závažnosti vrátí chybu HTTP 400.
• Volání nedokončící streamování nevrátí žádný obsah při filtrování obsahu. Hodnota finish_reason se nastaví na content_filter. Ve výjimečných případech s delšími odpověďmi je možné vrátit částečný výsledek. V těchto případech finish_reason se aktualizuje.
• U volání dokončení streamování se segmenty vrátí zpět uživateli, jakmile jsou dokončené. Služba bude dál streamovat, dokud nedosáhne tokenu stop, délky nebo zjištění obsahu klasifikovaného na filtrované kategorii a úrovně závažnosti.

Scénář: Odešlete volání bez streamování, které žádá o více výstupů; žádný obsah není klasifikován na filtrované kategorii a na úrovni závažnosti.

Následující tabulka popisuje různé způsoby, jak se může filtrování obsahu zobrazit:

Kód odpovědi HTTP	Chování odpovědi
200	V případech, kdy všechna generování předá filtry podle konfigurace, nejsou do odpovědi přidány žádné podrobnosti o kon režim stanu ration. Pro finish_reason každou generaci bude buď zarážka, nebo délka.

Ukázková datová část požadavku:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Příklad kódu JSON odpovědi:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénář: Vaše volání rozhraní API žádá o více odpovědí (N>1) a alespoň jedna z odpovědí je filtrovaná.

Kód odpovědi HTTP	Chování odpovědi
200	Generace filtrované budou mít finish_reason hodnotu content_filter.

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Příklad kódu JSON odpovědi:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénář: Do rozhraní API pro dokončování se odešle nevhodný vstupní dotaz (buď pro streamování, nebo pro jiné streamování).

Kód odpovědi HTTP	Chování odpovědi
400	Volání rozhraní API selže, když výzva aktivuje filtr obsahu podle konfigurace. Upravte výzvu a zkuste to znovu.

Ukázková datová část požadavku:

{
    "prompt":"Content that triggered the filtering model"
}

Příklad kódu JSON odpovědi:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Scénář: Volání dokončení streamování; Žádný výstupní obsah není klasifikován na filtrované kategorii a na úrovni závažnosti.

Kód odpovědi HTTP	Chování odpovědi
200	V tomto případě se volání bude streamovat zpět s úplnou generováním a finish_reason bude buď "délka" nebo "stop" pro každou vygenerovanou odpověď.

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Příklad kódu JSON odpovědi:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénář: Volání dokončení streamování s žádostí o více dokončení a alespoň část výstupního obsahu se filtruje.

Kód odpovědi HTTP	Chování odpovědi
200	U daného indexu generování obsahuje poslední blok generace hodnotu, která není null finish_reason . Hodnota je content_filter , když se generování vyfiltrovalo.

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Příklad kódu JSON odpovědi:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénář: Systém filtrování obsahu se po dokončení nespustí

Kód odpovědi HTTP	Chování odpovědi
200	Pokud je systém filtrování obsahu mimo provoz nebo jinak nemůže dokončit operaci včas, vaše žádost se dokončí i bez filtrování obsahu. Filtrování nelze použít vyhledáním chybové zprávy v objektu content_filter_result .

Ukázková datová část požadavku:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Příklad kódu JSON odpovědi:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Poznámky

Filtry obsahu

Pokud jsou povoleny poznámky, jak je znázorněno v následujícím fragmentu kódu, vrátí se následující informace prostřednictvím rozhraní API pro kategorie nenávisti a nestrannosti, sexuálního, násilí a sebepoškozování:

• kategorie filtrování obsahu (nenávist, sexuální, násilí, self_harm)
• úroveň závažnosti (bezpečná, nízká, střední nebo vysoká) v rámci každé kategorie obsahu
• filtrování stavu (pravda nebo nepravda).

Volitelné modely

Volitelné modely je možné povolit v poznámkách (vrátí informace, když byl obsah označen příznakem, ale není filtrovaný) nebo režim filtru (vrátí informace, když byl obsah označen příznakem a filtrován).

Pokud jsou povoleny poznámky, jak je znázorněno v níže uvedených fragmentech kódu, rozhraní API vrátí následující informace pro volitelné modely:

Model	Výstup
útěk z vězení	zjištěno (pravda nebo nepravda), filtrováno (pravda nebo nepravda)
nepřímé útoky	zjištěno (pravda nebo nepravda), filtrováno (pravda nebo nepravda)
chráněný materiálový text	zjištěno (pravda nebo nepravda), filtrováno (pravda nebo nepravda)
chráněný kód materiálu	detected (true nebo false), filtered (true or false), Example citation of public GitHub repository where code snippet was found, The license of the repository

Při zobrazování kódu ve vaší aplikaci důrazně doporučujeme, aby aplikace zobrazovala také ukázkové citace z poznámek. Pro pokrytí závazku autorských práv zákazníka může být vyžadována také shoda s citovanými licencemi.

Dostupnost poznámek v jednotlivých verzích rozhraní API najdete v následující tabulce:

Kategorie	2024-02-01 GA	2024-04-01-preview	2023-10-01-preview	2023-06-01-preview
Nenávist	✅	✅	✅	✅
Násilí	✅	✅	✅	✅
Sexuální	✅	✅	✅	✅
Sebepoškozování	✅	✅	✅	✅
Vyzvání štítu k útokům s jailbreakem	✅	✅	✅	✅
Výzva k stínění pro nepřímé útoky		✅
Chráněný text materiálu	✅	✅	✅	✅
Chráněný kód materiálu	✅	✅	✅	✅
Seznam blokovaných vulgárních výrazů	✅	✅	✅	✅
Vlastní seznam blokovaných položek		✅	✅	✅

OpenAI Python 1.x

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

Výstup

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

OpenAI Python 0.28.1

Poznámka:

Verze 0.28.1 knihovny Python OpenAI je zastaralá. Doporučujeme používat 1.x. Informace o přechodu z 0.28.1 této 1.xmigrace najdete v našem průvodci migrací.

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

Výstup

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

Následující fragment kódu ukazuje, jak načíst poznámky při filtrování obsahu:

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

JavaScript

Zdrojové kódy a ukázky sady Azure OpenAI JavaScript SDK

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "<endpoint>";
const azureApiKey = process.env["AZURE_API_KEY"] || "<api key>";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

PowerShell

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

Objekt $response obsahuje vlastnost s názvem prompt_filter_results , která obsahuje poznámky o výsledcích filtru. Pokud dáváte přednost formátu JSON objektu .NET, předejte výstup ConvertTo-JSON místo Format-List.

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Podrobnosti o koncových bodech rozhraní REST API pro odvozování pro Azure OpenAI a o tom, jak vytvořit chat a dokončování, najdete v referenčních materiálech k rozhraní REST API služby Azure OpenAI. Poznámky se vrátí pro všechny scénáře při použití jakékoli verze rozhraní API ve verzi Preview počínaje 2023-06-01-preview, a také verze 2024-02-01rozhraní GA API .

Ukázkový scénář: Do rozhraní API pro dokončování se odešle vstupní výzva obsahující obsah klasifikovaný na filtrované kategorii a úroveň závažnosti.

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Vkládání dokumentů do výzev

Klíčovým aspektem zodpovědných opatření umělé inteligence Azure OpenAI je systém zabezpečení obsahu. Tento systém běží společně s základním modelem GPT, který monitoruje případné nesrovnalosti ve vstupu a výstupu modelu. Jeho výkon se zlepší, když dokáže rozlišit různé prvky výzvy, jako je vstup systému, vstup uživatele a výstup asistenta AI.

U rozšířených možností detekce by měly být výzvy formátovány podle následujících doporučených metod.

Rozhraní API pro dokončování chatu

Rozhraní API pro dokončování chatu je strukturované podle definice. Skládá se ze seznamu zpráv, z nichž každá má přiřazenou roli.

Bezpečnostní systém analyzuje tento strukturovaný formát a použije následující chování:

• V nejnovějším obsahu "uživatel" budou zjištěny následující kategorie rizik RAI:
  • Nenávist
  • Sexuální
  • Násilí
  • Sebepoškozování
  • Jailbreak (volitelné)

Toto je příklad pole zpráv:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Vložení dokumentů do výzvy

Kromě detekce v obsahu posledního uživatele podporuje Azure OpenAI také detekci konkrétních rizik v kontextových dokumentech prostřednictvím nástroje Prompt Shields – Indirect Prompt Attack Detection. Měli byste identifikovat části vstupu, které jsou dokumentem (např. načtený web, e-mail atd.) s následujícím oddělovačem dokumentu.

<documents> 
*insert your document content here* 
</documents>

Když to uděláte, jsou pro detekci označených dokumentů k dispozici následující možnosti:

• Na každém označeném obsahu dokumentu detekujte následující kategorie:
  • Nepřímé útoky (volitelné)

Tady je příklad pole zpráv o dokončení chatu:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n*insert your document content here*\n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."} 

Zapouzdření JSON

Když označíte neověřené dokumenty za účelem detekce, měl by být obsah dokumentu uchvácený do formátu JSON, aby se zajistilo úspěšné parsování bezpečnostním systémem Azure OpenAI.

Podívejte se například na následující text e-mailu:

Hello Josè, 

I hope this email finds you well today.

Při escapingu JSON by se to četlo:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Řídicí text v kontextu dokončení chatu by četl:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n<\\documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Streamování obsahu

Tato část popisuje možnosti a možnosti streamování obsahu Azure OpenAI. Zákazníci mají možnost přijímat obsah z rozhraní API, protože se generuje, a nečekejte na bloky obsahu, které byly ověřeny, aby předaly filtry obsahu.

Výchozí

Systém filtrování obsahu je ve výchozím nastavení integrovaný a povolený pro všechny zákazníky. Ve výchozím scénáři streamování se obsah dokončení uloží do vyrovnávací paměti, systém filtrování obsahu běží na obsahu ve vyrovnávací paměti a v závislosti na konfiguraci filtrování obsahu se obsah vrátí uživateli, pokud neporuší zásady filtrování obsahu (výchozí nastavení Microsoftu nebo vlastní konfigurace uživatele), nebo se okamžitě zablokuje a vrátí chybu filtrování obsahu, bez vrácení škodlivého obsahu dokončení. Tento proces se opakuje až do konce datového proudu. Obsah je plně prověřený podle zásad filtrování obsahu, než se vrátí uživateli. Obsah v tomto případě nevrací token-by-token, ale v "blocích obsahu" odpovídající velikosti vyrovnávací paměti.

Asynchronní filtr

Zákazníci si můžou jako další možnost zvolit asynchronní filtr a poskytnout tak nové prostředí streamování. V tomto případě se filtry obsahu spouští asynchronně a obsah dokončení se okamžitě vrátí s hladkým prostředím streamování tokenů po tokenech. Žádný obsah není uložen do vyrovnávací paměti, což umožňuje rychlé streamování s nulovou latencí spojenou s bezpečností obsahu.

Zákazníci si musí uvědomit, že zatímco funkce zlepšuje latenci, jedná se o kompromis proti bezpečnosti a prověřování menších částí výstupu modelu v reálném čase. Protože filtry obsahu se spouští asynchronně, zprávy o kon režim stanu race a signály porušení zásad jsou zpožděné, což znamená, že některé části škodlivého obsahu, které by jinak byly filtrovány okamžitě, by se uživateli mohly zobrazit.

Poznámky: Poznámky a con režim stanu ration messages are nepřetržitě vráceny během streamu. Důrazně doporučujeme používat poznámky ve vaší aplikaci a implementovat další mechanismy zabezpečení obsahu umělé inteligence, jako je redakce obsahu nebo vrácení dalších bezpečnostních informací uživateli.

Signál filtrování obsahu: Chybový signál filtrování obsahu je zpožděný. V případě porušení zásad se vrátí hned, jak je k dispozici, a stream se zastaví. Signál filtrování obsahu je zaručen v intervalu přibližně 1 000 znaků porušení obsahu zásad.

Závazek autorských práv zákazníka: Obsah, který je zpětně označený jako chráněný materiál, nemusí mít nárok na pokrytí závazku autorských práv zákazníka.

Pokud chcete v Nástroji Azure OpenAI Studio povolit asynchronní filtr, postupujte podle pokynů k vytvoření nové konfigurace filtrování obsahu a v části Streamování vyberte Asynchronní filtr .

Porovnání režimů filtrování obsahu

Compare	Streamování – výchozí	Streamování – asynchronní filtr
Stav	GA	Verze Public Preview
Způsobilost	Všichni zákazníci	Zákazníci schválení pro filtrování upraveného obsahu
Jak povolit	Ve výchozím nastavení je povolená žádná akce.	Zákazníci schválení pro filtrování upraveného obsahu ho můžou nakonfigurovat přímo v Nástroji Azure OpenAI Studio (jako součást konfigurace filtrování obsahu použité na úrovni nasazení).
Způsoby a dostupnost	Text; všechny modely GPT	Text; všechny modely GPT
Prostředí streamování	Obsah je uložen do vyrovnávací paměti a vrací se v blocích dat.	Nulová latence (bez ukládání do vyrovnávací paměti, filtry se spouští asynchronně)
Signál filtrování obsahu	Okamžitý filtrovací signál	Zpožděný filtrovací signál (v přírůstcích až ~1 000 znaků)
Konfigurace filtrování obsahu	Podporuje výchozí a jakékoli nastavení filtru definované zákazníkem (včetně volitelných modelů).	Podporuje výchozí a jakékoli nastavení filtru definované zákazníkem (včetně volitelných modelů).

Poznámky a ukázkové odpovědi

Výzva k poznámce

Je to stejné jako výchozí poznámky.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Zpráva tokenu dokončení

Zprávy o dokončení se přeposílají okamžitě. Nejprve se neprovádí žádný moderování a na začátku nejsou k dispozici žádné poznámky.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Zpráva poznámky

Textové pole bude vždy prázdný řetězec označující žádné nové tokeny. Poznámky budou relevantní pouze pro již odeslané tokeny. Může existovat několik zpráv poznámek odkazujících na stejné tokeny.

"start_offset" a "end_offset" jsou posuny s nízkou členitostí textu (s hodnotou 0 na začátku výzvy), aby označily, pro který text je poznámka relevantní.

"check_offset" představuje, kolik textu bylo plně moderováno. Jedná se o výhradní dolní mez "end_offset" hodnot budoucích poznámek. Nespadá.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Ukázkový stream odpovědí (předá filtry)

Níže je skutečná odpověď na dokončení chatu pomocí asynchronního filtru. Všimněte si, že se poznámky výzvy nezmění, tokeny dokončení se odesílají bez poznámek a nové zprávy poznámek se odesílají bez tokenů – místo toho jsou přidružené k určitým posunům filtru obsahu.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Ukázkový stream odpovědí (blokovaný filtry)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Důležité

Když se pro výzvu aktivuje filtrování obsahu a "status": 400 jako součást odpovědi se zobrazí poplatek za tuto žádost, protože služba vyhodnotila výzvu. Vzhledem k asynchronní povaze systému filtrování obsahu dojde k poplatku za tokeny výzvy i dokončení. K poplatkům dojde také při "status":200 přijetí "finish_reason": "content_filter". V tomto případě výzva neměla žádné problémy, ale dokončení vygenerované modelem bylo zjištěno, že porušuje pravidla filtrování obsahu, která mají za následek filtrování dokončení.

Osvědčené postupy

Jako součást návrhu aplikace zvažte následující osvědčené postupy, které zajistí pozitivní zkušenosti s aplikací a minimalizují potenciální škody:

• Rozhodněte se, jak chcete zpracovávat scénáře, kdy vaši uživatelé posílají výzvy obsahující obsah klasifikovaný na filtrovanou kategorii a úroveň závažnosti nebo jinak zneužívají vaši aplikaci.
• Zkontrolujte, finish_reason jestli je dokončení filtrované.
• Zkontrolujte, jestli v objektu content_filter_result není žádný chybový objekt (což znamená, že se nespustí filtry obsahu).
• Pokud používáte model chráněného kódu materiálu v režimu poznámek, při zobrazení kódu v aplikaci zobrazte adresu URL citace.

Další kroky

• Přečtěte si další informace o základních modelech, které power Azure OpenAI.
• Platí pro upravené filtry obsahu prostřednictvím tohoto formuláře.
• Filtrování obsahu Azure OpenAI využívá Zabezpečení obsahu Azure AI.
• Přečtěte si další informace o porozumění a zmírnění rizik spojených s vaší aplikací: Přehled zodpovědných postupů AI pro modely Azure OpenAI.
• Přečtěte si další informace o tom, jak se data zpracovávají v souvislosti s filtrováním obsahu a monitorováním zneužití: Data, ochrana osobních údajů a zabezpečení pro službu Azure OpenAI.