Co je Zabezpečení obsahu Azure AI?

Azure AI Content Safety je služba AI, která detekuje škodlivý uživatelem generovaný a generovaný obsah umělé inteligence v aplikacích a službách. Azure AI Content Safety obsahuje rozhraní API pro text a obrázky, která umožňují detekovat škodlivý materiál. Interaktivní Content Safety Studio umožňuje zobrazit, prozkoumat a vyzkoušet vzorový kód pro detekci škodlivého obsahu v různých režimech.

Software pro filtrování obsahu může vaší aplikaci pomoct dodržovat předpisy nebo udržovat určené prostředí pro vaše uživatele.

Tato dokumentace obsahuje následující typy článků:

• Koncepty poskytují podrobné vysvětlení funkčnosti a vlastností služby.
• Rychlé starty jsou úvodní pokyny, které vás provedou prováděním požadavků na službu.
• Návody obsahují pokyny pro používání služby konkrétnějšími nebo přizpůsobenými způsoby.

Kde se používá

Následuje několik scénářů, ve kterých by vývojář softwaru nebo tým potřeboval službu moderování obsahu:

• Výzvy uživatelů odeslané do služby pro generativní umělou inteligenci.
• Obsah vytvořený generováním modelů AI
• Online marketplace, které moderují katalogy produktů a další uživatelem generovaný obsah.
• Herní společnosti, které moderují uživatelsky generované herní artefakty a chatovací místnosti.
• Platformy sociálních zpráv, které moderují obrázky a text přidaný jejich uživateli
• Podnikové mediální společnosti, které implementují centralizované moderování obsahu.
• Poskytovatelé řešení pro vzdělávání K-12 filtrují obsah, který není vhodný pro studenty a vyučující.

Important

Službu Azure AI Content Safety nemůžete použít k detekci obrázků nelegálního dětského zneužívání.

Produktové funkce

Tato služba zpřístupňuje několik různých typů analýz. Následující tabulka popisuje aktuálně dostupná rozhraní API.

Feature	Functionality	Průvodce ke konceptům	Začínáme
Rychlé štíty	Prohledává text pro detekci rizika útoku prostřednictvím uživatelských vstupů na velký jazykový model.	Koncepty Prompt Shields	Quickstart
Detekce uzemnění (Preview)	Zjistí, jestli jsou textové odpovědi velkých jazykových modelů (LLM) uzemněny ve zdrojových materiálech poskytovaných uživateli.	Koncepty detekce pevnosti	Quickstart
Detekce textu chráněného materiálu	Prohledá text vygenerovaný pomocí umělé inteligence pro známý textový obsah (například text skladby, články, recepty, vybraný webový obsah).	Koncepty chráněného materiálu	Quickstart
Vlastní kategorie (standard) API (preview)	Umožňuje vytvářet a trénovat vlastní kategorie obsahu a vyhledávat shody v textu.	Koncepty vlastních kategorií	Quickstart
Vlastní kategorie (rychlé) rozhraní API (náhled)	Umožňuje definovat nově vznikající škodlivé vzory obsahu a kontrolovat shody textu a obrázků.	Koncepty vlastních kategorií	Průvodce postupy
Analýza textu Rozhraní api	Vyhledá text sexuálního obsahu, násilí, nenávisti a sebepoškozování s více úrovněmi závažnosti.	Kategorie škod	Quickstart
Analýza obrázku API rozhraní	Vyhledá obrázky sexuálního obsahu, násilí, nenávisti a sebepoškozování s více úrovněmi závažnosti.	Kategorie škod	Quickstart
Rozhraní API pro dodržování úkolů	Zjistí, kdy je použití nástrojů agenty AI nesprávné, nezamýšlené nebo předčasné v kontextu interakce s uživatelem.	Koncepty dodržování úkolů	Quickstart

Studio pro bezpečnost obsahu

Azure AI Content Safety Studio je online nástroj navržený pro zpracování potenciálně urážlivého, rizikového nebo nežádoucího obsahu pomocí moderních modelů strojového učení. Poskytuje šablony a přizpůsobené pracovní postupy, které uživatelům umožňují zvolit a vytvořit vlastní systém moderování obsahu. Uživatelé můžou nahrát vlastní obsah nebo si ho vyzkoušet s poskytnutým ukázkovým obsahem.

Content Safety Studio obsahuje nejen předdefinované modely AI, ale obsahuje také integrované seznamy blokovaných termínů Od Microsoftu pro označení vulgárních výrazů a udržování aktuálních informací o nových trendech obsahu. Můžete také nahrát vlastní seznamy bloků, abyste zvýšili pokrytí škodlivého obsahu, který je specifický pro váš případ použití.

Studio také umožňuje nastavit pracovní postup moderování, kde můžete průběžně monitorovat a zlepšovat výkon moderování obsahu. Může vám pomoct splnit požadavky na obsah ze všech druhů odvětví, jako jsou hry, média, vzdělávání, elektronické obchodování a další. Firmy můžou snadno propojit své služby se Studiem a jejich obsah byl moderován v reálném čase, bez ohledu na to, jestli je generovaný uživateli nebo umělou inteligencí.

Všechny tyto funkce zpracovává studio a její back-end; zákazníci se nemusí starat o vývoj modelů. Data můžete připojit k rychlému ověření a odpovídajícím způsobem monitorovat klíčové ukazatele výkonu, jako jsou technické metriky (latence, přesnost, úplnost) nebo obchodní metriky (míra bloků, objem bloků, poměr kategorií, poměr jazyka a další). Díky jednoduchým operacím a konfiguracím můžou zákazníci rychle testovat různá řešení a najít to nejlepší místo toho, abyste strávili čas experimentováním s vlastními modely nebo ručně moderováním.

Vyzkoušet Content Safety Studio

Funkce Content Safety Studio

V content Safety Studiu jsou k dispozici následující funkce zabezpečení obsahu Azure AI:

• Moderování obsahu textu: Pomocí nástroje pro moderování textu můžete snadno spouštět testy na textovém obsahu. Ať už chcete otestovat jednu větu nebo celou datovou sadu, náš nástroj nabízí uživatelsky přívětivé rozhraní, které vám umožní vyhodnotit výsledky testu přímo na portálu. Můžete experimentovat s různými úrovněmi citlivosti, abyste nakonfigurovali filtry obsahu a správu seznamu blokovaných položek a zajistili tak, že váš obsah bude vždy moderovaný na vaše přesné specifikace. Navíc s možností exportu kódu můžete nástroj implementovat přímo ve vaší aplikaci, streamovat pracovní postup a ušetřit čas.

• Moderování obsahu obrázků: Pomocí nástroje pro moderování obrázků můžete snadno spouštět testy obrázků, abyste zajistili, že splňují vaše standardy obsahu. Naše uživatelsky přívětivé rozhraní umožňuje vyhodnotit výsledky testů přímo na portálu a můžete experimentovat s různými úrovněmi citlivosti a nakonfigurovat filtry obsahu. Po přizpůsobení nastavení můžete snadno exportovat kód pro implementaci nástroje ve vaší aplikaci.

• Monitorování online aktivit: Výkonná stránka monitorování umožňuje snadno sledovat využití a trendy rozhraní API moderování napříč různými způsoby. Pomocí této funkce získáte přístup k podrobným informacím o odpovědích, včetně distribuce kategorií a závažnosti, latence, chyby a detekce seznamu blokovaných seznamů. Tyto informace vám poskytují úplný přehled o výkonu moderování obsahu, který vám umožní optimalizovat pracovní postup a zajistit, aby byl váš obsah vždy moderovaný dle vašich přesných specifikací. S naším uživatelsky přívětivým rozhraním můžete rychle a snadno procházet monitorovací stránku a získat přístup k informacím, které potřebujete k informovanému rozhodování o vaší strategii moderace obsahu. Máte nástroje, které potřebujete, abyste si udrželi přehled o výkonu moderování obsahu a dosáhli svých cílů týkajících se obsahu.

Zabezpečení

Microsoft Entra ID nebo spravovaná identita

Pokud chcete zvýšit zabezpečení, můžete ke správě přístupu k prostředkům použít Microsoft Entra ID nebo spravovanou identitu (MI).

• Spravovaná identita se automaticky povolí při vytváření prostředku zabezpečení obsahu.
• ID Microsoft Entra se podporuje ve scénářích rozhraní API i sady SDK. Přečtěte si obecné pokyny ke službám AI pro ověřování pomocí Microsoft Entra ID. Přístup můžete udělit také ostatním uživatelům v rámci vaší organizace tím, že jim přiřadíte role uživatelů a čtenáře služeb Cognitive Services. Další informace o udělení přístupu uživatelů k prostředkům Azure pomocí webu Azure Portal najdete v průvodci řízením přístupu na základě role.

Šifrování neaktivních uložených dat

Zjistěte, jak Azure AI Content Safety zpracovává šifrování a dešifrování vašich dat. Klíče spravované zákazníkem (CMK), označované také jako ByOK (Bring Your Own Key), nabízejí větší flexibilitu při vytváření, obměně, zákazu a odvolávání řízení přístupu. Šifrovací klíče sloužící k ochraně vašich dat můžete také auditovat.

Pricing

Azure AI Content Safety má cenovou úroveň F0 a S0 . Další informace najdete na stránce s cenami Azure.

Limity služeb

Important

Oznámení o vyřazení

V rámci správy verzí a životního cyklu zabezpečení obsahu oznamujeme vyřazení některých verzí Public Preview a GA našich rozhraní API služeb. Podle našich zásad vyřazení:

• Verze Public Preview: Každá nová verze Public Preview aktivuje vyřazení předchozí verze Preview po 90denním období, pokud se nezavádějí žádné zásadní změny.
• Verze GA: Při vydání nové verze GA bude předchozí verze GA po 90denním období vyřazena, pokud je zachována kompatibilita.

Podívejte se na stránku Novinky o nadcházejících vyřazeních.

Požadavky na vstup

Požadavky na vstup pro jednotlivé funkce najdete v následujícím seznamu.

• Analýza textového rozhraní API:
  • Výchozí maximální délka: 10 tisíc znaků (podle potřeby rozdělte delší texty).
• Analýza rozhraní API pro obrázky:
  • Maximální velikost souboru obrázku: 4 MB
  • Rozměry mezi 50 x 50 a 7200 × 7200 pixelů.
  • Obrázky můžou být ve formátech JPEG, PNG, GIF, BMP, TIFF nebo WEBP.
• Analýza multimodálního rozhraní API (Preview):
  • Výchozí maximální délka textu: 1K znaků.
  • Maximální velikost souboru obrázku: 4 MB
  • Rozměry mezi 50 x 50 a 7200 × 7200 pixelů.
  • Obrázky můžou být ve formátech JPEG, PNG, GIF, BMP, TIFF nebo WEBP.
• Rozhraní API Prompt Shields
  • Maximální délka výzvy: 10 tisíc znaků.
  • Až pět dokumentů s celkem 10 tisíci znaky.
• Rozhraní API pro detekci ukotvení (náhled):
  • Maximální délka uzemnění zdrojů: 55 000 znaků (na volání rozhraní API).
  • Maximální délka textu a dotazu: 7 500 znaků.
  • Minimální délka dotazu: 3 slova.
• Rozhraní API pro detekci chráněných materiálů:
  • Výchozí maximální délka: 10 tisíc znaků
  • Výchozí minimální délka: 110 znaků (používá se ke skenování dokončení procesů LLM, nikoli uživatelských výzev).
• Vlastní kategorie (standard) API (náhled):
  • Maximální délka odvození vstupu: 1K znaků.
• Dodržování úkolů (náhled):
  • Maximální délka vstupu: 100 tisíc znaků.

Podpora jazyků

Modely zabezpečení obsahu Azure AI pro chráněný materiál, detekci důvěryhodnosti a vlastní kategorie (standard) pracují pouze s angličtinou.

Další modely zabezpečení obsahu Azure AI byly speciálně natrénovány a testovány v následujících jazycích: čínština, angličtina, francouzština, němčina, španělština, italština, japonština, portugalština. Tyto funkce ale můžou fungovat v mnoha dalších jazycích, ale kvalita se může lišit. Ve všech případech byste měli provést vlastní testování, abyste se ujistili, že to pro vaši aplikaci funguje.

Další informace najdete v části Podpora jazyků.

Dostupnost v regionu

Pokud chcete používat rozhraní API zabezpečení obsahu, musíte vytvořit prostředek Zabezpečení obsahu Azure AI v podporované oblasti. Funkce zabezpečení obsahu jsou v současné době k dispozici v následujících oblastech Azure s různými verzemi rozhraní API:

Region	Vlastní kategorie (standard)	Groundedness	Obrázek	Multimodal(obrázek s textem)	Vlastní kategorie (rychlá)	Prompt Shield	Chráněný materiál (text)	Chráněný materiál (kód)	Text
Austrálie – východ	✅		✅		✅	✅	✅	✅	✅
Kanada – východ			✅		✅	✅	✅	✅	✅
Střed USA			✅		✅	✅	✅	✅	✅
USA – východ​	✅	✅	✅	✅	✅	✅	✅	✅	✅
USA – východ 2		✅	✅		✅	✅	✅	✅	✅
Francie – střed		✅	✅		✅	✅	✅	✅	✅
Německo – středozápad					✅	✅	✅		✅
Itálie – sever					✅	✅	✅		✅
Japonsko – východ			✅		✅	✅	✅	✅	✅
Korea – střed			✅			✅	✅		✅
Střed USA – sever			✅		✅	✅	✅	✅	✅
Polsko – střed			✅			✅	✅	✅	✅
Střed USA – jih			✅		✅	✅	✅	✅	✅
Indie – jih			✅		✅	✅	✅	✅	✅
Švédsko – střed		✅	✅		✅	✅	✅	✅	✅
Švýcarsko – sever	✅		✅		✅	✅	✅	✅	✅
Švýcarsko – západ			✅		✅	✅	✅	✅	✅
Spojené arabské emiráty – sever			✅		✅	✅	✅	✅	✅
Velká Británie – jih		✅	✅		✅	✅	✅	✅	✅
Západní Evropa			✅	✅	✅	✅	✅	✅	✅
USA – západ		✅	✅		✅	✅	✅	✅	✅
USA – západ 2​			✅		✅	✅	✅	✅	✅
USA – západ 3			✅		✅	✅	✅	✅	✅
FairFax - USGovArizona			✅			✅	✅	✅	✅
FairFax - USGovVirginia			✅			✅	✅		✅

Pokud vaše firma potřebuje k dispozici jiné oblasti, neváhejte nás kontaktovat .

Sazby dotazů

Funkce Zabezpečení obsahu mají omezení rychlosti dotazů v požadavcích za sekundu (RPS) nebo žádosti za 10 sekund (RP10S). Omezení četnosti jednotlivých funkcí najdete v následující tabulce.

Cenová úroveň	Rozhraní API moderování (text a obrázek)	Rychlé štíty	Chráněný materiál detekce	Groundedness detekce (Náhled)	Vlastní kategorie (rychlý) (Preview)	Vlastní kategorie (standard) (náhled)	Multimodal
F0	5 RPS	5 RPS	5 RPS	N/A	5 otáček za sekundu	5 RPS	5 otáček za sekundu
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 požadavků za sekundu (RPS)	10 RPS (počet požadavků za sekundu)

Pokud potřebujete rychlejší sazbu, kontaktujte nás a požádejte nás o ni.

Kontaktujte nás

Pokud se zaseknete, pošlete nám e-mail nebo použijte widget pro zpětnou vazbu v dolní části jakékoli stránky Microsoft Learn.

Další kroky

Pokud chcete ve své aplikaci začít používat Azure AI Content Safety, postupujte podle rychlého startu.

Rychlý start k zabezpečení obsahu