Co je Zabezpečení obsahu Azure AI?
Azure AI Content Safety je služba AI, která detekuje škodlivý uživatelem generovaný a generovaný obsah umělé inteligence v aplikacích a službách. Azure AI Content Safety obsahuje rozhraní API pro text a obrázky, která umožňují detekovat škodlivý materiál. Interaktivní Content Safety Studio umožňuje zobrazit, prozkoumat a vyzkoušet vzorový kód pro detekci škodlivého obsahu v různých režimech.
Software pro filtrování obsahu může vaší aplikaci pomoct dodržovat předpisy nebo udržovat určené prostředí pro vaše uživatele.
Tato dokumentace obsahuje následující typy článků:
- Koncepty poskytují podrobné vysvětlení funkcí a funkcí služby.
- Rychlé starty jsou úvodní pokyny, které vás provedou prováděním požadavků na službu.
- Návody obsahují pokyny pro používání služby konkrétnějšími nebo přizpůsobenými způsoby.
Kde se používá
Následuje několik scénářů, ve kterých by vývojář softwaru nebo tým vyžadoval kon režim stanu ration service:
- Uživatel zobrazí výzvu odeslanou do služby generující umělé inteligence.
- Obsah vytvořený generováním modelů AI
- Online marketplace, které moderují katalogy produktů a další uživatelem generovaný obsah.
- Herní společnosti, které moderují uživatelsky generované herní artefakty a chatovací místnosti.
- Platformy sociálních zpráv, které moderují obrázky a text přidaný jejich uživateli
- Podnikové mediální společnosti, které implementují centralizované moderování obsahu.
- Poskytovatelé řešení pro vzdělávání K-12 filtrují obsah, který není vhodný pro studenty a vyučující.
Důležité
Službu Azure AI Content Safety nemůžete použít k detekci neplatných podřízených obrázků zneužití.
Produktové funkce
Tato služba zpřístupňuje několik různých typů analýz. Následující tabulka popisuje aktuálně dostupná rozhraní API.
| Funkce | Funkce | Průvodce koncepty | Začínáme |
|---|---|---|---|
| Vyzvání štítů | Vyhledá text pro riziko útoku uživatelských vstupů na rozsáhlý jazykový model. | Koncepty výzev k stínění | Rychlý start |
| Detekce uzemnění (Preview) | Zjistí, jestli jsou textové odpovědi velkých jazykových modelů (LLM) uzemněny ve zdrojových materiálech poskytovaných uživateli. | Koncepty detekce uzemnění | Rychlý start |
| Detekce chráněného textu materiálu | Prohledá text vygenerovaný pomocí umělé inteligence pro známý textový obsah (například text skladby, články, recepty, vybraný webový obsah). | Koncepty chráněného materiálu | Rychlý start |
| Vlastní kategorie (standard) API (Preview) | Umožňuje vytvářet a trénovat vlastní kategorie obsahu a vyhledávat shody v textu. | Koncepty vlastních kategorií | Rychlý start |
| Vlastní kategorie (rychlé) rozhraní API (Preview) | Umožňuje definovat nově vznikající škodlivé vzory obsahu a kontrolovat shody textu a obrázků. | Koncepty vlastních kategorií | Průvodce postupy |
| Analýza textového rozhraní API | Vyhledá text sexuálního obsahu, násilí, nenávisti a sebepoškozování s více úrovněmi závažnosti. | Kategorie škod | Rychlý start |
| Analýza rozhraní API pro obrázky | Vyhledá obrázky sexuálního obsahu, násilí, nenávisti a sebepoškozování s více úrovněmi závažnosti. | Kategorie škod | Rychlý start |
Content Safety Studio
Azure AI Content Safety Studio je online nástroj navržený k řešení potenciálně urážlivého, rizikového nebo nežádoucího obsahu s využitím špičkových modelů strojového učení režim stanu ration. Poskytuje šablony a přizpůsobené pracovní postupy, které uživatelům umožňují zvolit a vytvořit vlastní kon režim stanu ration system. Uživatelé můžou nahrát vlastní obsah nebo si ho vyzkoušet s poskytnutým ukázkovým obsahem.
Content Safety Studio obsahuje nejen předdefinované modely AI, ale obsahuje také integrované seznamy blokovaných termínů Od Microsoftu pro označení vulgárních výrazů a udržování aktuálních informací o nových trendech obsahu. Můžete také nahrát vlastní seznamy bloků, abyste zvýšili pokrytí škodlivého obsahu, který je specifický pro váš případ použití.
Studio také umožňuje nastavit pracovní postup moderování, kde můžete nepřetržitě monitorovat a zlepšovat výkon con režim stanu ration. Může vám pomoct splnit požadavky na obsah ze všech druhů odvětví, jako jsou hry, média, vzdělávání, elektronické obchodování a další. Firmy můžou snadno propojit své služby se sadou Studio a jejich kon režim stanu hodnocené v reálném čase bez ohledu na to, jestli jsou generované uživatelem nebo vygenerované umělé inteligence.
Všechny tyto funkce zpracovává studio a její back-end; zákazníci se nemusí starat o vývoj modelů. Data můžete připojit k rychlému ověření a odpovídajícím způsobem monitorovat klíčové ukazatele výkonu, jako jsou technické metriky (latence, přesnost, úplnost) nebo obchodní metriky (míra bloků, objem bloků, poměr kategorií, poměr jazyka a další). Díky jednoduchým operacím a konfiguracím můžou zákazníci rychle testovat různá řešení a najít to nejlepší místo toho, abyste strávili čas experimentováním s vlastními modely nebo ručně moderováním.
Funkce content Safety Studio
V content Safety Studiu jsou k dispozici následující funkce zabezpečení obsahu Azure AI:
Moderování obsahu textu: Pomocí nástroje pro moderování textu můžete snadno spouštět testy na textovém obsahu. Ať už chcete otestovat jednu větu nebo celou datovou sadu, náš nástroj nabízí uživatelsky přívětivé rozhraní, které vám umožní vyhodnotit výsledky testu přímo na portálu. Můžete experimentovat s různými úrovněmi citlivosti, abyste nakonfigurovali filtry obsahu a správu seznamu blokovaných položek a zajistili tak, že váš obsah bude vždy moderovaný na vaše přesné specifikace. Navíc s možností exportu kódu můžete nástroj implementovat přímo ve vaší aplikaci, streamovat pracovní postup a ušetřit čas.
Moderování obsahu obrázků: Pomocí nástroje pro moderování obrázků můžete snadno spouštět testy obrázků, abyste zajistili, že splňují vaše standardy obsahu. Naše uživatelsky přívětivé rozhraní umožňuje vyhodnotit výsledky testů přímo na portálu a můžete experimentovat s různými úrovněmi citlivosti a nakonfigurovat filtry obsahu. Po přizpůsobení nastavení můžete snadno exportovat kód pro implementaci nástroje ve vaší aplikaci.
Monitorování online aktivit: Výkonná stránka monitorování umožňuje snadno sledovat využití a trendy rozhraní API moderování napříč různými způsoby. Pomocí této funkce získáte přístup k podrobným informacím o odpovědích, včetně distribuce kategorií a závažnosti, latence, chyby a detekce seznamu blokovaných seznamů. Tyto informace vám poskytují úplný přehled výkonu con režim stanu ration, který vám umožní optimalizovat pracovní postup a zajistit, aby byl váš obsah vždy moderovaný na vaše přesné specifikace. S naším uživatelsky přívětivým rozhraním můžete rychle a snadno procházet stránku monitorování a získat přístup k informacím, které potřebujete k informovanému rozhodování o vaší strategii kon režim stanu ration. Máte nástroje, které potřebujete, abyste měli přehled o výkonu a dosažení cílů obsahu režim stanu.
Zabezpečení
Použití ID Microsoft Entra nebo spravované identity ke správě přístupu
Pokud chcete zvýšit zabezpečení, můžete ke správě přístupu k prostředkům použít Microsoft Entra ID nebo spravovanou identitu (MI).
- Spravovaná identita se automaticky povolí při vytváření prostředku zabezpečení obsahu.
- ID Microsoft Entra se podporuje ve scénářích rozhraní API i sady SDK. Přečtěte si obecné pokyny ke službám AI pro ověřování pomocí ID Microsoft Entra. Přístup můžete udělit také ostatním uživatelům v rámci vaší organizace tím, že jim přiřadíte role uživatelů a čtenáře služeb Cognitive Services. Další informace o udělení přístupu uživatelů k prostředkům Azure pomocí webu Azure Portal najdete v průvodci řízením přístupu na základě role.
Šifrování neaktivních uložených dat
Zjistěte, jak Azure AI Content Safety zpracovává šifrování a dešifrování vašich dat. Klíče spravované zákazníkem (CMK), označované také jako ByOK (Bring Your Own Key), nabízejí větší flexibilitu při vytváření, obměně, zákazu a odvolávání řízení přístupu. Šifrovací klíče sloužící k ochraně vašich dat můžete také auditovat.
Ceny
Azure AI Content Safety má v současné době cenovou úroveň F0 a S0 . Další informace najdete na stránce s cenami Azure.
Omezení služby
Požadavky na vstup
Požadavky na vstup pro jednotlivé funkce najdete v následujícím seznamu.
- Analýza textového rozhraní API:
- Výchozí maximální délka: 10 tisíc znaků (podle potřeby rozdělte delší texty).
- Analýza rozhraní API pro obrázky:
- Maximální velikost souboru obrázku: 4 MB
- Rozměry mezi 50 x 50 a 7200 × 7200 pixelů.
- Obrázky můžou být ve formátech JPEG, PNG, GIF, BMP, TIFF nebo WEBP.
- Analýza multimodálního rozhraní API:
- Výchozí maximální délka textu: 1K znaků.
- Maximální velikost souboru obrázku: 4 MB
- Rozměry mezi 50 x 50 a 7200 × 7200 pixelů.
- Obrázky můžou být ve formátech JPEG, PNG, GIF, BMP, TIFF nebo WEBP.
- Rozhraní API příkazového štítu:
- Maximální délka výzvy: 10 tisíc znaků.
- Až pět dokumentů s celkem 10 tisíci znaky.
- Rozhraní API pro detekci uzemnění (Preview):
- Maximální délka uzemnění zdrojů: 55 000 znaků (na volání rozhraní API).
- Maximální délka textu a dotazu: 7 500 znaků.
- Rozhraní API pro detekci chráněných materiálů:
- Výchozí maximální délka: 1K znaků.
- Výchozí minimální délka: 110 znaků (pro skenování dokončení LLM, ne výzvy uživatele).
- Vlastní kategorie (standard) API (Preview):
- Maximální délka odvození vstupu: 1K znaků.
Podpora jazyků
Modely zabezpečení obsahu Azure AI pro chráněný materiál, detekci uzemnění a vlastní kategorie (standard) fungují jenom s angličtinou.
Další modely zabezpečení obsahu Azure AI byly speciálně natrénovány a testovány v následujících jazycích: čínština, angličtina, francouzština, němčina, španělština, italština, japonština, portugalština. Tyto funkce ale můžou fungovat v mnoha dalších jazycích, ale kvalita se může lišit. Ve všech případech byste měli provést vlastní testování, abyste se ujistili, že to pro vaši aplikaci funguje.
Další informace najdete v tématu Podpora jazyků.
Regionální dostupnost
Pokud chcete používat rozhraní API zabezpečení obsahu, musíte vytvořit prostředek Zabezpečení obsahu Azure AI v podporované oblasti. Funkce zabezpečení obsahu jsou v současné době dostupné v následujících oblastech Azure:
| Oblast | Rozhraní API moderování (text a obrázek) | Rozhraní API moderování (multimodální) | Výzva štítů | Detekce chráněných materiálů pro text | Detekce chráněných materiálů pro kód | Detekce uzemnění (Preview) | Vlastní kategorie (rapid) (Preview) | Vlastní kategorie (standard) (Preview) | Seznamy blokovaných položek |
|---|---|---|---|---|---|---|---|---|---|
| East US | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| USA – východ 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| USA – střed | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| USA – středosever | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Středojižní USA | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA – západ | ✅ | ✅ | ✅ | ✅ | |||||
| Západní USA 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA – západ 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Kanada – východ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Střední Kanada | ✅ | ✅ | ✅ | ✅ | |||||
| Brazílie – jih | ✅ | ✅ | ✅ | ✅ | |||||
| Švýcarsko – sever | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Německo – středozápad | ✅ | ✅ | ✅ | ✅ | |||||
| Střední Polsko | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Švédsko – střed | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Norsko – východ | ✅ | ✅ | ✅ | ✅ | |||||
| Velká Británie – jih | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Francie – střed | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Západní Evropa | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Itálie - sever | ✅ | ✅ | ✅ | ||||||
| Indie – sever | ✅ | ✅ | ✅ | ||||||
| Indie – jih | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Indie – střed | ✅ | ✅ | ✅ | ||||||
| Jihovýchodní Asie | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Japonsko – východ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Japonsko – západ | ✅ | ✅ | ✅ | ✅ | |||||
| Jižní Korea – střed | ✅ | ||||||||
| Austrálie – východ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Spojené arabské emiráty – sever | ✅ | ||||||||
| Jižní Afrika – sever | ✅ | ✅ | ✅ | ✅ | |||||
| USGov – Arizona | ✅ | ✅ | |||||||
| USGov Virginia | ✅ | ✅ |
Pokud vaše firma potřebuje k dispozici jiné oblasti, neváhejte nás kontaktovat.
Sazby dotazů
Funkce Zabezpečení obsahu mají omezení rychlosti dotazů v požadavcích za sekundu (RPS) nebo žádosti za 10 sekund (RP10S). Omezení četnosti jednotlivých funkcí najdete v následující tabulce.
| Cenová úroveň | Moderace API (text a obrázek) |
Výzva štítů | Chráněný materiál změn |
Uzemnění detekce (Preview) |
Vlastní kategorie (rychlý) (Preview) |
Vlastní kategorie (standard) (Preview) |
|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | 10 RP10S | 5 RPS | 10 RP10S |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
Pokud potřebujete rychlejší sazbu, kontaktujte nás a požádejte nás o ni.
Kontaktujte nás
Pokud se zaseknete, pošlete nám e-mail nebo použijte widget pro zpětnou vazbu v dolní části jakékoli stránky Microsoft Learn.
Další kroky
Pokud chcete ve své aplikaci začít používat Azure AI Content Safety, postupujte podle rychlého startu.