Sdílet prostřednictvím

Rychlý start: Azure AI Content Safety Studio

  • Článek

V tomto rychlém startu začněte se službou Azure AI Content Safety Service v prohlížeči používat Content Safety Studio.

Upozornění

Část ukázkového obsahu poskytovaného nástrojem Content Safety Studio může být urážlivá. Ve výchozím nastavení jsou ukázkové obrázky rozmazané. Doporučuje se, aby uživatel rozhodoval.

Požadavky

  • Aktivní účet Azure Pokud jej nemáte, můžete si jej zdarma vytvořit.
  • Prostředek Azure pro bezpečnost obsahu.
  • Přiřaďte Cognitive Services User k účtu roli. Přejděte na web Azure Portal, přejděte k prostředku zabezpečení obsahu nebo prostředku azure AI Services a na levém navigačním panelu vyberte Řízení přístupu, pak vyberte + Přidat přiřazení role, zvolte Cognitive Services User roli a vyberte člena vašeho účtu, ke kterému potřebujete tuto roli přiřadit, a pak zkontrolujte a přiřaďte. Může trvat několik minut, než se přiřazení projeví.
  • Přihlaste se k Content Safety Studiu pomocí svého předplatného Azure a prostředku Content Safety.

Důležité

  • Abyste mohli používat studiové prostředí, musíte roli přiřadit Cognitive Services User ke svému účtu Azure. Přejděte na web Azure Portal, přejděte k prostředku zabezpečení obsahu nebo prostředku azure AI Services a na levém navigačním panelu vyberte Řízení přístupu, pak vyberte + Přidat přiřazení role, zvolte Cognitive Services User roli a vyberte člena vašeho účtu, ke kterému potřebujete tuto roli přiřadit, a pak zkontrolujte a přiřaďte. Může trvat několik minut, než se přiřazení projeví.

Analýza obsahu textu

Stránka moderování obsahu textu poskytuje možnost rychlého vyzkoušení moderování textu.

Snímek obrazovky s panelem Analyzovat text

  1. Vyberte panel moderování obsahu textu.
  2. Přidejte text do vstupního pole nebo vyberte ukázkový text z panelů na stránce.

    Tip

    Velikost a členitost textu

    Viz Požadavky na vstup pro omezení maximální délky textu.

  3. Vyberte Spustit test.

Služba vrátí všechny zjištěné kategorie s úrovní závažnosti pro každý (0-Safe, 2-Low, 4-Medium, 6-High). Vrátí také binární odmítnutý/ výsledek na základě nakonfigurovaných filtrů. Pomocí matice na kartě Konfigurovat filtry vpravo nastavte povolené nebo zakázané úrovně závažnosti pro každou kategorii. Potom můžete text spustit znovu a podívat se, jak filtr funguje.

Karta Použít seznam blokovaných položek na pravé straně umožňuje vytvářet, upravovat a přidávat do pracovního postupu moderování seznam blokovaných položek. Pokud máte při spuštění testu povolený seznam blokovaných položek, zobrazí se panel detekce seznamu blokovaných položek v části Výsledky. Hlásí všechny shody se seznamem blokovaných položek.

Detekce uživatelských vstupních útoků

Panel Prompt Shields umožňuje vyzkoušet detekci rizik vstupu uživatele. Zjistit výzvy uživatelů navržené tak, aby vyvolaly model Generative AI na projevující se chování, které bylo natrénováno, aby se zabránilo nebo porušovalo pravidla nastavená v systémové zprávě. Tyto útoky se mohou lišit od složitých rolí až po jemné subverze bezpečnostního cíle.

Snímek obrazovky se sadou Content Safety Studio s vybraným panelem detekce rizik pro vstup uživatele

  1. Vyberte panel Výzvy štítů.
  2. Vyberte ukázkový text na stránce nebo zadejte vlastní obsah pro testování. Soubor CSV můžete nahrát také k dávkovému testování.
  3. Vyberte Spustit test.

Služba vrátí příznak rizika a typ pro každou ukázku.

Další informace naleznete v koncepční příručce Prompt Shields.

Analýza obsahu obrázků

Stránka moderování obsahu obrázku poskytuje možnost rychlého vyzkoušení moderování obrázků.

Snímek obrazovky s panelem Analyzovat obrázek

  1. Vyberte panel moderování obsahu obrázku.
  2. Vyberte ukázkový obrázek z panelů na stránce nebo nahrajte vlastní obrázek. Maximální velikost odesílání obrázků je 4 MB a rozměry obrázku musí být 50 × 50 pixelů až 2 048 × 2 048 pixelů. Obrázky můžou být ve formátech JPEG, PNG, GIF, BMP, TIFF nebo WEBP.
  3. Vyberte Spustit test.

Služba vrátí všechny zjištěné kategorie s úrovní závažnosti pro každý (0-Safe, 2-Low, 4-Medium, 6-High). Vrátí také binární odmítnutý/ výsledek na základě nakonfigurovaných filtrů. Pomocí matice na kartě Konfigurovat filtry vpravo nastavte povolené nebo zakázané úrovně závažnosti pro každou kategorii. Potom můžete text spustit znovu a podívat se, jak filtr funguje.

Zobrazení a export kódu

Pomocí funkce Zobrazit kód můžete na stránce Analyzovat textový obsah nebo Analyzovat obsah obrázku zobrazit a zkopírovat ukázkový kód, který zahrnuje konfiguraci pro filtrování závažnosti, seznamy blokovaných položek a funkce moderování. Pak můžete kód nasadit na svůj konec.

Snímek obrazovky s kódem zobrazení

Monitorování online aktivit

Na stránce Sledování online aktivit můžete zobrazit využití a trendy rozhraní API.

Snímek obrazovky s panelem Monitorování

Můžete zvolit typ média, který chcete monitorovat. Časový rozsah, který chcete zkontrolovat, můžete také určit tak , že vyberete Zobrazit data za poslední __.

V grafu četnosti zamítnutí na kategorii můžete také upravit prahové hodnoty závažnosti pro každou kategorii.

Snímek obrazovky s tabulkou prahových hodnot závažnosti

Seznam blokovaných termínů můžete také upravit, pokud chcete změnit některé termíny na základě grafu 10 blokovaných termínů s top 10.

Správa prostředku

Pokud chcete zobrazit podrobnosti o prostředcích, jako je název a cenová úroveň, vyberte ikonu Nastavení v pravém horním rohu domovské stránky Content Safety Studio a vyberte kartu Prostředek . Pokud máte i další prostředky, můžete sem přepnout i prostředky.

Snímek obrazovky se správou prostředků

Vyčištění prostředků

Pokud chcete vyčistit a odebrat prostředek služeb Azure AI, můžete odstranit prostředek nebo skupinu prostředků. Odstraněním skupiny prostředků se odstraní také všechny ostatní prostředky, které jsou k ní přidružené.

Další kroky

Dále začněte používat Azure AI Content Safety prostřednictvím rozhraní REST API nebo klientské sady SDK, abyste mohli službu bezproblémově integrovat do své aplikace.

Rychlý start: REST API a klientské sady SDK