Vad är Azure AI Content Safety?

Artikel
10/25/2024

Azure AI Content Safety är en AI-tjänst som identifierar skadligt användargenererat och AI-genererat innehåll i program och tjänster. Azure AI Content Safety innehåller text- och bild-API:er som gör att du kan identifiera material som är skadligt. Med den interaktiva Content Safety Studio kan du visa, utforska och prova exempelkod för att identifiera skadligt innehåll mellan olika metoder.

Programvara för innehållsfiltrering kan hjälpa din app att följa regler eller underhålla den avsedda miljön för dina användare.

Den här dokumentationen innehåller följande artikeltyper:

Begrepp ger djupgående förklaringar av tjänstens funktioner och funktioner.
Snabbstarter är komma igång-instruktioner som hjälper dig att göra begäranden till tjänsten.
Instruktionsguider innehåller instruktioner för hur du använder tjänsten på mer specifika eller anpassade sätt.

Där den används

Följande är några scenarier där en programutvecklare eller ett team skulle kräva en con tältläge ration-tjänst:

Användarprompter som skickas till en generativ AI-tjänst.
Innehåll som produceras av generativa AI-modeller.
Marknadsplatser online som moderera produktkataloger och annat användargenererat innehåll.
Spelföretag som modererade användargenererade spelartefakter och chattrum.
Plattformar för sociala meddelanden som moderera bilder och text som läggs till av användarna.
Företagsmedieföretag som implementerar centraliserad moderering för sitt innehåll.
K-12 utbildningslösningsleverantörer filtrerar bort innehåll som är olämpligt för studenter och lärare.

Viktigt!

Du kan inte använda Azure AI Content Safety för att identifiera otillåtna barnexploateringsbilder.

Produktfunktioner

Den här tjänsten gör flera olika typer av analyser tillgängliga. I följande tabell beskrivs de api:er som för närvarande är tillgängliga.

Funktion	Funktioner	Konceptguide	Kom igång
Prompt Shields	Söker igenom text efter risken för ett användarindataangrepp på en stor språkmodell.	Prompt Shields-begrepp	Snabbstart
Identifiering av grundlighet (förhandsversion)	Identifierar om textsvaren från stora språkmodeller (LLM) är baserade på källmaterialet som tillhandahålls av användarna.	Begrepp för grundidentifiering	Snabbstart
Skyddad materialtextidentifiering	Söker igenom AI-genererad text efter känt textinnehåll (till exempel låttexter, artiklar, recept, valt webbinnehåll).	Skyddade materialbegrepp	Snabbstart
Api för anpassade kategorier (standard) (förhandsversion)	Gör att du kan skapa och träna dina egna anpassade innehållskategorier och skanna text efter matchningar.	Begrepp för anpassade kategorier	Snabbstart
Api för anpassade kategorier (snabb) (förhandsversion)	Låter dig definiera nya skadliga innehållsmönster och skanna text och bilder efter matchningar.	Begrepp för anpassade kategorier	Guide för instruktioner
Analysera text-API	Söker igenom text efter sexuellt innehåll, våld, hat och självskadebeteende med flera allvarlighetsnivåer.	Skadekategorier	Snabbstart
Analysera bild-API	Söker igenom bilder efter sexuellt innehåll, våld, hat och självskadebeteende med flera allvarlighetsnivåer.	Skadekategorier	Snabbstart

Content Safety Studio

Azure AI Content Safety Studio är ett onlineverktyg som är utformat för att hantera potentiellt stötande, riskfyllt eller oönskat innehåll med hjälp av avancerade ML-modeller för con tältläge ration. Den innehåller mallar och anpassade arbetsflöden som gör det möjligt för användare att välja och skapa ett eget con tältläge rationssystem. Användare kan ladda upp sitt eget innehåll eller prova det med angivet exempelinnehåll.

Content Safety Studio innehåller inte bara färdiga AI-modeller utan innehåller även Microsofts inbyggda blockeringslistor för att flagga svordomar och hålla dig uppdaterad med nya innehållstrender. Du kan också ladda upp dina egna blocklistor för att förbättra täckningen av skadligt innehåll som är specifikt för ditt användningsfall.

Med Studio kan du också konfigurera ett modereringsarbetsflöde, där du kontinuerligt kan övervaka och förbättra prestanda för kon tältläge ration. Det kan hjälpa dig att uppfylla innehållskraven från alla typer av branscher som spel, media, utbildning, e-handel med mera. Företag kan enkelt ansluta sina tjänster till Studio och få sina con tältläge rated i realtid, oavsett om de är användargenererade eller AI-genererade.

Alla dessa funktioner hanteras av Studio och dess serverdel. kunder behöver inte bekymra sig om modellutveckling. Du kan registrera dina data för snabb validering och övervaka dina KPI:er i enlighet med detta, till exempel tekniska mått (svarstid, noggrannhet, återkallande) eller affärsmått (blockfrekvens, blockvolym, kategoriproportioner, språkproportioner med mera). Med enkla åtgärder och konfigurationer kan kunderna snabbt testa olika lösningar och hitta den bästa lösningen i stället för att experimentera med anpassade modeller eller göra måtta manuellt.

Prova Content Safety Studio

Funktioner i Content Safety Studio

I Content Safety Studio finns följande Azure AI Content Safety-funktioner tillgängliga:

Måttligt textinnehåll: Med textmodereringsverktyget kan du enkelt köra tester på textinnehåll. Oavsett om du vill testa en enda mening eller en hel datauppsättning erbjuder vårt verktyg ett användarvänligt gränssnitt som gör att du kan utvärdera testresultaten direkt i portalen. Du kan experimentera med olika känslighetsnivåer för att konfigurera innehållsfilter och blocklisthantering, vilket säkerställer att innehållet alltid modereras enligt dina exakta specifikationer. Med möjligheten att exportera koden kan du dessutom implementera verktyget direkt i ditt program, effektivisera arbetsflödet och spara tid.
Moderera bildinnehåll: Med verktyget för bildmoderering kan du enkelt köra tester på bilder för att säkerställa att de uppfyller dina innehållsstandarder. Med vårt användarvänliga gränssnitt kan du utvärdera testresultaten direkt i portalen, och du kan experimentera med olika känslighetsnivåer för att konfigurera dina innehållsfilter. När du har anpassat inställningarna kan du enkelt exportera koden för att implementera verktyget i ditt program.
Övervaka onlineaktivitet: Med den kraftfulla övervakningssidan kan du enkelt spåra din användning och trender för modererings-API:et mellan olika metoder. Med den här funktionen kan du komma åt detaljerad svarsinformation, inklusive kategori- och allvarlighetsgradsfördelning, svarstid, fel och blocklisteidentifiering. Den här informationen ger dig en fullständig översikt över dina con tältläge ration prestanda, så att du kan optimera arbetsflödet och se till att ditt innehåll alltid modereras enligt dina exakta specifikationer. Med vårt användarvänliga gränssnitt kan du snabbt och enkelt navigera på övervakningssidan för att få åtkomst till den information du behöver för att fatta välgrundade beslut om din strategi för tältläge ration. Du har de verktyg du behöver för att hålla koll på din con tältläge ration prestanda och uppnå dina innehållsmål.

Säkerhet

Använda Microsoft Entra-ID eller hanterad identitet för att hantera åtkomst

För förbättrad säkerhet kan du använda Microsoft Entra-ID eller hanterad identitet (MI) för att hantera åtkomst till dina resurser.

Hanterad identitet aktiveras automatiskt när du skapar en innehållssäkerhetsresurs.
Microsoft Entra-ID stöds i både API- och SDK-scenarier. Se den allmänna AI-tjänstguiden för att autentisera med Microsoft Entra-ID. Du kan också ge åtkomst till andra användare i din organisation genom att tilldela dem rollerna Cognitive Services-användare och läsare. Mer information om hur du ger användare åtkomst till Azure-resurser med hjälp av Azure Portal finns i guiden rollbaserad åtkomstkontroll.

Data i paus och kryptering

Lär dig hur Azure AI Content Safety hanterar kryptering och dekryptering av dina data. Kundhanterade nycklar (CMK), även kallade BYOK (Bring Your Own Key), ger större flexibilitet att skapa, rotera, inaktivera och återkalla åtkomstkontroller. Du kan också granska krypteringsnycklarna som används för att skydda dina data.

Prissättning

För närvarande har Azure AI Content Safety prisnivån F0 och S0 . Mer information finns på sidan med Priser för Azure.

Tjänstbegränsningar

Varning

Utfasningsmeddelande

Som en del av content safety-versionshantering och livscykelhantering meddelar vi utfasningen av vissa offentliga förhandsversioner och GA-versioner av våra tjänst-API:er. Följ vår utfasningsprincip:

Offentliga förhandsversioner: Varje ny version av den offentliga förhandsversionen utlöser utfasningen av den tidigare förhandsversionen efter en 90-dagarsperiod, förutsatt att inga icke-bakåtkompatibla ändringar införs.
GA-versioner: När en ny GA-version släpps kommer den tidigare ga-versionen att bli inaktuell efter en 90-dagarsperiod om kompatibiliteten bibehålls.

Se sidan Nyheter för kommande utfasningar.

Indatakrav

Se följande lista för indatakraven för varje funktion.

Analysera text-API:
- Maximal standardlängd: 10 000 tecken (dela upp längre texter efter behov).
Analysera bild-API:
- Maximal bildfilsstorlek: 4 MB
- Dimensioner mellan 50 x 50 och 7 200 x 7 200 bildpunkter.
- Bilder kan vara i JPEG-, PNG-, GIF-, BMP-, TIFF- eller WEBP-format.
Analysera multimodalt API (förhandsversion):
- Maximal textlängd som är standard: 1 000 tecken.
- Maximal bildfilsstorlek: 4 MB
- Dimensioner mellan 50 x 50 och 7 200 x 7 200 bildpunkter.
- Bilder kan vara i JPEG-, PNG-, GIF-, BMP-, TIFF- eller WEBP-format.
Prompt Shields API:
- Maximal promptlängd: 10 000 tecken.
- Upp till fem dokument med totalt 10 000 tecken.
API för grundidentifiering (förhandsversion):
- Maximal längd för jordningskällor: 55 000 tecken (per API-anrop).
- Maximal text- och frågelängd: 7 500 tecken.
API:er för identifiering av skyddat material:
- Maximal standardlängd: 1 000 tecken.
- Standard minsta längd: 110 tecken (för genomsökning av LLM-slutföranden, inte användaruppmaningar).
Api för anpassade kategorier (standard) (förhandsversion):
- Maximal inmatningslängd för slutsatsdragning: 1 000 tecken.

Språkstöd

Azure AI-innehållssäkerhetsmodellerna för skyddat material, grundavkänning och anpassade kategorier (standard) fungerar endast med engelska.

Andra Azure AI Content Safety-modeller har tränats och testats specifikt på följande språk: kinesiska, engelska, franska, tyska, spanska, italienska, japanska, portugisiska. Dessa funktioner kan dock fungera på många andra språk, men kvaliteten kan variera. I samtliga fall bör du göra dina egna tester för att säkerställa att det fungerar för ditt program.

Mer information finns i Språkstöd.

Region tillgänglighet

Om du vill använda API:erna för innehållssäkerhet måste du skapa din Azure AI Content Safety-resurs i en region som stöds. För närvarande är innehållssäkerhetsfunktionerna tillgängliga i följande Azure-regioner med olika API-versioner:

Region	Anpassad kategori	Grundstötning	Bild	Multimodal(Bild med Tex)	Incidentsvar	Prompt Shield	Skyddat material (text)	Skyddat material (kod)	Text	Enhetligt API
Australien, östra	✅		✅		✅	✅	✅	✅	✅	✅
Östra Kanada			✅		✅	✅	✅	✅	✅	✅
Central US			✅		✅	✅	✅	✅	✅	✅
East US	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
USA, östra 2		✅	✅		✅	✅	✅	✅	✅	✅
Centrala Frankrike		✅	✅		✅	✅	✅	✅	✅	✅
Japan, östra			✅		✅	✅	✅	✅	✅	✅
USA, norra centrala			✅		✅	✅	✅	✅	✅	✅
Polen, centrala			✅			✅	✅	✅	✅	✅
USA, södra centrala			✅		✅	✅	✅	✅	✅	✅
Indien, södra			✅		✅		✅	✅	✅	✅
Sverige, centrala		✅	✅		✅	✅	✅	✅	✅	✅
Schweiz, norra	✅		✅		✅	✅	✅	✅	✅	✅
Schweiz, västra			✅		✅	✅	✅	✅	✅
Förenade Arabemiraten, norra			✅		✅	✅	✅	✅	✅
Storbritannien, södra		✅	✅		✅	✅	✅	✅	✅	✅
Europa, västra			✅	✅	✅	✅	✅	✅	✅	✅
USA, västra		✅	✅		✅	✅	✅	✅	✅	✅
USA, västra 2			✅		✅	✅	✅	✅	✅	✅
USA, västra 3			✅		✅	✅	✅	✅	✅	✅
FairFax – USGovArizona			✅			✅	✅		✅	✅
FairFax – USGovVirginia			✅			✅	✅		✅	✅

Kontakta oss gärna om ditt företag behöver andra regioner för att vara tillgängliga.

Frågefrekvenser

Funktioner för innehållssäkerhet har frågefrekvensgränser i begäranden per sekund (RPS) eller begäranden per 10 sekunder (RP10S) . Se följande tabell för hastighetsbegränsningarna för varje funktion.

Prisnivå	API:er för moderering (text och bild)	Prompt Shields	Skyddat material identifiering	Grundstötning identifiering (förhandsversion)	Anpassade kategorier (snabb) (förhandsversion)	Anpassade kategorier (standard) (förhandsversion)	Multimodala
F0	5 RPS	5 RPS	5 RPS	Ej tillämpligt	5 RPS	5 RPS	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 RPS	10 RPS

Om du behöver ett snabbare pris kontaktar du oss för att begära det.

Kontakta oss

Om du fastnar skickar du ett e-postmeddelande till oss eller använder feedbackwidgeten längst ned på en Microsoft Learn-sida.

Nästa steg

Följ en snabbstart för att komma igång med Azure AI Content Safety i ditt program.

Snabbstart för innehållssäkerhet

Dela via