Vad är Azure AI Content Safety?

Azure AI Content Safety identifierar skadligt användargenererat och AI-genererat innehåll i program och tjänster. Azure AI Content Safety innehåller text- och bild-API:er som gör att du kan identifiera material som är skadligt. Vi har också en interaktiv Content Safety Studio som gör att du kan visa, utforska och prova exempelkod för att identifiera skadligt innehåll mellan olika metoder.

Programvara för innehållsfiltrering kan hjälpa din app att följa regler eller underhålla den avsedda miljön för dina användare.

Den här dokumentationen innehåller följande artikeltyper:

• Snabbstarter är komma igång-instruktioner som hjälper dig att göra begäranden till tjänsten.
• Instruktionsguider innehåller instruktioner för hur du använder tjänsten på mer specifika eller anpassade sätt.
• Begrepp ger djupgående förklaringar av tjänstens funktioner och funktioner.

Där den används

Följande är några scenarier där en programutvecklare eller ett team skulle kräva en con režim šatora ration-tjänst:

• Användarprompter som skickas till en generativ AI-tjänst.
• Innehåll som produceras av generativa AI-modeller.
• Marknadsplatser online som moderera produktkataloger och annat användargenererat innehåll.
• Spelföretag som modererade användargenererade spelartefakter och chattrum.
• Plattformar för sociala meddelanden som moderera bilder och text som läggs till av användarna.
• Företagsmedieföretag som implementerar centraliserad moderering för sitt innehåll.
• K-12 utbildningslösningsleverantörer filtrerar bort innehåll som är olämpligt för studenter och lärare.

Viktigt!

Du kan inte använda Azure AI Content Safety för att identifiera otillåtna barnexploateringsbilder.

Produkttyper

Det finns olika typer av analys som är tillgängliga från den här tjänsten. I följande tabell beskrivs de api:er som för närvarande är tillgängliga.

Typ	Funktioner
Prompt Shields (förhandsversion)	Söker igenom text efter risken för ett användarindataangrepp på en stor språkmodell. Snabbstart
Identifiering av grundlighet (förhandsversion)	Identifierar om textsvaren från stora språkmodeller (LLM) är baserade på källmaterialet som tillhandahålls av användarna. Snabbstart
Skyddad materialtextidentifiering (förhandsversion)	Söker igenom AI-genererad text efter känt textinnehåll (till exempel låttexter, artiklar, recept, valt webbinnehåll). Snabbstart
API för anpassade kategorier (förhandsversion)	Gör att du kan skapa och träna dina egna anpassade innehållskategorier och skanna text efter matchningar. Snabbstart
Api för anpassade kategorier (snabb) (förhandsversion)	Låter dig definiera nya skadliga innehållsmönster och skanna text och bilder efter matchningar. Guide för instruktioner
Analysera text-API	Söker igenom text efter sexuellt innehåll, våld, hat och självskadebeteende med flera allvarlighetsnivåer.
Analysera bild-API	Söker igenom bilder efter sexuellt innehåll, våld, hat och självskadebeteende med flera allvarlighetsnivåer.

Content Safety Studio

Azure AI Content Safety Studio är ett onlineverktyg som är utformat för att hantera potentiellt stötande, riskfyllt eller oönskat innehåll med hjälp av avancerade ML-modeller för con režim šatora ration. Den innehåller mallar och anpassade arbetsflöden som gör det möjligt för användare att välja och skapa ett eget con režim šatora rationssystem. Användare kan ladda upp sitt eget innehåll eller prova det med angivet exempelinnehåll.

Content Safety Studio innehåller inte bara färdiga AI-modeller utan innehåller även Microsofts inbyggda blockeringslistor för att flagga svordomar och hålla dig uppdaterad med nya trender. Du kan också ladda upp dina egna blocklistor för att förbättra täckningen av skadligt innehåll som är specifikt för ditt användningsfall.

Med Studio kan du också konfigurera ett modereringsarbetsflöde, där du kontinuerligt kan övervaka och förbättra prestanda för kon režim šatora ration. Det kan hjälpa dig att uppfylla innehållskraven från alla typer av branscher som spel, media, utbildning, e-handel med mera. Företag kan enkelt ansluta sina tjänster till Studio och få sina con režim šatora rated i realtid, oavsett om de är användargenererade eller AI-genererade.

Alla dessa funktioner hanteras av Studio och dess serverdel. kunder behöver inte bekymra sig om modellutveckling. Du kan registrera dina data för snabb validering och övervaka dina KPI:er i enlighet med detta, till exempel tekniska mått (svarstid, noggrannhet, återkallande) eller affärsmått (blockfrekvens, blockvolym, kategoriproportioner, språkproportioner med mera). Med enkla åtgärder och konfigurationer kan kunderna snabbt testa olika lösningar och hitta den bästa lösningen i stället för att experimentera med anpassade modeller eller göra måtta manuellt.

Content Safety Studio

Funktioner i Content Safety Studio

I Content Safety Studio är följande funktioner för Azure AI Content Safety-tjänsten tillgängliga:

• Måttligt textinnehåll: Med textmodereringsverktyget kan du enkelt köra tester på textinnehåll. Oavsett om du vill testa en enda mening eller en hel datauppsättning erbjuder vårt verktyg ett användarvänligt gränssnitt som gör att du kan utvärdera testresultaten direkt i portalen. Du kan experimentera med olika känslighetsnivåer för att konfigurera innehållsfilter och blocklisthantering, vilket säkerställer att innehållet alltid modereras enligt dina exakta specifikationer. Med möjligheten att exportera koden kan du dessutom implementera verktyget direkt i ditt program, effektivisera arbetsflödet och spara tid.

• Moderera bildinnehåll: Med verktyget för bildmoderering kan du enkelt köra tester på bilder för att säkerställa att de uppfyller dina innehållsstandarder. Med vårt användarvänliga gränssnitt kan du utvärdera testresultaten direkt i portalen, och du kan experimentera med olika känslighetsnivåer för att konfigurera dina innehållsfilter. När du har anpassat inställningarna kan du enkelt exportera koden för att implementera verktyget i ditt program.

• Övervaka onlineaktivitet: Med den kraftfulla övervakningssidan kan du enkelt spåra din användning och trender för modererings-API:et mellan olika metoder. Med den här funktionen kan du komma åt detaljerad svarsinformation, inklusive kategori- och allvarlighetsgradsfördelning, svarstid, fel och blocklisteidentifiering. Den här informationen ger dig en fullständig översikt över dina con režim šatora ration prestanda, så att du kan optimera arbetsflödet och se till att ditt innehåll alltid modereras enligt dina exakta specifikationer. Med vårt användarvänliga gränssnitt kan du snabbt och enkelt navigera på övervakningssidan för att få åtkomst till den information du behöver för att fatta välgrundade beslut om din strategi för režim šatora ration. Du har de verktyg du behöver för att hålla koll på din con režim šatora ration prestanda och uppnå dina innehållsmål.

Säkerhet

Använda Microsoft Entra-ID eller hanterad identitet för att hantera åtkomst

För förbättrad säkerhet kan du använda Microsoft Entra-ID eller hanterad identitet (MI) för att hantera åtkomst till dina resurser.

• Hanterad identitet aktiveras automatiskt när du skapar en innehållssäkerhetsresurs.
• Microsoft Entra-ID stöds i både API- och SDK-scenarier. Se den allmänna AI-tjänstguiden för att autentisera med Microsoft Entra-ID. Du kan också ge åtkomst till andra användare i din organisation genom att tilldela dem rollerna Cognitive Services-användare och läsare. Mer information om hur du beviljar användaråtkomst till Azure-resurser med hjälp av Azure-portalen finns i guiden Rollbaserad åtkomstkontroll.

Data i paus och kryptering

Lär dig hur Azure AI Content Safety hanterar kryptering och dekryptering av dina data. Kundhanterade nycklar (CMK), även kallade BYOK (Bring Your Own Key), ger större flexibilitet att skapa, rotera, inaktivera och återkalla åtkomstkontroller. Du kan också granska krypteringsnycklarna som används för att skydda dina data.

Prissättning

För närvarande har Azure AI Content Safety prisnivån F0 och S0 . Mer information finns på sidan med Priser för Azure.

Tjänstbegränsningar

Indatakrav

Se följande lista för indatakraven för varje funktion.

• Analysera text-API:
  • Maximal standardlängd: 10 000 tecken (dela upp längre texter efter behov).
• Analysera bild-API:
  • Maximal bildfilsstorlek: 4 MB
  • Dimensioner mellan 50 x 50 och 2 048 x 2 048 bildpunkter.
  • Bilder kan vara i JPEG-, PNG-, GIF-, BMP-, TIFF- eller WEBP-format.
• Prompt Shields (förhandsversion):
  • Maximal promptlängd: 10 000 tecken.
  • Upp till fem dokument med totalt 10 000 tecken.
• Identifiering av grundlighet (förhandsversion):
  • Maximal längd för jordningskällor: 55 000 tecken (per API-anrop).
  • Maximal text- och frågelängd: 7 500 tecken.
• Identifiering av skyddat material (förhandsversion):
  • Maximal standardlängd: 1 000 tecken.
  • Standard minsta längd: 110 tecken (för genomsökning av LLM-slutföranden, inte användaruppmaningar).
• Anpassade kategorier (standard):
  • Maximal inmatningslängd för slutsatsdragning: 1 000 tecken.

Språkstöd

Innehållssäkerhetsmodeller har tränats och testats specifikt på följande språk: engelska, tyska, japanska, spanska, franska, italienska, portugisiska och kinesiska. Tjänsten kan dock fungera på många andra språk, men kvaliteten kan variera. I samtliga fall bör du göra dina egna tester för att säkerställa att det fungerar för ditt program.

Anpassade kategorier fungerar för närvarande bara bra på engelska. Du kan försöka använda andra språk med din egen datauppsättning, men kvaliteten kan variera mellan olika språk.

Mer information finns i Språkstöd.

Region tillgänglighet

Om du vill använda API:erna för innehållssäkerhet måste du skapa din Azure AI Content Safety-resurs i de regioner som stöds. För närvarande är innehållssäkerhetsfunktionerna tillgängliga i följande Azure-regioner:

Region	API:er för moderering	Prompt Shields (förhandsversion)	Skyddat material identifiering (förhandsversion)	Grundstötning identifiering (förhandsversion)	Anpassade kategorier (snabb) (förhandsversion)	Anpassade kategorier (standard)	Blocklistor
East US	✅	✅	✅	✅	✅	✅	✅
USA, östra 2	✅			✅	✅		✅
USA, västra					✅
USA, västra 2	✅				✅		✅
Centrala USA	✅						✅
USA, norra centrala	✅				✅		✅
USA, södra centrala	✅				✅		✅
Östra Kanada	✅				✅		✅
Schweiz, norra	✅				✅	✅	✅
Sverige, centrala	✅			✅	✅		✅
Södra Storbritannien	✅				✅		✅
Centrala Frankrike	✅				✅		✅
Europa, västra	✅	✅	✅		✅		✅
Japan, östra	✅				✅		✅
Australien, östra	✅	✅			✅	✅	✅

Kontakta oss gärna om du behöver andra regioner för ditt företag.

Frågefrekvenser

Funktioner för innehållssäkerhet har frågefrekvensgränser i begäranden per sekund (RPS) eller begäranden per 10 sekunder (RP10S) . Se följande tabell för hastighetsbegränsningarna för varje funktion.

Prisnivå	API:er för moderering	Prompt Shields (förhandsversion)	Skyddat material identifiering (förhandsversion)	Grundstötning identifiering (förhandsversion)	Anpassade kategorier (snabb) (förhandsversion)	Anpassade kategorier (standard) (förhandsversion)
F0	1000 RP10S	1000 RP10S	1000 RP10S	50 RP10S	1000 RP10S	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RP10S	1000 RP10S	5 RPS

Kontakta oss om du behöver ett snabbare pris.

Kontakta oss

Om du fastnar skickar du ett e-postmeddelande till oss eller använder feedbackwidgeten längst ned på en Microsoft Learn-sida.

Nästa steg

Följ en snabbstart för att komma igång med Azure AI Content Safety i ditt program.

Snabbstart för innehållssäkerhet