Was ist Content Safety von Azure KI?

Azure KI Inhaltssicherheit ist ein KI-Dienst, der schädliche benutzergenerierte und KI-generierte Inhalte in Anwendungen und Diensten erkennt. Azure KI Content Safety enthält Text- und Bild-APIs für die Erkennung von schädlichem Material. Mit Content Safety Studio können Sie interaktiv Beispielcode für die Erkennung schädlicher Inhalte über verschiedene Modalitäten hinweg anzeigen, erkunden und ausprobieren.

Software zur Inhaltsfilterung kann Ihnen dabei helfen, mit Ihrer App gesetzliche Vorschriften einzuhalten oder Benutzer*innen die für sie beabsichtigte Umgebung zu bieten.

Diese Dokumentation enthält die folgenden Arten von Artikeln:

• Konzepte enthalten ausführliche Erläuterungen der Dienstfunktionen und -features.
• Quickstarts sind Einstiegsanleitungen, die Sie beim Anfragen des Dienstes unterstützen.
• Schrittanleitungen enthalten Anweisungen zur spezifischeren oder individuelleren Verwendung des Diensts.

Wo es benutzt wird

Im Anschluss finden Sie einige Szenarien, in denen ein Softwareentwickler oder Team einen Inhaltsmoderationsdienst benötigt:

• Benutzerprompts, die an einen generativen KI-Dienst übermittelt werden.
• Von generativen KI-Modellen produzierte Inhalte.
• Onlinemarktplätze, die Produktkataloge und andere benutzergenerierte Inhalte moderieren
• Gamingunternehmen, die benutzergenerierte Spielartefakte und Chatrooms moderieren
• Messagingplattformen sozialer Medien, die von Benutzer*innen hinzugefügte Bilder und Texte moderieren
• Medienunternehmen, die eine zentrale Moderation für ihre Inhalte implementieren
• Anbieter von K-12 Bildungslösungen, die unangemessene Inhalte für Schüler und Lehrer herausfiltern.

Important

Sie können Azure KI Content Safety nicht verwenden, um nach Bildern zu suchen, auf denen Kinder in nicht zulässiger Weise dargestellt sind.

Produktfeatures

Dieser Dienst macht verschiedene Arten von Analysen verfügbar. In der folgenden Tabelle werden die derzeit verfügbaren APIs beschrieben.

Feature	Functionality	Leitfaden für Konzepte	Get started
Eingabeaufforderungsschilde	Scannt Text auf das Risiko eines Benutzereingabeangriffs mit einem Large Language Model.	Prompt Shields-Konzepte	Quickstart
Groundedness-Erkennung (Vorschau)	Erkennt, ob die Textantworten großer Sprachmodelle (LLMs) in den Quellmaterialien basieren, die von den Benutzern bereitgestellt werden.	Groundedness-Erkennungskonzept	Quickstart
Geschützte Materialerkennung für Text	Scannt KI-generierten Text auf bekannte Textinhalte (z. B. Songtexte, Artikel, Rezepte, ausgewählte Webinhalte).	Konzept „Geschütztes Material“	Quickstart
API für benutzerdefinierte Kategorien (Standard) (Vorschau)	Mit dieser Option können Sie eigene benutzerdefinierte Inhaltskategorien erstellen und trainieren und Text nach Übereinstimmungen scannen.	Konzepte für benutzerdefinierte Kategorien	Quickstart
API für benutzerdefinierte Kategorien (schnell) (Vorschau)	Hier können Sie Muster für neue schädliche Inhalte definieren und Text und Bilder auf Übereinstimmungen überprüfen.	Konzepte für benutzerdefinierte Kategorien	Ratgeber
Analysieren von Text API	Überprüft Text auf sexuelle Inhalte, Gewalt, Hass und Selbstverletzung (mit mehreren Schweregraden).	Schadenskategorien	Quickstart
Bild analysieren API	Überprüft Bilder auf sexuelle Inhalte, Gewalt, Hass und Selbstverletzung (mit mehreren Schweregraden).	Schadenskategorien	Quickstart
API zur Aufgabeneinhaltung	Erkennt, wann die Verwendung von Tools durch KI-Agents falsch ausgerichtet, unbeabsichtigt oder vorzeitig im Kontext einer Benutzerinteraktion erfolgt.	Konzepte zur Einhaltung von Aufgaben	Quickstart

Inhaltsicherheit Studio

Content Safety Studio von Azure KI ist ein Onlinetool, das entwickelt wurde, um potenziell anstößige, gefährliche oder unerwünschte Inhalte mithilfe modernster ML-Modelle für die Inhaltsmoderation zu verarbeiten. Es bietet Vorlagen und angepasste Workflows, mit denen Benutzer*innen ihr eigenes Inhaltsmoderationssystem wählen und erstellen können. Benutzer*innen können eigene Inhalte hochladen oder die bereitgestellten Beispielinhalte zum Testen verwenden.

Content Safety Studio enthält nicht nur vorkonfigurierte KI-Modelle, sondern auch die integrierten Begriffssperrlisten von Microsoft, um Obszönitäten zu kennzeichnen und neue Inhaltstrends zu berücksichtigen. Sie können auch Ihre eigenen Sperrlisten hochladen, um die Abdeckung schädlicher Inhalte zu verbessern, die speziell Ihren Anwendungsfall betreffen.

Mit Studio können Sie auch einen Moderationsworkflow einrichten, in dem Sie die Leistung der Inhaltsmoderation kontinuierlich überwachen und verbessern können. Die Lösung kann Ihnen dabei helfen, Inhaltsanforderungen aus unterschiedlichsten Branchen zu erfüllen – von Gaming über Medien und Bildung bis hin zu E-Commerce. Unternehmen können ihre Dienste ganz einfach mit Studio verbinden und ihre Inhalte in Echtzeit moderieren lassen, unabhängig davon, ob es sich um nutzergenerierte oder KI-generierte Inhalte handelt.

Alle diese Funktionen werden von Studio und dem zugehörigen Back-End bereitgestellt. Kunden müssen sich nicht mit der Modellentwicklung befassen. Sie können ein Onboarding für Ihre Daten durchführen, um diese schnell zu überprüfen, und Ihre Key Performance Indicators (KPIs) entsprechend überwachen. Beispiele für KPIs sind technische Metriken (Wartezeit, Genauigkeit, Rückruf) oder Geschäftsmetriken (Sperrrate, Sperrumfang, Kategorieverhältnisse, Sprachverhältnisse und Ähnliches). Mit einfachen Vorgängen und Konfigurationen können Kunden schnell verschiedene Lösungen testen und die beste Lösung finden, anstatt Zeit dafür aufzuwenden, mit benutzerdefinierten Modellen zu experimentieren oder die Moderation manuell durchzuführen.

Content Safety Studio testen

Features von Content Safety Studio

Im Content Safety Studio stehen die folgenden Funktionen der Azure AI-Inhaltssicherheit zur Verfügung:

• Moderieren von Textinhalten: Mit dem Textmoderationstool können Sie problemlos Tests für Textinhalte durchführen. Unser Tool bietet eine benutzerfreundliche Oberfläche, mit der Sie die Testergebnisse direkt im Portal bewerten können – ganz gleich, ob Sie einen einzelnen Satz oder ein gesamtes Dataset testen möchten. Sie können mit verschiedenen Empfindlichkeitsstufen experimentieren, um Ihre Inhaltsfilter und die Sperrlistenverwaltung zu konfigurieren. So können Sie sicherstellen, dass Ihre Inhalte immer exakt nach Ihren Spezifikationen moderiert werden. Außerdem haben Sie die Möglichkeit, den Code zu exportieren und das Tool direkt in Ihrer Anwendung zu implementieren, um Ihren Workflow zu optimieren und Zeit zu sparen.

• Moderieren von Bildinhalten: Mit dem Bildmoderationstool können Sie problemlos Tests für Bilder durchführen, um sicherzustellen, dass sie Ihren Inhaltsstandards entsprechen. Über unsere benutzerfreundliche Benutzeroberfläche können Sie die Testergebnisse direkt im Portal auswerten und mit verschiedenen Empfindlichkeitsstufen experimentieren, um Ihre Inhaltsfilter zu konfigurieren. Nachdem Sie Ihre Einstellungen angepasst haben, können Sie den Code mühelos exportieren, um das Tool in Ihrer Anwendung zu implementieren.

• Überwachen der Onlineaktivität: Mit der leistungsstarken Überwachungsseite können Sie problemlos die Nutzung und Trends Ihrer Moderations-API über verschiedene Modalitäten hinweg nachverfolgen. Dieses Feature ermöglicht den Zugriff auf detaillierte Antwortinformationen wie Kategorie- und Schweregradverteilung, Wartezeit, Fehler und Sperrlistenerkennung. Diese Informationen liefern einen umfassenden Überblick über die Leistung Ihrer Inhaltsmoderation, sodass Sie Ihren Workflow optimieren und sicherstellen können, dass Ihre Inhalte immer exakt nach Ihren Spezifikationen moderiert werden. Dank unserer benutzerfreundlichen Benutzeroberfläche können Sie schnell und einfach auf der Überwachungsseite navigieren und auf die Informationen zugreifen, die Sie benötigen, um fundierte Entscheidungen im Zusammenhang mit Ihrer Strategie für die Inhaltsmoderation zu treffen. Die bereitgestellten Tools helfen Ihnen dabei, den Überblick über die Leistung Ihrer Inhaltsmoderation zu behalten und Ihre Inhaltsziele zu erreichen.

Security

Microsoft Entra ID oder verwaltete Identität

Für mehr Sicherheit können Sie Microsoft Entra ID oder eine verwaltete Identität (Managed Identity, MI) verwenden, um den Zugriff auf Ihre Ressourcen zu verwalten.

• Managed Identity wird automatisch aktiviert, wenn Sie eine Content Safety-Ressource erstellen.
• Microsoft Entra ID wird in API- und SDK-Szenarios unterstützt. Weitere Informationen finden Sie in der allgemeinen Richtlinie für KI-Dienste zur Authentifizierung mit Microsoft Entra ID. Sie können anderen Benutzer*innen in Ihrer Organisation Zugriff gewähren, indem Sie ihnen die Rollen Cognitive Services-Benutzer und Leser zuweisen. Weitere Informationen zur Gewährung von Benutzerzugriff auf Azure-Ressourcen über das Azure-Portal finden Sie im Leitfaden zur rollenbasierten Zugriffssteuerung.

Verschlüsselung für ruhende Daten

Informationen zur Behandlung der Ver- und Entschlüsselung Ihrer Daten durch Azure KI Content Safety finden Sie hier. Kundenseitig verwaltete Schlüssel (Customer-Managed Keys, CMK) werden auch als „Bring Your Own Key“ (BYOK) bezeichnet und bieten eine größere Flexibilität beim Erstellen, Rotieren, Deaktivieren und Widerrufen von Zugriffssteuerungen. Außerdem können Sie die zum Schutz Ihrer Daten verwendeten Verschlüsselungsschlüssel überwachen.

Pricing

Azure AI Content Safety verfügt über ein Preisniveau von F0 und S0 . Weitere Informationen finden Sie auf der Azure-Preisseite .

Dienstbegrenzungen

Important

Hinweis zur eingestellten Unterstützung

Im Rahmen der Inhaltssicherheitsversionsverwaltung und Lebenszyklusverwaltung kündigen wir die Einstellung der Unterstützung bestimmter Public Preview- und GA-Versionen unserer Dienst-APIs an. Entsprechend unserer Richtlinien zur Einstellung der Unterstützung:

• Öffentliche Vorschauversionen: Jede neue öffentliche Vorschauversion führt nach einem Zeitraum von 90 Tagen zur Abkündigung der vorherigen Vorschauversion, sofern keine einschneidenden Änderungen eingeführt werden.
• GA-Versionen: Wenn eine neue GA-Version veröffentlicht wird, wird die vorherige GA-Version nach einem Zeitraum von 90 Tagen nicht mehr unterstützt, wenn die Kompatibilität beibehalten wird.

Sehen Sie sich die Seite Neuerungen für bevorstehende Einstellungen von Unterstützungen an.

Eingabeanforderungen

In der folgenden Liste finden Sie die Eingabeanforderungen für jedes Feature.

• Textanalyse-API:
  • Standardmäßige Maximallänge: 10 000 Zeichen (längere Texte nach Bedarf aufteilen).
• Bildanalyse-API:
  • Maximale Bilddateigröße: 4 MB
  • Abmessungen zwischen 50 × 50 und 7.200 × 7200 Pixel.
  • Bilder können im JPEG-, PNG-, GIF-, BMP-, TIFF- oder WEBP-Format vorliegen.
• Multimodale API analysieren (Vorschau):
  • Standardmäßige maximale Textlänge: 1.000 Zeichen.
  • Maximale Bilddateigröße: 4 MB
  • Abmessungen zwischen 50 × 50 und 7.200 × 7200 Pixel.
  • Bilder können im JPEG-, PNG-, GIF-, BMP-, TIFF- oder WEBP-Format vorliegen.
• Prompt Shields-API:
  • Maximale Eingabeaufforderungslänge: 10 000 Zeichen.
  • Bis zu fünf Dokumente mit insgesamt 10 000 Zeichen.
• Groundedness-Erkennungs-API (Vorschau):
  • Maximale Länge für Quellen zur Untermauerung: 55.000 Zeichen (pro API-Aufruf).
  • Maximale Text- und Abfragelänge: 7500 Zeichen.
  • Minimale Abfragelänge: 3 Wörter.
• APIs für die geschützte Materialerkennung:
  • Standardmäßige Maximallänge: 10.000 Zeichen.
  • Standardmäßige Mindestlänge: 110 Zeichen (zum Scannen von LLM-Vervollständigungen, nicht Benutzerprompts).
• API für benutzerdefinierte Kategorien (Standard) (Vorschau):
  • Maximale Rückschlusseingabelänge: 1.000 Zeichen.
• Aufgabentreue (Vorschau):
  • Maximale Eingabelänge: 100K-Zeichen.

Sprachunterstützung

Die Azure KI Inhaltssicherheit-Modelle für geschützte Materialien, Groundedness-Erkennung und benutzerdefinierte Kategorien (Standard) funktionieren nur für die Sprache Englisch.

Andere Azure KI Inhaltssicherheit-Modelle wurden speziell für die folgenden Sprachen trainiert und getestet: Chinesisch, Englisch, Französisch, Deutsch, Spanisch, Italienisch, Japanisch und Portugiesisch. Diese Features funktionieren zwar für viele weitere Sprachen, die Qualität könnte jedoch variieren. In allen Fällen sollten Sie eigene Tests durchführen, um sicherzustellen, dass es für Ihre Anwendung funktioniert.

Weitere Informationen erhalten Sie unter Sprachsupport.

Regionale Verfügbarkeit

Um die Inhaltssicherheit-APIs verwenden zu können, müssen Sie Ihre Azure KI Inhaltssicherheit-Ressource in einer unterstützten Region erstellen. Derzeit sind die Inhaltssicherheitsfeatures in den folgenden Azure-Regionen mit verschiedenen API-Versionen verfügbar:

Region	Benutzerdefinierte Kategorie (Standard)	Groundedness	Image	Multimodal (Bild mit Text)	Benutzerdefinierte Kategorie (schnell)	Prompt-Schutz	Geschütztes Material (Text)	Geschütztes Material (Code)	Text
Australia East	✅		✅		✅	✅	✅	✅	✅
Canada East			✅		✅	✅	✅	✅	✅
Central US			✅		✅	✅	✅	✅	✅
East US	✅	✅	✅	✅	✅	✅	✅	✅	✅
Ost-USA 2		✅	✅		✅	✅	✅	✅	✅
France Central		✅	✅		✅	✅	✅	✅	✅
Deutschland West Central					✅	✅	✅		✅
Italy North					✅	✅	✅		✅
Japan East			✅		✅	✅	✅	✅	✅
Korea Central			✅			✅	✅		✅
USA Nord Mitte			✅		✅	✅	✅	✅	✅
Poland Central			✅			✅	✅	✅	✅
USA Süd Mitte			✅		✅	✅	✅	✅	✅
South India			✅		✅	✅	✅	✅	✅
Sweden Central		✅	✅		✅	✅	✅	✅	✅
Switzerland North	✅		✅		✅	✅	✅	✅	✅
Switzerland West			✅		✅	✅	✅	✅	✅
UAE North			✅		✅	✅	✅	✅	✅
UK South		✅	✅		✅	✅	✅	✅	✅
West Europe			✅	✅	✅	✅	✅	✅	✅
West US		✅	✅		✅	✅	✅	✅	✅
USA, Westen 2			✅		✅	✅	✅	✅	✅
USA, Westen 3			✅		✅	✅	✅	✅	✅
FairFax – USGovArizona			✅			✅	✅	✅	✅
FairFax – USGovVirginia			✅			✅	✅		✅

Sie können sich an uns wenden , wenn Ihr Unternehmen andere Regionen benötigt, um verfügbar zu sein.

Abfrageraten

Inhaltssicherheitsfunktionen weisen Abfrageratenbeschränkungen in Anforderungen pro Sekunde (RPS) oder Anforderungen pro 10 Sekunden (RP10S) auf. In der folgenden Tabelle finden Sie die Ratenbegrenzungen für die einzelnen Funktionen.

Preisstufe	API für Moderationen (Text und Bild)	Prompt Shields	Geschütztes Material detection	Groundedness Erkennung (Vorschau)	Benutzerdefinierte Kategorien (schnell) (Vorschau)	Benutzerdefinierte Kategorien (Standard) (Vorschau)	Multimodal
F0	5 RPS	5 RPS	5 RPS	N/A	5 RPS	5 RPS	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 RPS	10 RPS

Wenn Sie eine schnellere Rate benötigen, wenden Sie sich bitte an uns , um sie anzufordern.

Kontaktieren Sie uns

Wenn Sie hängen bleiben, senden Sie uns eine E-Mail oder verwenden Sie das Feedback-Widget unten auf einer beliebigen Microsoft Learn-Seite.

Nächste Schritte

Folgen Sie einem Schnellstartleitfaden, um mit der Nutzung von Azure KI-Inhaltsicherheit in Ihrer Anwendung zu beginnen.

Schnellstart für Content Safety