Was ist Content Safety von Azure KI?
Azure KI Inhaltssicherheit ist ein KI-Dienst, der schädliche benutzergenerierte und KI-generierte Inhalte in Anwendungen und Diensten erkennt. Azure KI Content Safety enthält Text- und Bild-APIs für die Erkennung von schädlichem Material. Mit Content Safety Studio können Sie interaktiv Beispielcode für die Erkennung schädlicher Inhalte über verschiedene Modalitäten hinweg anzeigen, erkunden und ausprobieren.
Software zur Inhaltsfilterung kann Ihnen dabei helfen, mit Ihrer App gesetzliche Vorschriften einzuhalten oder Benutzer*innen die für sie beabsichtigte Umgebung zu bieten.
Diese Dokumentation enthält die folgenden Arten von Artikeln:
- Die Artikel zu Konzepten enthalten ausführliche Erläuterungen der Dienstfunktionen und -features.
- Schnellstarts sind Anleitungen zu den ersten Schritten, die Sie durch das Senden von Anforderungen an den Dienst führen.
- Schrittanleitungen enthalten Anweisungen zur spezifischeren oder individuelleren Verwendung des Diensts.
Verwendung des Diensts
Im Anschluss finden Sie einige Szenarien, in denen ein Softwareentwickler oder Team einen Inhaltsmoderationsdienst benötigt:
- Benutzerprompts, die an einen generativen KI-Dienst übermittelt werden.
- Von generativen KI-Modellen produzierte Inhalte.
- Onlinemarktplätze, die Produktkataloge und andere benutzergenerierte Inhalte moderieren
- Gamingunternehmen, die benutzergenerierte Spielartefakte und Chatrooms moderieren
- Messagingplattformen sozialer Medien, die von Benutzer*innen hinzugefügte Bilder und Texte moderieren
- Medienunternehmen, die eine zentrale Moderation für ihre Inhalte implementieren
- Anbieter im Bildungswesen, die unangemessene Inhalte für Schüler und Lehrer herausfiltern
Wichtig
Sie können Azure KI Content Safety nicht verwenden, um nach Bildern zu suchen, auf denen Kinder in nicht zulässiger Weise dargestellt sind.
Produktfeatures
Dieser Dienst macht verschiedene Arten von Analysen verfügbar. In der folgenden Tabelle werden die derzeit verfügbaren APIs beschrieben.
| Funktion | Funktionalität | Konzeptleitfaden | Erste Schritte |
|---|---|---|---|
| Promptschilde | Scannt Text auf das Risiko eines Benutzereingabeangriffs mit einem Large Language Model. | Prompt Shields-Konzepte | Schnellstart |
| Groundedness-Erkennung (Vorschau) | Erkennt, ob die Textantworten großer Sprachmodelle (LLMs) in den Quellmaterialien basieren, die von den Benutzern bereitgestellt werden. | Groundedness-Erkennungskonzept | Schnellstart |
| Geschützte Materialerkennung für Text | Scannt KI-generierten Text auf bekannte Textinhalte (z. B. Songtexte, Artikel, Rezepte, ausgewählte Webinhalte). | Konzept „Geschütztes Material“ | Schnellstart |
| API für benutzerdefinierte Kategorien (Standard) (Vorschau) | Mit dieser Option können Sie eigene benutzerdefinierte Inhaltskategorien erstellen und trainieren und Text nach Übereinstimmungen scannen. | Konzepte für benutzerdefinierte Kategorien | Schnellstart |
| API für benutzerdefinierte Kategorien (schnell) (Vorschau) | Hier können Sie Muster für neue schädliche Inhalte definieren und Text und Bilder auf Übereinstimmungen überprüfen. | Konzepte für benutzerdefinierte Kategorien | Anleitung |
| Textanalyse-API | Überprüft Text auf sexuelle Inhalte, Gewalt, Hass und Selbstverletzung (mit mehreren Schweregraden). | Schadenskategorien | Schnellstart |
| Bildanalyse-API | Überprüft Bilder auf sexuelle Inhalte, Gewalt, Hass und Selbstverletzung (mit mehreren Schweregraden). | Schadenskategorien | Schnellstart |
Content Safety Studio
Content Safety Studio von Azure KI ist ein Onlinetool, das entwickelt wurde, um potenziell anstößige, gefährliche oder unerwünschte Inhalte mithilfe modernster ML-Modelle für die Inhaltsmoderation zu verarbeiten. Es bietet Vorlagen und angepasste Workflows, mit denen Benutzer*innen ihr eigenes Inhaltsmoderationssystem wählen und erstellen können. Benutzer*innen können eigene Inhalte hochladen oder die bereitgestellten Beispielinhalte zum Testen verwenden.
Content Safety Studio enthält nicht nur vorkonfigurierte KI-Modelle, sondern auch die integrierten Begriffssperrlisten von Microsoft, um Obszönitäten zu kennzeichnen und neue Inhaltstrends zu berücksichtigen. Sie können auch Ihre eigenen Sperrlisten hochladen, um die Abdeckung schädlicher Inhalte zu verbessern, die speziell Ihren Anwendungsfall betreffen.
Darüber hinaus können Sie mit Studio einen Moderationsworkflow einrichten, in dem Sie die Leistung der Inhaltsmoderation kontinuierlich überwachen und verbessern können. Die Lösung kann Ihnen dabei helfen, Inhaltsanforderungen aus unterschiedlichsten Branchen zu erfüllen – von Gaming über Medien und Bildung bis hin zu E-Commerce. Unternehmen können ihre Dienste ganz einfach mit Studio verbinden und ihre Inhalte in Echtzeit moderieren lassen, unabhängig davon, ob es sich um nutzergenerierte oder KI-generierte Inhalte handelt.
Alle diese Funktionen werden von Studio und dem zugehörigen Back-End bereitgestellt. Kunden müssen sich nicht mit der Modellentwicklung befassen. Sie können ein Onboarding für Ihre Daten durchführen, um diese schnell zu überprüfen, und Ihre Key Performance Indicators (KPIs) entsprechend überwachen. Beispiele für KPIs sind technische Metriken (Wartezeit, Genauigkeit, Rückruf) oder Geschäftsmetriken (Sperrrate, Sperrumfang, Kategorieverhältnisse, Sprachverhältnisse und Ähnliches). Mit einfachen Vorgängen und Konfigurationen können Kunden schnell verschiedene Lösungen testen und die beste Lösung finden, anstatt Zeit dafür aufzuwenden, mit benutzerdefinierten Modellen zu experimentieren oder die Moderation manuell durchzuführen.
Features von Content Safety Studio
In Content Safety Studio stehen folgende Features von Azure KI Inhaltssicherheit zur Verfügung:
Moderieren von Textinhalten: Mit dem Textmoderationstool können Sie problemlos Tests für Textinhalte durchführen. Unser Tool bietet eine benutzerfreundliche Oberfläche, mit der Sie die Testergebnisse direkt im Portal bewerten können – ganz gleich, ob Sie einen einzelnen Satz oder ein gesamtes Dataset testen möchten. Sie können mit verschiedenen Empfindlichkeitsstufen experimentieren, um Ihre Inhaltsfilter und die Sperrlistenverwaltung zu konfigurieren. So können Sie sicherstellen, dass Ihre Inhalte immer exakt nach Ihren Spezifikationen moderiert werden. Außerdem haben Sie die Möglichkeit, den Code zu exportieren und das Tool direkt in Ihrer Anwendung zu implementieren, um Ihren Workflow zu optimieren und Zeit zu sparen.
Moderieren von Bildinhalten: Mit dem Bildmoderationstool können Sie problemlos Tests für Bilder durchführen, um sicherzustellen, dass sie Ihren Inhaltsstandards entsprechen. Über unsere benutzerfreundliche Benutzeroberfläche können Sie die Testergebnisse direkt im Portal auswerten und mit verschiedenen Empfindlichkeitsstufen experimentieren, um Ihre Inhaltsfilter zu konfigurieren. Nachdem Sie Ihre Einstellungen angepasst haben, können Sie den Code mühelos exportieren, um das Tool in Ihrer Anwendung zu implementieren.
Überwachen der Onlineaktivität: Mit der leistungsstarken Überwachungsseite können Sie problemlos die Nutzung und Trends Ihrer Moderations-API über verschiedene Modalitäten hinweg nachverfolgen. Dieses Feature ermöglicht den Zugriff auf detaillierte Antwortinformationen wie Kategorie- und Schweregradverteilung, Wartezeit, Fehler und Sperrlistenerkennung. Diese Informationen liefern einen umfassenden Überblick über die Leistung Ihrer Inhaltsmoderation, sodass Sie Ihren Workflow optimieren und sicherstellen können, dass Ihre Inhalte immer exakt nach Ihren Spezifikationen moderiert werden. Dank unserer benutzerfreundlichen Benutzeroberfläche können Sie schnell und einfach auf der Überwachungsseite navigieren und auf die Informationen zugreifen, die Sie benötigen, um fundierte Entscheidungen im Zusammenhang mit Ihrer Strategie für die Inhaltsmoderation zu treffen. Die bereitgestellten Tools helfen Ihnen dabei, den Überblick über die Leistung Ihrer Inhaltsmoderation zu behalten und Ihre Inhaltsziele zu erreichen.
Sicherheit
Verwenden von Microsoft Entra ID oder einer verwalteten Identität zur Zugriffsverwaltung
Für mehr Sicherheit können Sie Microsoft Entra ID oder eine verwaltete Identität (Managed Identity, MI) verwenden, um den Zugriff auf Ihre Ressourcen zu verwalten.
- Managed Identity wird automatisch aktiviert, wenn Sie eine Content Safety-Ressource erstellen.
- Microsoft Entra ID wird in API- und SDK-Szenarios unterstützt. Weitere Informationen finden Sie in der allgemeinen Richtlinie für KI-Dienste zur Authentifizierung mit Microsoft Entra ID. Sie können anderen Benutzer*innen in Ihrer Organisation Zugriff gewähren, indem Sie ihnen die Rollen Cognitive Services-Benutzer und Leser zuweisen. Weitere Informationen zur Gewährung von Benutzerzugriff auf Azure-Ressourcen über das Azure-Portal finden Sie im Leitfaden zur rollenbasierten Zugriffssteuerung.
Verschlüsselung für ruhende Daten
Informationen zur Behandlung der Ver- und Entschlüsselung Ihrer Daten durch Azure KI Content Safety finden Sie hier. Kundenseitig verwaltete Schlüssel (Customer-Managed Keys, CMK) werden auch als „Bring Your Own Key“ (BYOK) bezeichnet und bieten eine größere Flexibilität beim Erstellen, Rotieren, Deaktivieren und Widerrufen von Zugriffssteuerungen. Außerdem können Sie die zum Schutz Ihrer Daten verwendeten Verschlüsselungsschlüssel überwachen.
Preise
Derzeit sind für Azure KI Inhaltssicherheit die Tarife F0 und S0 verfügbar. Weitere Informationen finden Sie auf der Azure-Preisseite.
Diensteinschränkungen
Achtung
Hinweis zur eingestellten Unterstützung
Im Rahmen der Inhaltssicherheitsversionsverwaltung und Lebenszyklusverwaltung kündigen wir die Einstellung der Unterstützung bestimmter Public Preview- und GA-Versionen unserer Dienst-APIs an. Entsprechend unserer Richtlinien zur Einstellung der Unterstützung:
- Öffentliche Vorschauversionen: Jede neue öffentliche Vorschauversion löst nach einem Zeitraum von 90 Tagen die Einstellung der Unterstützung der vorherigen Vorschauversion aus, sofern keine unterbrechungsfreien Änderungen eingeführt werden.
- GA-Versionen: Wenn eine neue GA-Version veröffentlicht wird, wird die vorherige GA-Version nach einem Zeitraum von 90 Tagen nicht mehr unterstützt, wenn die Kompatibilität beibehalten wird.
Sehen Sie sich die Seite Neuerungen für bevorstehende Einstellungen von Unterstützungen an.
Eingabeanforderungen
In der folgenden Liste finden Sie die Eingabeanforderungen für jedes Feature.
- Textanalyse-API:
- Standardmäßige Maximallänge: 10 000 Zeichen (längere Texte nach Bedarf aufteilen).
- Bildanalyse-API:
- Maximale Bilddateigröße: 4 MB
- Abmessungen zwischen 50 × 50 und 7.200 × 7200 Pixel.
- Bilder können im JPEG-, PNG-, GIF-, BMP-, TIFF- oder WEBP-Format vorliegen.
- Multimodalen API für die Analyse (Vorschau):
- Standardmäßige maximale Textlänge: 1.000 Zeichen.
- Maximale Bilddateigröße: 4 MB
- Abmessungen zwischen 50 × 50 und 7.200 × 7200 Pixel.
- Bilder können im JPEG-, PNG-, GIF-, BMP-, TIFF- oder WEBP-Format vorliegen.
- Prompt Shields-API:
- Maximale Eingabeaufforderungslänge: 10 000 Zeichen.
- Bis zu fünf Dokumente mit insgesamt 10 000 Zeichen.
- Groundedness-Erkennungs-API (Vorschau):
- Maximale Länge für Erdungsquellen: 55 000 Zeichen (pro API-Aufruf).
- Maximale Text- und Abfragelänge: 7500 Zeichen.
- APIs für die geschützte Materialerkennung:
- Standardmäßige Maximallänge: 1000 Zeichen.
- Standardmäßige Mindestlänge: 110 Zeichen (zum Scannen von LLM-Vervollständigungen, nicht Benutzerprompts).
- API für benutzerdefinierte Kategorien (Standard) (Vorschau):
- Maximale Rückschlusseingabelänge: 1.000 Zeichen.
Sprachunterstützung
Die Azure KI Inhaltssicherheit-Modelle für geschützte Materialien, Groundedness-Erkennung und benutzerdefinierte Kategorien (Standard) funktionieren nur für die Sprache Englisch.
Andere Azure KI Inhaltssicherheit-Modelle wurden speziell für die folgenden Sprachen trainiert und getestet: Chinesisch, Englisch, Französisch, Deutsch, Spanisch, Italienisch, Japanisch und Portugiesisch. Diese Features funktionieren zwar für viele weitere Sprachen, die Qualität könnte jedoch variieren. In allen Fällen sollten Sie eigene Tests durchführen, um sicherzustellen, dass es für Ihre Anwendung funktioniert.
Weitere Informationen finden Sie unter Sprachunterstützung.
Regionale Verfügbarkeit
Um die Inhaltssicherheit-APIs verwenden zu können, müssen Sie Ihre Azure KI Inhaltssicherheit-Ressource in einer unterstützten Region erstellen. Derzeit sind die Inhaltssicherheitsfeatures in den folgenden Azure-Regionen mit verschiedenen API-Versionen verfügbar:
| Region | Benutzerdefinierte Kategorie | Quellenübereinstimmung | Abbildung | Multimodal (Bild mit Text) | Reaktion auf Vorfälle | Prompt Shield | Geschütztes Material (Text) | Geschütztes Material (Code) | Text | Unified API |
|---|---|---|---|---|---|---|---|---|---|---|
| Australien (Osten) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Kanada, Osten | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA, Mitte | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| East US | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| USA (Ost) 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Frankreich, Mitte | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Japan, Osten | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA Nord Mitte | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Polen, Mitte | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| USA Süd Mitte | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Indien (Süden) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Schweden, Mitte | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Schweiz, Norden | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Schweiz, Westen | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| Vereinigte Arabische Emirate, Norden | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| UK, Süden | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Europa, Westen | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| USA (Westen) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| USA, Westen 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| USA, Westen 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| FairFax – USGovArizona | ✅ | ✅ | ✅ | ✅ | ✅ | |||||
| FairFax – USGovVirginia | ✅ | ✅ | ✅ | ✅ | ✅ |
Sollte Ihr Unternehmen weitere Regionen benötigen, können Sie sich gerne an uns wenden.
Abfrageraten
Inhaltssicherheitsfunktionen weisen Abfrageratenbeschränkungen in Anforderungen pro Sekunde (RPS) oder Anforderungen pro 10 Sekunden (RP10S) auf. In der folgenden Tabelle finden Sie die Ratenbegrenzungen für die einzelnen Funktionen.
| Tarif | Moderations-APIs (Text und Bild) |
Promptschilde | Geschütztes Material Erkennung |
Quellenübereinstimmung Erkennung (Vorschau) |
Benutzerdefinierte Kategorien (schnell) (Vorschau) |
Benutzerdefinierte Kategorien (Standard) (Vorschau) |
Multimodal |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | N/V | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1.000 RP10S | 1.000 RP10S | 1.000 RP10S | 50 RPS | 1.000 RP10S | 5 RPS | 10 RPS |
Bei Bedarf können Sie sich auch an uns wenden, um eine höhere Geschwindigkeit anzufordern.
Kontakt
Bei Problemen können Sie und eine E-Mail senden oder das Feedback-Widget unten auf einer beliebigen Microsoft Learn-Seite verwenden.
Nächste Schritte
Folgen Sie einem Schnellstart, um mit der Verwendung von Azure KI Content Safety in Ihrer Anwendung zu beginnen.