Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Wichtig
Azure Content Moderator ist ab Februar 2024 veraltet und wird am 15. März 2027 eingestellt. Er wird durch den Dienst Azure KI Inhaltssicherheit ersetzt, der erweiterte KI-Features und eine verbesserte Leistung bietet.
Azure KI Inhaltssicherheit ist eine umfassende Lösung für die Erkennung benutzer- und KI-generierter Inhalte in Anwendungen und Diensten. Azure KI Inhaltssicherheit ist für zahlreiche Szenarien geeignet, z. B. für Online-Marketplaces, Spieleanbieter, Social Messaging-Plattformen, Medienunternehmen und Anbieter von Lösungen für den primären und sekundären Bildungsbereich. Hier finden Sie eine Übersicht über die Features und Funktionen:
- APIs für Text- und Bilderkennung: Überprüfung von Texten und Bildern auf sexuelle Inhalte, Gewalt, Hass und selbstverletzendes Verhalten mit verschiedenen Schweregraden.
- Inhaltssicherheit Studio: Ein Onlinetool für den Umgang mit potenziell anstößigen, gefährlichen oder unerwünschten Inhalten unter Verwendung unserer neuesten ML-Modelle für die Inhaltsmoderation. Es bietet Vorlagen und benutzerdefinierte Workflows, mit denen Benutzer*innen eigene Systeme für die Inhaltsmoderation entwickeln können.
- Sprachunterstützung: Azure KI Inhaltssicherheit unterstützt mehr als 100 Sprachen und ist speziell für Englisch, Deutsch, Japanisch, Spanisch, Französisch, Italienisch, Portugiesisch und Chinesisch trainiert.
Azure KI Inhaltssicherheit bietet eine robuste und flexible Lösung für Ihre Anforderungen an die Inhaltsmoderation. Durch den Wechsel von Content Moderator zu Azure KI Inhaltssicherheit können Sie die Vorteile der neuesten Tools und Technologien nutzen und sicherstellen, dass Ihre Inhalte immer genau nach Ihren Spezifikationen moderiert werden.
Erfahren Sie mehr über Azure KI Inhaltssicherheit und darüber, wie es Ihre Strategie zur Inhaltsmoderation verbessern kann.
Sie können Textmoderationsmodelle von Azure Content Moderator verwenden, um Textinhalte wie Chatrooms, Diskussionsforen, Chatbots, E-Commerce-Kataloge und Dokumente zu analysieren.
Die Antwort des Diensts enthält folgende Informationen:
- Obszönitäten: begriffsbasierter Abgleich mit einer integrierten Liste anstößiger Begriffe in verschiedenen Sprachen
- Klassifizierung: Computergestützte Klassifizierung in drei Kategorien
- Personenbezogene Daten
- Automatisch korrigierter Text
- Ursprünglicher Text
- Sprache
Obszönitäten
Wenn die API anstößige Begriffe in einer der unterstützten Sprachen erkennt, werden diese Begriffe in die Antwort aufgenommen. Die Antwort enthält auch deren Position (Index
) im ursprünglichen Text.
ListId
im folgenden JSON-Beispielcode bezieht sich auf Begriffe aus benutzerdefinierten Begriffslisten, sofern verfügbar.
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 0,
"Term": "<offensive word>"
}
Hinweis
Weisen Sie für den Parameter language
entweder eng
zu, oder lassen Sie ihn leer, um die computergestützte Klassifizierungsantwort (Vorschaufeature) zu erhalten.
Dieses Feature wird nur für Englisch unterstützt.
Verwenden Sie für die Erkennung anstößiger Begriffe den ISO 639-3-Code der unterstützten Sprachen aus diesem Artikel, oder lassen Sie ihn leer.
Klassifizierung
Das computergestützte Textklassifizierungsfeature von Content Moderator wird nur für Englisch unterstützt und hilft bei der Erkennung potenziell unerwünschter Inhalte. Die gekennzeichneten Inhalte werden je nach Kontext unter Umständen als ungeeignet bewertet. Es vermittelt die Wahrscheinlichkeit jeder Kategorie. Die Funktion verwendet ein trainiertes Modell, um mögliche beleidigende, herabwürdigende oder diskriminierende Sprache zu identifizieren. Dazu gehören Slang, abgekürzte Wörter, beleidigende und absichtlich falsch geschriebene Wörter.
Der folgende Auszug aus dem JSON-Auszug zeigt eine Beispielausgabe:
"Classification": {
"ReviewRecommended": true,
"Category1": {
"Score": 1.5113095059859916E-06
},
"Category2": {
"Score": 0.12747249007225037
},
"Category3": {
"Score": 0.98799997568130493
}
}
Erklärung
-
Category1
gibt an, dass unter Umständen Sprache vorhanden ist, die in bestimmten Situationen als sexuell freizügig oder nicht jugendfrei betrachtet werden kann. -
Category2
gibt an, dass unter Umständen Sprache vorhanden ist, die in bestimmten Situationen als zweideutig bzw. anzüglich oder als nur für Erwachsene bestimmt betrachtet werden kann. -
Category3
gibt an, dass unter Umständen Sprache vorhanden ist, die in bestimmten Situationen als anstößig betrachtet werden kann. -
Score
ist ein Wert zwischen 0 und 1. Je höher der Wert ist, desto höher ist die Wahrscheinlichkeit, dass die Kategorie zutreffend sein könnte. Diese Funktion basiert nicht auf manuell programmierten Ergebnissen, sondern auf einem statistischen Modell. Es wird empfohlen, anhand Ihrer eigenen Inhalte zu testen, wie die jeweiligen Kategorien zu Ihren Anforderungen passen. -
ReviewRecommended
ist entweder „true“ oder „false“ (abhängig von den internen Ergebnisschwellenwerten). Kunden müssen entscheiden, ob sie diesen Wert verwenden oder auf der Grundlage ihrer Inhaltsrichtlinien eigene Schwellenwerte festlegen möchten.
Personenbezogene Daten
Das Feature für personenbezogene Daten erkennt, ob unter Umständen Daten dieser Art vorhanden sind:
- E-Mail-Adresse
- US-Postanschrift
- IP-Adresse
- US-Telefonnummer
Das folgende Beispiel zeigt eine exemplarische Antwort:
"pii":{
"email":[
{
"detected":"abcdef@abcd.com",
"sub_type":"Regular",
"text":"abcdef@abcd.com",
"index":32
}
],
"ssn":[
],
"ipa":[
{
"sub_type":"IPV4",
"text":"255.255.255.255",
"index":72
}
],
"phone":[
{
"country_code":"US",
"text":"6657789887",
"index":56
}
],
"address":[
{
"text":"1 Microsoft Way, Redmond, WA 98052",
"index":89
}
]
}
Autokorrektur
Die Textmoderationsantwort kann den Text optional mit der grundlegenden automatischen Korrektur zurückgeben.
Beispielsweise weist der folgende Eingabetext einen Rechtschreibfehler auf.
Der schnelle braune Fuchs springt über den faulen Hund.
Bei Verwendung der Autokorrektur enthält die Antwort die korrigierte Version des Texts:
Der schnelle braune Fuchs springt über den faulen Hund.
Erstellen und Verwalten ihrer benutzerdefinierten Listen mit Begriffen
Die standardmäßige globale Begriffsliste deckt zwar die meisten Fälle ab, in bestimmten Fällen möchten Sie Inhalte aber ggf. auf spezielle Begriffe im Zusammenhang mit Ihren geschäftlichen Anforderungen überprüfen. So kann es beispielsweise wünschenswert sein, Markennamen von Mitbewerbern aus Benutzerbeiträgen herauszufiltern.
Hinweis
Die Obergrenze liegt bei fünf Begriffslisten, wobei jede Liste max. 10.000 Begriffe enthalten kann.
Das folgende Beispiel zeigt die entsprechende Listen-ID:
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 231.
"Term": "<offensive word>"
}
Content Moderator bietet eine Begriffslisten-API mit Vorgängen für die Verwaltung benutzerdefinierter Begriffslisten. Falls Sie mit Visual Studio und C# vertraut sind, sehen Sie sich den .NET-Schnellstart für Begriffslisten an.