Schadenskategorien in Azure AI Content Safety
In diesem Leitfaden werden alle Schadenskategorien und Bewertungen von Azure KI Inhaltssicherheit Content Safety zum Kennzeichnen von Inhalten beschrieben. Für Text- und Bildinhalte wird der gleiche Satz von Kennzeichnungen genutzt.
Schadenskategorien
Content Safety erkennt vier verschiedene Kategorien anstößiger Inhalte.
Category | Beschreibung |
---|---|
Hass und Fairness | Schäden im Zusammenhang mit Hass und Fairness beschreibt sprachliche Angriffe oder Verwendungen, die abwertende oder diskriminierende Ausdrücke in Bezug auf eine Person oder eine Identitätsgruppe auf der Grundlage bestimmter differenzierender Merkmale dieser Gruppen verwendet, einschließlich, aber nicht beschränkt auf Rasse, ethnische Zugehörigkeit, Nationalität, Geschlechtsidentität und -ausdruck, sexuelle Orientierung, Religion, Einwanderungsstatus, Fähigkeitsstatus, persönliches Aussehen und Körpergröße. Fairness befasst sich mit der Sicherstellung, dass KI-Systeme alle Gruppen von Menschen gleichwertig behandeln, ohne zu bestehenden gesellschaftlichen Ungleichheiten beizutragen. Ähnlich wie Hassreden basieren fairnessbezogene Schäden auf einer unterschiedlichen Behandlung von Identitätsgruppen. |
Sexuell | „Sexuell“ beschreibt Sprache, die sich auf anatomische Organe und Genitalien, romantische Beziehungen, erotisch oder zärtlich dargestellte Akte, Schwangerschaft, körperliche sexuelle Akte – einschließlich solcher Akte, die als Übergriff oder erzwungener sexueller Gewaltakt gegen den eigenen Willen dargestellt werden –, Prostitution, Pornografie und Missbrauch beziehen. |
Gewalt | „Gewalt“ beschreibt die Sprache im Zusammenhang mit körperlichen Handlungen, die dazu dienen, jemanden oder etwas zu verletzen, zu beschädigen oder zu töten bzw. die Waffen, Schusswaffen und damit verbundene Einrichtungen, wie Hersteller, Verbände, Gesetzgebung usw. beschreibt. |
Selbstverletzung | Selbstverletzendes Verhalten beschreibt Sprache, die sich auf körperliche Handlungen beziehen, die darauf abzielen, den eigenen Körper absichtlich zu verletzen, zu verwunden oder zu schädigen oder sich selbst zu töten. |
Die Klassifizierung kann mit mehreren Bezeichnungen versehen werden. Wenn z. B. ein Textbeispiel das Textmoderationsmodell durchläuft, kann es sowohl als sexueller als auch als gewalttätiger Inhalt eingestuft werden.
Schweregrade
Jede Schadenskategorie des Diensts verfügt auch über eine Bewertung des Schweregrads. Der Schweregrad gibt an, wie schwerwiegend die Folgen des Zeigens des gekennzeichneten Inhalts sind.
Text: Die aktuelle Version des Textmodells unterstützt die vollständige Schweregrad-Skala von 0–7. Der Klassifizierer erkennt alle Schweregrade entlang dieser Skala. Wenn der Benutzer angibt, kann er Schweregrade in der gekürzten Skala von 0, 2, 4 und 6 zurückgeben; jeder zwei angrenzenden Ebenen wird einer einzelnen Ebene zugeordnet.
- [0,1] –> 0
- [2,3] –> 2
- [4,5] –> 4
- [6,7] –> 6
Bild: Die aktuelle Version des Bildmodells unterstützt eine gekürzte Version des vollständigen Schweregrads von 0 bis 7. Der Klassifizierer gibt nur die Schweregrade 0, 2, 4 und 6 zurück; jeweils zwei angrenzende Stufen werden einer einzelnen Stufe zugeordnet.
- [0,1] –> 0
- [2,3] –> 2
- [4,5] –> 4
- [6,7] –> 6
Textinhalte
Warnung
Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.
Bilddateiinhalt
Warnung
Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.
Nächste Schritte
Folgen Sie einem Schnellstart, um mit der Verwendung von Azure KI Content Safety in Ihrer Anwendung zu beginnen.
Feedback
https://aka.ms/ContentUserFeedback.
Bald verfügbar: Im Laufe des Jahres 2024 werden wir GitHub-Issues stufenweise als Feedbackmechanismus für Inhalte abbauen und durch ein neues Feedbacksystem ersetzen. Weitere Informationen finden Sie unterFeedback senden und anzeigen für