Schadenskategorien in Azure AI Content Safety

In diesem Leitfaden werden alle Schadenskategorien und Bewertungen von Azure KI Inhaltssicherheit Content Safety zum Kennzeichnen von Inhalten beschrieben. Für Text- und Bildinhalte wird der gleiche Satz von Kennzeichnungen genutzt.

Schadenskategorien

Content Safety erkennt vier verschiedene Kategorien anstößiger Inhalte.

Category Beschreibung
Hass und Fairness Schäden im Zusammenhang mit Hass und Fairness beschreibt sprachliche Angriffe oder Verwendungen, die abwertende oder diskriminierende Ausdrücke in Bezug auf eine Person oder eine Identitätsgruppe auf der Grundlage bestimmter differenzierender Merkmale dieser Gruppen verwendet, einschließlich, aber nicht beschränkt auf Rasse, ethnische Zugehörigkeit, Nationalität, Geschlechtsidentität und -ausdruck, sexuelle Orientierung, Religion, Einwanderungsstatus, Fähigkeitsstatus, persönliches Aussehen und Körpergröße.

Fairness befasst sich mit der Sicherstellung, dass KI-Systeme alle Gruppen von Menschen gleichwertig behandeln, ohne zu bestehenden gesellschaftlichen Ungleichheiten beizutragen. Ähnlich wie Hassreden basieren fairnessbezogene Schäden auf einer unterschiedlichen Behandlung von Identitätsgruppen.
Sexuell „Sexuell“ beschreibt Sprache, die sich auf anatomische Organe und Genitalien, romantische Beziehungen, erotisch oder zärtlich dargestellte Akte, Schwangerschaft, körperliche sexuelle Akte – einschließlich solcher Akte, die als Übergriff oder erzwungener sexueller Gewaltakt gegen den eigenen Willen dargestellt werden –, Prostitution, Pornografie und Missbrauch beziehen.
Gewalt „Gewalt“ beschreibt die Sprache im Zusammenhang mit körperlichen Handlungen, die dazu dienen, jemanden oder etwas zu verletzen, zu beschädigen oder zu töten bzw. die Waffen, Schusswaffen und damit verbundene Einrichtungen, wie Hersteller, Verbände, Gesetzgebung usw. beschreibt.
Selbstverletzung Selbstverletzendes Verhalten beschreibt Sprache, die sich auf körperliche Handlungen beziehen, die darauf abzielen, den eigenen Körper absichtlich zu verletzen, zu verwunden oder zu schädigen oder sich selbst zu töten.

Die Klassifizierung kann mit mehreren Bezeichnungen versehen werden. Wenn z. B. ein Textbeispiel das Textmoderationsmodell durchläuft, kann es sowohl als sexueller als auch als gewalttätiger Inhalt eingestuft werden.

Schweregrade

Jede Schadenskategorie des Diensts verfügt auch über eine Bewertung des Schweregrads. Der Schweregrad gibt an, wie schwerwiegend die Folgen des Zeigens des gekennzeichneten Inhalts sind.

Text: Die aktuelle Version des Textmodells unterstützt die vollständige Schweregrad-Skala von 0–7. Der Klassifizierer erkennt alle Schweregrade entlang dieser Skala. Wenn der Benutzer angibt, kann er Schweregrade in der gekürzten Skala von 0, 2, 4 und 6 zurückgeben; jeder zwei angrenzenden Ebenen wird einer einzelnen Ebene zugeordnet.

  • [0,1] –> 0
  • [2,3] –> 2
  • [4,5] –> 4
  • [6,7] –> 6

Bild: Die aktuelle Version des Bildmodells unterstützt eine gekürzte Version des vollständigen Schweregrads von 0 bis 7. Der Klassifizierer gibt nur die Schweregrade 0, 2, 4 und 6 zurück; jeweils zwei angrenzende Stufen werden einer einzelnen Stufe zugeordnet.

  • [0,1] –> 0
  • [2,3] –> 2
  • [4,5] –> 4
  • [6,7] –> 6

Textinhalte

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Bilddateiinhalt

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Nächste Schritte

Folgen Sie einem Schnellstart, um mit der Verwendung von Azure KI Content Safety in Ihrer Anwendung zu beginnen.