Teilen über


Schadenskategorien in Azure AI Content Safety

In diesem Leitfaden werden alle Schadenskategorien und Bewertungen von Azure KI Inhaltssicherheit Content Safety zum Kennzeichnen von Inhalten beschrieben. Für Text- und Bildinhalte wird der gleiche Satz von Kennzeichnungen genutzt.

Schadenskategorien

Content Safety erkennt vier verschiedene Kategorien anstößiger Inhalte.

Category Beschreibung API-Term
Hass und Fairness Hass und Fairnessverletzungen beziehen sich auf Inhalte, die eine Person oder eine Identitätsgruppe aufgrund bestimmter Merkmale dieser Gruppen angreifen oder eine diskriminierende Sprache verwenden.

Dies umfasst u. a.:
  • Ethnische Zugehörigkeit, Nationalität
  • Geschlechtsidentitätsgruppen und -ausdruck
  • Sexuelle Orientierung
  • Religion
  • Persönliche Erscheinung und Körpergröße
  • Behinderungsstatus
  • Belästigung und Mobbing
Hate
Sexuell „Sexuell“ beschreibt Sprache, die sich auf anatomische Organe und Genitalien, romantische Beziehungen und sexuelle Handlungen, erotisch oder zärtlich dargestellte Akte – einschließlich solcher Akte, die als Übergriff oder erzwungener sexueller Gewaltakt gegen den eigenen Willen dargestellt werden. 

 Dies umfasst u. a.:
  • Vulgäre Inhalte
  • Prostitution
  • Nacktheit und Pornografie
  • Missbrauch
  • Ausbeutung von Kindern, Kindesmissbrauch, Cyber Grooming
Sexual
Gewalt Gewalt beschreibt Sprache im Zusammenhang mit physischen Handlungen, die dazu dienen, jemanden oder etwas zu verletzen, zu beschädigen oder zu töten. Sie beschreibt Waffen, Gewehre und ähnliche Dinge.

Dies umfasst u. a.:
  • Waffen
  • Mobbing und Einschüchterung
  • Terroristischer und gewalttätiger Extremismus
  • Stalking
Violence
Selbstverletzung „Selbstverletzung“ beschreibt Sprache im Zusammenhang mit physischen Handlungen mit dem Ziel, den eigenen Körper absichtlich zu verletzen, zu verwunden oder zu schädigen oder sich selbst zu töten.

Dies umfasst u. a.:
  • Essstörungen
  • Mobbing und Einschüchterung
SelfHarm

Die Klassifizierung kann mit mehreren Bezeichnungen versehen werden. Wenn z. B. ein Textbeispiel das Textmoderationsmodell durchläuft, kann es sowohl als sexueller als auch als gewalttätiger Inhalt eingestuft werden.

Schweregrade

Jede Schadenskategorie des Diensts verfügt auch über eine Bewertung des Schweregrads. Der Schweregrad gibt an, wie schwerwiegend die Folgen des Zeigens des gekennzeichneten Inhalts sind.

Text: Die aktuelle Version des Textmodells unterstützt die vollständige Schweregrad-Skala von 0–7. Der Klassifikator erkennt zwischen allen Schweregraden entlang dieser Skala. Wenn der Benutzer angibt, kann er Schweregrade in der gekürzten Skala von 0, 2, 4 und 6 zurückgeben; jeder zwei angrenzenden Ebenen wird einer einzelnen Ebene zugeordnet.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Bild: Die aktuelle Version des Bildmodells unterstützt eine gekürzte Version des vollständigen Schweregrads von 0 bis 7. Der Klassifizierer gibt nur Schweregrade 0, 2, 4 und 6 zurück.

  • 0
  • 2
  • 4
  • 6

Bild mit Text: Die aktuelle Version des multimodalen Modells unterstützt die vollständige Schweregrad-Skala von 0–7. Der Klassifikator erkennt zwischen allen Schweregraden entlang dieser Skala. Wenn der Benutzer angibt, kann er Schweregrade in der gekürzten Skala von 0, 2, 4 und 6 zurückgeben; jeder zwei angrenzenden Ebenen wird einer einzelnen Ebene zugeordnet.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Textinhalte

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Bilddateiinhalt

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Multimodale Inhalte (Bild mit Text)

Warnung

Die Registerkarte Schweregraddefinitionen in diesem Dokument enthält Beispiele für schädliche Inhalte, die für manche Leser*innen verstörend sein können.

Nächste Schritte

Folgen Sie einem Schnellstart, um mit der Verwendung von Azure KI Content Safety in Ihrer Anwendung zu beginnen.