Was ist Content Safety von Azure KI?

  • Artikel

Content Safety von Azure KI erkennt schädliche benutzergenerierte und KI-generierte Inhalte in Anwendungen und Diensten. Azure KI Content Safety enthält Text- und Bild-APIs für die Erkennung von schädlichem Material. Wir verfügen auch über ein interaktives Tool namens Content Safety Studio, mit dem Sie Beispielcode für die Erkennung schädlicher Inhalte über verschiedene Modalitäten hinweg anzeigen, erkunden und ausprobieren können.

Software zur Inhaltsfilterung kann Ihnen dabei helfen, mit Ihrer App gesetzliche Vorschriften einzuhalten oder Benutzer*innen die für sie beabsichtigte Umgebung zu bieten.

Diese Dokumentation enthält die folgenden Arten von Artikeln:

  • Schnellstarts sind Anleitungen zu den ersten Schritten, die Sie durch das Senden von Anforderungen an den Dienst führen.
  • Schrittanleitungen enthalten Anweisungen zur spezifischeren oder individuelleren Verwendung des Diensts.
  • Die Artikel zu Konzepten enthalten ausführliche Erläuterungen der Dienstfunktionen und -features.

Verwendung des Diensts

Im Anschluss finden Sie einige Szenarien, in denen ein Softwareentwickler oder Team einen Inhaltsmoderationsdienst benötigt:

  • Onlinemarktplätze, die Produktkataloge und andere benutzergenerierte Inhalte moderieren
  • Gamingunternehmen, die benutzergenerierte Spielartefakte und Chatrooms moderieren
  • Messagingplattformen sozialer Medien, die von Benutzer*innen hinzugefügte Bilder und Texte moderieren
  • Medienunternehmen, die eine zentrale Moderation für ihre Inhalte implementieren
  • Anbieter im Bildungswesen, die unangemessene Inhalte für Schüler und Lehrer herausfiltern

Wichtig

Sie können Azure KI Content Safety nicht verwenden, um nach Bildern zu suchen, auf denen Kinder in nicht zulässiger Weise dargestellt sind.

Produkttypen

In diesem Dienst stehen verschiedene Analysetypen zur Verfügung. In der folgenden Tabelle werden die derzeit verfügbaren APIs beschrieben.

type Funktionalität
Analysieren der Text-API Überprüft Text auf sexuelle Inhalte, Gewalt, Hass und Selbstverletzung (mit mehreren Schweregraden).
Analysieren der Bild-API Überprüft Bilder auf sexuelle Inhalte, Gewalt, Hass und Selbstverletzung (mit mehreren Schweregraden).
Prompt Shields (Vorschau) Scannt Text auf das Risiko eines Benutzereingabeangriffs mit einem Large Language Model. Schnellstart
Groundedness-Erkennung (Vorschau) Erkennt, ob die Textantworten großer Sprachmodelle (LLMs) in den Quellmaterialien basieren, die von den Benutzern bereitgestellt werden. Schnellstart
Geschützte Materialtexterkennung (Vorschau) Scannt KI-generierten Text auf bekannte Textinhalte (z. B. Songtexte, Artikel, Rezepte, ausgewählte Webinhalte). Schnellstart

Content Safety Studio

Content Safety Studio von Azure KI ist ein Onlinetool, das entwickelt wurde, um potenziell anstößige, gefährliche oder unerwünschte Inhalte mithilfe modernster ML-Modelle für die Inhaltsmoderation zu verarbeiten. Es bietet Vorlagen und angepasste Workflows, mit denen Benutzer*innen ihr eigenes Inhaltsmoderationssystem wählen und erstellen können. Benutzer*innen können eigene Inhalte hochladen oder die bereitgestellten Beispielinhalte zum Testen verwenden.

Das Inhaltssicherheit-Studio enthält nicht nur vorkonfigurierte KI-Modelle, sondern auch die integrierten Begriffssperrlisten von Microsoft, um Obszönitäten zu kennzeichnen und neuen Trends zu berücksichtigen. Sie können auch Ihre eigenen Sperrlisten hochladen, um die Abdeckung schädlicher Inhalte zu verbessern, die speziell Ihren Anwendungsfall betreffen.

Darüber hinaus können Sie mit Studio einen Moderationsworkflow einrichten, in dem Sie die Leistung der Inhaltsmoderation kontinuierlich überwachen und verbessern können. Die Lösung kann Ihnen dabei helfen, Inhaltsanforderungen aus unterschiedlichsten Branchen zu erfüllen – von Gaming über Medien und Bildung bis hin zu E-Commerce. Unternehmen können ihre Dienste ganz einfach mit Studio verbinden und ihre Inhalte in Echtzeit moderieren lassen, unabhängig davon, ob es sich um nutzergenerierte oder KI-generierte Inhalte handelt.

Alle diese Funktionen werden von Studio und dem zugehörigen Back-End bereitgestellt. Kunden müssen sich nicht mit der Modellentwicklung befassen. Sie können ein Onboarding für Ihre Daten durchführen, um diese schnell zu überprüfen, und Ihre Key Performance Indicators (KPIs) entsprechend überwachen. Beispiele für KPIs sind technische Metriken (Wartezeit, Genauigkeit, Rückruf) oder Geschäftsmetriken (Sperrrate, Sperrumfang, Kategorieverhältnisse, Sprachverhältnisse und Ähnliches). Mit einfachen Vorgängen und Konfigurationen können Kunden schnell verschiedene Lösungen testen und die beste Lösung finden, anstatt Zeit dafür aufzuwenden, mit benutzerdefinierten Modellen zu experimentieren oder die Moderation manuell durchzuführen.

Content Safety Studio

Features von Content Safety Studio

In Content Safety Studio stehen folgende Features des Azure KI Content Safety-Diensts zur Verfügung:

  • Moderieren von Textinhalten: Mit dem Textmoderationstool können Sie problemlos Tests für Textinhalte durchführen. Unser Tool bietet eine benutzerfreundliche Oberfläche, mit der Sie die Testergebnisse direkt im Portal bewerten können – ganz gleich, ob Sie einen einzelnen Satz oder ein gesamtes Dataset testen möchten. Sie können mit verschiedenen Empfindlichkeitsstufen experimentieren, um Ihre Inhaltsfilter und die Sperrlistenverwaltung zu konfigurieren. So können Sie sicherstellen, dass Ihre Inhalte immer exakt nach Ihren Spezifikationen moderiert werden. Außerdem haben Sie die Möglichkeit, den Code zu exportieren und das Tool direkt in Ihrer Anwendung zu implementieren, um Ihren Workflow zu optimieren und Zeit zu sparen.

  • Moderieren von Bildinhalten: Mit dem Bildmoderationstool können Sie problemlos Tests für Bilder durchführen, um sicherzustellen, dass sie Ihren Inhaltsstandards entsprechen. Über unsere benutzerfreundliche Benutzeroberfläche können Sie die Testergebnisse direkt im Portal auswerten und mit verschiedenen Empfindlichkeitsstufen experimentieren, um Ihre Inhaltsfilter zu konfigurieren. Nachdem Sie Ihre Einstellungen angepasst haben, können Sie den Code mühelos exportieren, um das Tool in Ihrer Anwendung zu implementieren.

  • Überwachen der Onlineaktivität: Mit der leistungsstarken Überwachungsseite können Sie problemlos die Nutzung und Trends Ihrer Moderations-API über verschiedene Modalitäten hinweg nachverfolgen. Dieses Feature ermöglicht den Zugriff auf detaillierte Antwortinformationen wie Kategorie- und Schweregradverteilung, Wartezeit, Fehler und Sperrlistenerkennung. Diese Informationen liefern einen umfassenden Überblick über die Leistung Ihrer Inhaltsmoderation, sodass Sie Ihren Workflow optimieren und sicherstellen können, dass Ihre Inhalte immer exakt nach Ihren Spezifikationen moderiert werden. Dank unserer benutzerfreundlichen Benutzeroberfläche können Sie schnell und einfach auf der Überwachungsseite navigieren und auf die Informationen zugreifen, die Sie benötigen, um fundierte Entscheidungen im Zusammenhang mit Ihrer Strategie für die Inhaltsmoderation zu treffen. Die bereitgestellten Tools helfen Ihnen dabei, den Überblick über die Leistung Ihrer Inhaltsmoderation zu behalten und Ihre Inhaltsziele zu erreichen.

Eingabeanforderungen

Die standardmäßige maximale Länge für Textübermittlungen liegt bei 10.000 Zeichen. Wenn Sie längere Textblöcke analysieren möchten, können Sie den Eingabetext auf mehrere zusammenhängende Übermittlungen aufteilen (beispielsweise mittels Interpunktion oder Abstand).

Die maximale Größe für Bildübermittlungen beträgt 4 MB. Die Bildabmessungen müssen zwischen 50 × 50 Pixel und 2.048 × 2.048 Pixel liegen. Bilder können im JPEG-, PNG-, GIF-, BMP-, TIFF- oder WEBP-Format vorliegen.

Sicherheit

Verwenden von Microsoft Entra ID oder einer verwalteten Identität zur Zugriffsverwaltung

Für mehr Sicherheit können Sie Microsoft Entra ID oder eine verwaltete Identität (Managed Identity, MI) verwenden, um den Zugriff auf Ihre Ressourcen zu verwalten.

  • Managed Identity wird automatisch aktiviert, wenn Sie eine Content Safety-Ressource erstellen.
  • Microsoft Entra ID wird in API- und SDK-Szenarios unterstützt. Weitere Informationen finden Sie in der allgemeinen Richtlinie für KI-Dienste zur Authentifizierung mit Microsoft Entra ID. Sie können anderen Benutzer*innen in Ihrer Organisation Zugriff gewähren, indem Sie ihnen die Rollen Cognitive Services-Benutzer und Leser zuweisen. Weitere Informationen zur Gewährung von Benutzerzugriff auf Azure-Ressourcen über das Azure-Portal finden Sie im Leitfaden zur rollenbasierten Zugriffssteuerung.

Verschlüsselung für ruhende Daten

Informationen zur Behandlung der Ver- und Entschlüsselung Ihrer Daten durch Azure KI Content Safety finden Sie hier. Kundenseitig verwaltete Schlüssel (Customer-Managed Keys, CMK) werden auch als „Bring Your Own Key“ (BYOK) bezeichnet und bieten eine größere Flexibilität beim Erstellen, Rotieren, Deaktivieren und Widerrufen von Zugriffssteuerungen. Außerdem können Sie die zum Schutz Ihrer Daten verwendeten Verschlüsselungsschlüssel überwachen.

Preise

Derzeit verfügt die Azure KI Content Safety über die Tarife F0 und S0.

Diensteinschränkungen

Sprachunterstützung

Inhaltssicherheit-Modelle wurden speziell für die folgenden Sprachen trainiert und getestet: Englisch, Deutsch, Japanisch, Spanisch, Französisch, Italienisch, Portugiesisch und Chinesisch. Der Dienst funktioniert zwar für viele weitere Sprachen, die Qualität könnte jedoch variieren. In allen Fällen sollten Sie eigene Tests durchführen, um sicherzustellen, dass es für Ihre Anwendung funktioniert.

Weitere Informationen finden Sie unter Sprachunterstützung.

Region und Standort

Um die Inhaltssicherheit-APIs verwenden zu können, müssen Sie Ihre Azure KI Inhaltssicherheit-Ressource in einer unterstützten Region erstellen. Derzeit sind diese in den folgenden Azure-Regionen verfügbar:

  • Australien (Osten)
  • Kanada, Osten
  • USA, Mitte
  • East US
  • USA (Ost) 2
  • Frankreich, Mitte
  • Japan, Osten
  • USA Nord Mitte
  • USA Süd Mitte
  • Schweiz, Norden
  • UK, Süden
  • Europa, Westen
  • USA, Westen 2
  • Schweden, Mitte

Öffentliche Vorschaufeatures wie Prompt Shields und geschützte Materialerkennung sind in den folgenden Azure-Regionen verfügbar:

  • East US
  • Europa, Westen

Sollten Sie weitere Regionen für Ihr Unternehmen benötigen, können Sie sich gerne an uns wenden.

Abfrageraten

Tarif Anforderungen pro 10 Sekunden (RPS)
F0 1.000
S0 1.000

Bei Bedarf können Sie sich auch an uns wenden, um eine schnellere Rate zu beantragen.

Kontakt

Sollten Sie Probleme haben, senden Sie uns eine E-Mail, oder verwenden Sie das Feedbackwidget rechts oben auf einer beliebigen Dokumentationsseite.

Nächste Schritte

Folgen Sie einem Schnellstart, um mit der Verwendung von Azure KI Content Safety in Ihrer Anwendung zu beginnen.

Schnellstart für Content Safety