Freigeben über

Missbrauchsüberwachung

Azure OpenAI in Azure AI Foundry Models erkennt und entschärft Fälle von wiederkehrenden Inhalten und/oder Verhaltensweisen, die darauf hindeuten, dass der Dienst auf eine Weise verwendet wird, die gegen den Verhaltenskodex verstoßen könnte. Details zum Umgang mit Daten finden Sie auf der Seite Daten, Datenschutz und Sicherheit.

Komponenten der Missbrauchsüberwachung

Es gibt mehrere Komponenten für die Missbrauchsüberwachung:

  • Inhaltsklassifizierung: Klassifizierermodelle erkennen verletzenden Text und/oder Bilder in Benutzerprompts (Eingaben) und Vervollständigungen (Ausgaben). Das System sucht nach Kategorien von Schäden, die in den Inhaltsanforderungen definiert sind, und weist Schweregrade zu, wie auf der Seite „Inhaltsfilterung“ ausführlicher beschrieben. Die Signale zur Inhaltsklassifizierung tragen zur Mustererkennung bei, wie unten beschrieben.
  • Missbrauchsmustererfassung: Das Missbrauchsüberwachungssystem von Azure OpenAI untersucht Kundennutzungsmuster und verwendet Algorithmen und Heuristiken, um Indikatoren für potenziellen Missbrauch zu erkennen und zu scoren. Erkannte Muster berücksichtigen beispielsweise die Häufigkeit und den Schweregrad, mit der schädliche Inhalte (wie in den Signalen der Inhaltsklassifizierer angegeben) in den Prompts und Vervollständigungen eines Kunden erkannt werden, wie auch die Absicht des Verhaltens. Die Trends und Dringlichkeit des erkannten Musters wirken sich auch auf die Bewertung potenzieller Missbrauchsschweregrade aus. Beispielsweise werden ein höheres Volumen schädlicher Inhalte, die als höherer Schweregrad klassifiziert werden, oder wiederkehrendes Verhalten, das auf Absicht hinweist (z. B. wiederkehrende Jailbreak-Versuche) wahrscheinlicher eine hohe Bewertung erhält, die auf potenziellen Missbrauch hindeutet.
  • Überprüfung und Entscheidung: Aufforderungen und Fertigstellungen, die durch die Inhaltsklassifizierung gekennzeichnet sind und/oder als Teil eines potenziell missbräuchlichen Nutzungsmusters identifiziert werden, unterliegen einem anderen Überprüfungsprozess, um die Analyse des Systems zu bestätigen und Maßnahmen zur Missbrauchsüberwachung zu informieren. Diese Überprüfung erfolgt über zwei Methoden: automatisierte Überprüfung und menschliche Überprüfung.
    • Wenn Aufforderungen und Vervollständigungen standardmäßig über die Inhaltsklassifizierung als schädlich gekennzeichnet und/oder als Teil eines potenziell missbräuchlichen Nutzungsmusters identifiziert werden, können sie mithilfe automatisierter Mittel, z. B. KI-Modelle wie LLMs anstelle eines menschlichen Prüfers, zur Überprüfung verwendet werden. Das Modell, das für diesen Zweck verwendet wird, verarbeitet Aufforderungen und Ergebnisse nur, um die Analyse des Systems zu bestätigen und umsetzbare Entscheidungen zu informieren; Aufforderungen und Ergebnisse, die einer solchen Überprüfung unterzogen werden, werden nicht vom Missbrauchsüberwachungssystem gespeichert oder verwendet, um das KI-Modell oder andere Systeme zu trainieren.
    • Wenn die automatisierte Überprüfung in komplexen Kontexten keine anwendbaren Konfidenzschwellenwerte erfüllt oder automatisierte Überprüfungssysteme nicht verfügbar sind, kann eine zusätzliche Beurteilung durch menschliche Prüfung durchgeführt werden. Autorisierte Microsoft-Mitarbeiter können Inhalte bewerten, die über die Inhaltsklassifizierung gekennzeichnet sind und/oder als Teil eines potenziell missbräuchlichen Nutzungsmusters identifiziert werden, und entweder die Klassifizierung oder Bestimmung basierend auf vordefinierten Richtlinien und Richtlinien bestätigen oder korrigieren. Auf diese Prompts und Vervollständigungen können nur autorisierte Mitarbeitende von Microsoft über sichere Zugriffsarbeitstationen (Secure Access Workstations, SAWs) zugreifen mit Just-In-Time (JIT)-Genehmigung der Anforderung durch Teamleitende. Für Azure OpenAI-Ressourcen, die im Europäischen Wirtschaftsraum bereitgestellt werden, befinden sich die autorisierten Microsoft-Mitarbeiter im Europäischen Wirtschaftsraum. Dieser Prozess der menschlichen Überprüfung der Missbrauchsüberwachung findet nicht statt, wenn der Kunde für eine modifizierte Missbrauchsüberwachung zugelassen wurde.
  • Benachrichtigung und Aktion: Wenn ein Schwellenwert für missbräuchliches Verhalten basierend auf den vorherigen Schritten bestätigt wurde, wird der Kunde per E-Mail über die Entscheidung informiert. Abgesehen von schweren oder wiederkehrenden Missbrauchs haben Kunden in der Regel die Möglichkeit, das missbräuchliche Verhalten zu erläutern oder zu beheben – und Mechanismen zu implementieren, um wiederholungswidrige Verhaltensweisen zu verhindern. Ein Fehler bei der Behebung des Verhaltens – oder wiederkehrender oder schwerwiegender Missbrauch – kann dazu führen, dass der Zugriff des Kunden auf Azure OpenAI-Ressourcen und/oder -Funktionen ausgesetzt oder beendet wird.

Modifizierte Missbrauchsüberwachung

Einige Kunden möchten möglicherweise Azure OpenAI für einen Anwendungsfall verwenden, der die Verarbeitung hochsensibler oder streng vertraulicher Daten umfasst, oder kommen zu dem Schluss, dass sie nicht möchten oder nicht berechtigt sind, Microsoft das Speichern und die Durchführung von menschlichen Überprüfungen ihrer Eingaben und Ergebnisse zur Erkennung von Missbrauch zu gestatten. Um diese Bedenken auszuräumen, ermöglicht Microsoft Kunden, welche zusätzliche Kriterien für den eingeschränkten Zugang erfüllen, die Änderung der Missbrauchsüberwachung zu beantragen, indem sie dieses Formular ausfüllen. Erfahren Sie mehr über das Beantragen einer geänderten Missbrauchsüberwachung bei eingeschränktem Zugriff auf Azure OpenAI.

Hinweis

Wenn die Missbrauchsüberwachung geändert wird und keine menschliche Überprüfung durchgeführt wird, ist die Erkennung von potenziellem Missbrauch möglicherweise weniger genau. Kund*innen werden wie oben beschrieben über eine potenzielle Missbrauchserkennung informiert und sollten bereit sein, auf eine solche Benachrichtigung zu reagieren, um Dienstunterbrechungen wenn möglich zu vermeiden.

Nächste Schritte