Groundedness-Erkennung

Die Groundedness-Erkennungs-API erkennt, ob die Textantworten großer Sprachmodelle (LLMs) von den durch Benutzer bereitgestellten Quellmaterialien gestützt werden. Ungroundedness bezieht sich auf Fälle, in denen die LLMs Informationen erzeugen, die nicht sachlich oder ungenau im Bezug auf die Quellmaterialien sind.

Schlüsselbegriffe

• Retrieval Augmented Generation (RAG): RAG ist eine Technik zur Erweiterung von LLM-Wissen mit anderen Daten. LLMs können über umfangreiche Themen nachdenken, aber ihre Kenntnisse sind auf die öffentlichen Daten beschränkt, die zum Zeitpunkt des Trainings verfügbar waren. Wenn Sie KI-Anwendungen erstellen möchten, die über private Daten oder Daten, die nach dem Ablaufdatum eines Modells eingeführt wurden, verfügen sollen, müssen Sie das Modell mit diesen spezifischen Informationen bereitstellen. Der Prozess, die entsprechenden Informationen einzufügen und in die Modellaufforderung einzufügen, wird als Retrieval Augmented Generation (RAG) bezeichnet. Weitere Informationen finden Sie unter Retrieval-Augmented Generation (RAG).
• Groundedness und Ungroundedness in LLMs: Dies bezieht sich auf den Umfang, in dem die Ausgaben des Modells auf bereitgestellten Informationen basieren oder zuverlässige Quellen genau wiedergeben. Eine gestützte Antwort hält sich eng an die gegebenen Informationen, um Spekulationen oder Fabrikationen zu vermeiden. Bei Messungen der Groundedness sind Quellinformationen von entscheidender Bedeutung und dienen als Quelle der Groundedness.

Optionen für die Groundedness-Erkennung

Folgende Optionen stehen für die Groundedness-Erkennung in Azure KI Inhaltssicherheit zur Verfügung:

• Domänenauswahl: Benutzer können eine etablierte Domäne auswählen, um eine maßgeschneiderte Erkennung sicherzustellen, die den spezifischen Anforderungen ihres Felds entspricht. Derzeit sind Domänen MEDICAL und GENERIC verfügbar.
• Vorgangsspezifikation: Mit diesem Feature können Sie die Aufgabe auswählen, die Sie ausführen, z. B. QnA (Frage und Antwort) und Zusammenfassung mit anpassbaren Einstellungen entsprechend dem Aufgabentyp.
• Geschwindigkeit und Interpretationsfähigkeit: Es gibt zwei Modi, welche die Geschwindigkeit mit der Ergebnisinterpretierbarkeit abhandeln.
  • Nicht-Reasoning-Modus: Bietet schnelle Erkennungsfunktionen; einfach einzubetten in Online-Anwendungen.
  • Reasoning-Modus: Bietet detaillierte Erläuterungen für erkannte Ungrounded-Segmente; besser für das Verständnis und die Risikominderung.

Anwendungsfälle

Die Groundedness-Erkennung unterstützt textbasierte Zusammenfassungs- und QnA-Aufgaben, um sicherzustellen, dass die generierten Zusammenfassungen oder Antworten präzise und zuverlässig sind. Hier sind einige Beispiele für jeden Anwendungsfall:

Sammelvorgänge:

• Medizinische Zusammenfassung: Im Zusammenhang mit medizinischen Nachrichtenartikeln kann die Groundedness-Erkennung verwendet werden, um sicherzustellen, dass die Zusammenfassung keine fabrizierten oder irreführenden Informationen enthält, um sicherzustellen, dass Leser genaue und zuverlässige medizinische Informationen erhalten.
• Zusammenfassung der wissenschaftlichen Arbeit: Wenn das Modell Zusammenfassungen von akademischen Veröffentlichungen oder Forschungsartikeln generiert, kann die Funktion sicherstellen, dass der zusammengefasste Inhalt die wichtigsten Ergebnisse und Beiträge korrekt darstellt, ohne falsche Behauptungen einzuführen.

QnA-Aufgaben:

• Kundensupport-Chatbots: Im Kundensupport kann die Funktion verwendet werden, um die Antworten von KI-Chatbots zu validieren, um sicherzustellen, dass Kunden genaue und vertrauenswürdige Informationen erhalten, wenn sie Fragen zu Produkten oder Dienstleistungen stellen.
• Medizinische QnA: Für medizinische QnA hilft die Funktion dabei, die Genauigkeit medizinischer Antworten und Beratungen zu überprüfen, die von KI-Systemen für Medizinische Fachkräfte und Patienten bereitgestellt werden, um das Risiko von medizinischen Fehlern zu verringern.
• Bildungs-QnA: In Bildungseinrichtungen kann die Funktion auf QnA-Aufgaben angewendet werden, um zu bestätigen, dass Antworten auf akademische Fragen oder Testvorfragen sachlich genau sind und den Lernprozess unterstützen.

Groundedness-Korrektur

Die Groundedness-Erkennungs-API enthält eine Korrekturfunktion, die automatisch jede erkannte Ungroundedness im Text auf der Grundlage der bereitgestellten Grounding-Quellen korrigiert. Wenn die Korrekturfunktion aktiviert ist, enthält die Antwort ein corrected Text-Feld, das den korrigierten Text darstellt, der an den Grounding-Quellen ausgerichtet ist.

Im Anschluss finden Sie mehrere allgemeine Szenarien, die veranschaulichen, wie und wann diese Features angewendet werden, um die besten Ergebnisse zu erzielen.

Zusammenfassung in medizinischem Kontext

Anwendungsfall:

Sie fassen medizinische Dokumente zusammen, und es ist wichtig, dass die Namen der Patienten in den Zusammenfassungen korrekt und mit den bereitgestellten Grounding-Quellen konsistent sind.

Beispiel für API-Anforderung:

{
  "domain": "Medical",
  "task": "Summarization",
  "text": "The patient name is Kevin.",
  "groundingSources": [
    "The patient name is Jane."
  ],
}

Erwartetes Ergebnis:

Die Korrekturfunktion erkennt, dass Kevin keine Übereinstimmung mit den Quellen aufweist, da dieser Text mit der Grounding-Quelle Jane in Konflikt steht. Die API gibt den korrigierten Text zurück: "The patient name is Jane."

F&A-Aufgabe (Fragen und Antworten) mit Kundensupportdaten

Anwendungsfall:

Sie implementieren ein F&A-System für einen Kundensupport-Chatbot. Es ist wichtig, dass die von der KI bereitgestellten Antworten den neuesten und korrekten verfügbaren Informationen entsprechen.

Beispiel für API-Anforderung:

{
  "domain": "Generic",
  "task": "QnA",
  "qna": {
    "query": "What is the current interest rate?"
  },
  "text": "The interest rate is 5%.",
  "groundingSources": [
    "As of July 2024, the interest rate is 4.5%."
  ],
}

Erwartetes Ergebnis:

Die API erkennt Ungroundedness für 5%, da keine Übereinstimmung mit der bereitgestellten Grounding-Quelle 4.5% besteht. Die Antwort enthält den Korrekturtext: "The interest rate is 4.5%."

Inhaltserstellung mit historischen Daten

Anwendungsfall: Sie erstellen Inhalte, die historische Daten oder Ereignisse umfassen. Hierbei ist Genauigkeit wichtig, um glaubwürdig zu sein und Fehlinformationen zu vermeiden.

Beispiel für API-Anforderung:

{
  "domain": "Generic",
  "task": "Summarization",
  "text": "The Battle of Hastings occurred in 1065.",
  "groundingSources": [
    "The Battle of Hastings occurred in 1066."
  ],
}

Erwartetes Ergebnis: Die API erkennt Ungroundedness für das Datum 1065 und korrigiert das Datum basierend auf der Grounding-Quelle in 1066. Die Antwort enthält den korrigierten Text: "The Battle of Hastings occurred in 1066."

Interne Dokumentationszusammenfassung

Anwendungsfall:

Sie fassen interne Dokumente zusammen. Hierbei müssen Produktnamen, Versionsnummern oder andere spezifische Datenpunkte konsistent bleiben.

Beispiel für API-Anforderung:

{
  "domain": "Generic",
  "task": "Summarization",
  "text": "Our latest product is SuperWidget v2.1.",
  "groundingSources": [
    "Our latest product is SuperWidget v2.2."
  ],
}

Erwartetes Ergebnis:

Das Korrekturfeature identifiziert Ungroundedness für SuperWidget v2.1 und aktualisiert die Angabe in der Antwort auf SuperWidget v2.2. Die Antwort gibt den korrigierten Text zurück: "Our latest product is SuperWidget v2.2."

Bewährte Methoden

Halten Sie sich beim Einrichten von RAG-Systemen an die folgenden bewährten Methoden, um die Groundedness-Erkennungs-API bestmöglich zu nutzen:

• Verwenden Sie beim Umgang mit Produktnamen oder Versionsnummern Grounding-Quellen direkt aus internen Versionshinweisen oder offiziellen Produktdokumentationen, um deren Genauigkeit zu gewährleisten.
• Gleichen Sie bei historischen Inhalten Ihre Grounding-Quellen mit vertrauenswürdigen akademischen oder historischen Datenbanken ab, um ein Höchstmaß an Genauigkeit sicherzustellen.
• Verwenden Sie in einem dynamischen Umfeld wie der Finanzwelt immer die neuesten und zuverlässigsten Grounding-Quellen, um sicherzustellen, dass Ihr KI-System genaue und zeitnahe Informationen liefert.
• Stellen Sie immer sicher, dass Ihre Grounding-Quellen korrekt und aktuell sind – insbesondere in sensiblen Bereichen wie der Gesundheitsversorgung. Dadurch wird das Risiko von Fehlern im Zusammenfassungsprozess minimiert.

Begrenzungen

Verfügbarkeit der Sprache

Derzeit unterstützt die Groundedness-Erkennungs-API englischen Sprachinhalt. Während unsere API die Übermittlung von nicht englischen Inhalten nicht einschränkt, können wir bei der Analyse anderer Sprachinhalte nicht die gleiche Qualität und Genauigkeit garantieren. Es wird empfohlen, dass Benutzer Inhalte in erster Linie in Englisch übermitteln, um die zuverlässigsten und genausten Ergebnisse aus der API sicherzustellen.

Textlängenbeschränkungen

Informationen zu Beschränkungen der maximalen Textlänge finden Sie unter Eingabeanforderungen.

Regions

Um diese API zu verwenden, müssen Sie Ihre Azure KI Inhaltssicherheit-Ressource in den unterstützten Regionen erstellen. Weitere Informationen finden Sie unter Regionale Verfügbarkeit.

Ratenbeschränkungen

Weitere Informationen finden Sie unter Abfrageraten.

Wenn Sie eine höhere Rate benötigen, wenden Sie sich an uns, um sie anzufordern.

Nächste Schritte

Folgen Sie der Schnellstartanleitung, um die Verwendung von Azure KI Inhaltssicherheit zu verwenden, um Groundedness zu erkennen.

Schnellstart zur Groundedness-Erkennung