Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Artikel beantwortet häufig gestellte Fragen zu den KI-Fähigkeiten, die in den Analysefeatures von Copilot Studio verwendet werden.
Wie wird generative KI für Analysen verwendet?
Copilot Studio nutzt KI, um die Qualität generativer Antworten zu bewerten und Muster in Benutzerabfragen durch Clustering zu erkennen. Diese Cluster bieten Erkenntnisse zur Leistung der Agents.
Generative Antworten verwenden die Wissensquellen, die Sie auswählen, um eine Antwort zu generieren. Die Funktion sammelt auch Feedback, das Sie bereitstellen. Analysen verwenden große Sprachmodelle (LLMs), um die Chatnachrichten zwischen Benutzern und Agents in Ebenen zu klassifizieren, die auf die Qualität der generativen Antworten hinweisen. Diese Klassifikationen werden aggregiert, um eine Zusammenfassung der Leistung des Agents bereitzustellen.
Bei der Gruppierung (Clustering) kommen LLMs zum Einsatz, um die Nachrichten von Benutzern basierend auf freigegebenen Themen in Gruppen zu sortieren und jeder Gruppe einen beschreibenden Namen bereitzustellen. Copilot Studio verwendet die Namen dieser Cluster, um verschiedene Arten von Erkenntnissen bereitzustellen, die Sie verwenden können, um Ihren Agent zu verbessern.
Qualität der Antworten für generative Antworten
Was ist der beabsichtigte Verwendungszweck der Qualität der Antwort?
Verwenden Sie die Analyse der Antwortqualität, um die Leistung der Agents zu verstehen und Verbesserungsmöglichkeiten zu identifizieren. Derzeit können Sie Analysen verwenden, um nachzuvollziehen, ob die Qualität der generativen Antworten eines Agents Ihren Erwartungen entspricht.
Neben der allgemeinen Qualität identifiziert die Analyse der Antwortqualität Bereiche, in denen ein Agent schlecht abschneidet oder in denen er Ihre beabsichtigten Ziele nicht erreicht. Finden Sie heraus, wo generative Antworten schlecht abschneiden, und ergreifen Sie Schritte, um die Qualität zu verbessern.
Nutzen Sie bewährte Methoden, mit denen die Qualität verbessert werden kann, wenn Sie schlechte Leistung identifizieren. Beispielsweise können Sie nach der Identifizierung von Wissensquellen mit schlechter Leistung die Wissensquelle bearbeiten oder sie in mehrere, fokussiertere Quellen aufteilen, um eine höhere Leistung zu erreichen.
Welche Daten werden verwendet, um Analysen der Antwortqualität zu erstellen?
Die Analyse der Antwortqualität basiert auf einer Stichprobe von generativen Antworten. Sie benötigt die Benutzerabfrage, die Agent-Antwort und die relevanten Wissensquellen, die das generative Modell für die generative Antwort verwendet. Die Analyse der Antwortqualität verwendet diese Informationen, um zu bewerten, ob die Qualität der generativen Antwort gut ist, und gegebenenfalls herauszufinden, warum die Qualität schlecht ist. Beispielsweise kann die Qualität der Antwort auf unvollständige, irrelevante oder nicht vollständig fundierte Antworten hinweisen.
Welche Einschränkungen gelten für die Analyse der Antwortqualität und wie können Benutzer die Auswirkungen dieser Einschränkungen minimieren?
Die Analyse der Antwortqualität verwendet nicht alle generativen Antworten. Stattdessen bewertet die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Für Agents, die unter der Mindestanzahl erfolgreicher generativer Antworten liegen, ist keine Zusammenfassung einer Analyse der Antwortqualität möglich.
Es gibt Fälle, in denen Analysen eine einzelne Antwort nicht genau bewerten. Auf aggregierter Ebene sollte sie jedoch für die meisten Fälle genau sein.
Die Analyse der Antwortqualität bietet keine Aufschlüsselung der spezifischen Abfragen, die zu einer niedrigen Qualität geführt haben. Sie bieten auch keine Aufschlüsselung allgemeiner Wissensquellen oder Themen, die bei Antworten mit niedriger Qualität verwendet wurden.
Analysen werden nicht für Antworten berechnet, die generatives Wissen verwenden.
Eine der Metriken, mit der die Antwortqualität bewertet wird, ist die Vollständigkeit der Antwort. Diese Metrik misst, wie umfassend die Antwort auf den Inhalt des abgerufenen Dokuments eingeht.
Wenn das System kein relevantes Dokument mit zusätzlichen Informationen zur Frage abruft, wird die Vollständigkeitsmetrik für dieses Dokument nicht ausgewertet.
Welche Schutzmaßnahmen gibt es in Copilot Studio für die Analyse der Antwortqualität im Hinblick auf verantwortungsvolle KI?
Analyseergebnisse sind für die Benutzer von Agents nicht sichtbar. Nur Agent-Erstellende und Admins haben Zugriff auf Ergebnisse.
Erstellende und Administrierende können Analysen der Antwortqualität nur verwenden, um den Prozentsatz der Antworten guter Qualität und alle vordefinierten Gründe für schlechte Leistung anzuzeigen. Ergebnisse werden aggregiert und als Prozentsätze sowie vordefinierte Kategorien präsentiert.
Wir haben Analysen der Antwortqualität während der Entwicklung gründlich getestet, um eine gute Leistung sicherzustellen. In seltenen Fällen können die Bewertungen der Antwortqualität jedoch ungenau sein.
Stimmungsanalyse für Unterhaltungssitzungen
Was ist der beabsichtigte Verwendungszweck der Stimmungsanalyse?
Nutzen Sie die Stimmungsanalyse, um die Zufriedenheit der Benutzer in Unterhaltungssitzungen anhand einer KI-Analyse der Benutzernachrichten an den Agent zu erfassen. Sie können die allgemeine Stimmung der Sitzung (positiv, negativ oder neutral) ermitteln, die Gründe untersuchen und Maßnahmen ergreifen, um sie anzugehen.
Welche Daten werden für die Stimmungsanalyse verwendet?
Die Stimmungsanalyse verwendet Benutzernachrichten an den Agent anhand einer Stichprobe von Unterhaltungssitzungen.
Die Stimmungsanalyse nutzt diese Informationen, um zu bewerten, ob die Benutzerzufriedenheit während der Sitzung positiv, negativ oder neutral ist. Zum Beispiel kann ein Benutzer durch seine Wortwahl und seinen Tonfall Frustration oder Unzufriedenheit ausdrücken, basierend auf der Interaktion mit dem Agent. In diesem Fall wird die Sitzung als negative Stimmung eingestuft.
Welche Einschränkungen gelten für die Stimmungsanalyse und wie können Benutzer diese Einschränkungen minimieren?
Stimmungsanalysen werden nicht für alle Unterhaltungssitzungen durchgeführt. Stattdessen bewertet die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Agents, die nicht die erforderliche Mindestanzahl täglich erfolgreicher generativer Antworten erreichen, erhalten keinen Stimmungsscore.
Die Stimmungsanalyse ist derzeit von generativen Antworten abhängig und erfordert eine Mindestanzahl täglich erfolgreicher Antworten, um die Stimmungsbewertung für den Agent zu berechnen.
Um die Stimmung für eine Sitzung zu berechnen, müssen mindestens zwei Benutzernachrichten vorhanden sein. Außerdem wird aufgrund aktueller technischer Einschränkungen die Stimmungsanalyse nicht für Sitzungen durchgeführt, die insgesamt mehr als 26 Nachrichten (sowohl Benutzer- als auch Agent-Nachrichten) umfassen.
Die Stimmungsanalyse liefert keine Aufschlüsselung der spezifischen Benutzernachrichten, die zum Stimmungsscore geführt haben.
Welche Schutzmaßnahmen gibt es für die Stimmungsanalyse in Copilot Studio im Hinblick auf verantwortungsvolle KI?
Analyseergebnisse sind für die Benutzer von Agents nicht sichtbar. Nur Agent-Erstellende und Admins haben Zugriff auf Ergebnisse.
Sie können die Stimmungsanalyse nur nutzen, um die Aufschlüsselung der Stimmung über alle Sitzungen hinweg zu sehen.
Wir haben die Stimmungsanalyse während der Entwicklung gründlich getestet, um eine gute Leistung sicherzustellen. In seltenen Fällen können Stimmungsbewertungen jedoch ungenau sein.
Designs von Benutzerfragen
Was ist der beabsichtigte Verwendungszweck von Themen?
Clustering nach Themen und themenbasierte Analyse helfen Ihnen, im großen Maßstab schnell zu verstehen, wonach Benutzer fragen. Dieses Feature analysiert große Mengen an Benutzeranfragen und bringt übergeordnete Themen (Themen) hervor, die die Hauptinteressen der Benutzer widerspiegeln. Diese Analyse ermöglicht es Ihnen, von der Betrachtung einzelner Unterhaltungen zur Identifikation übergreifender Muster, aufkommender Bedürfnisse und Interessengebiete überzugehen.
Die thematische Analyse hilft Ihnen, indem sie einen strukturierten, themenbasierten Überblick über die Benutzeraktivität bietet:
Identifizieren Sie die häufigsten Themen, mit denen sich Benutzer beschäftigen.
Erkennen Sie Lücken in der Abdeckung oder unklare Benutzererfahrungen.
Überwachen Sie, wie sich die Benutzerinteressen im Zeitverlauf entwickeln.
Priorisieren Sie Verbesserungen auf Basis der tatsächlichen Benutzernachfrage.
Wie funktioniert die Themenanalyse auf allgemeiner Ebene?
Dieses Feature organisiert Benutzeranfragen kontinuierlich mittels eines mehrstufigen Prozesses in sinnvolle Gruppen. In groben Zügen umfasst dieser Prozess zwei Schlüsselphasen:
Generierung von Themenkandidaten
Das System analysiert eine aktuelle Gruppe von Benutzeranfragen und identifiziert Themenkandidaten, die jeweils übergeordnete Themen repräsentieren. Das System erkennt Muster, Ähnlichkeiten und wiederkehrende Themen bei den Benutzeranfragen, um daraus Kandidaten abzuleiten.
Abfragen Themen zuordnen
Nachdem das System Themenkandidaten generiert hat, ordnet es einzelne Abfragen dem relevantesten Thema zu. Jedes Thema repräsentiert eine Sammlung verwandter Benutzerfragen und entwickelt sich weiter, während das System neue Anfragen verarbeitet. Das System verfeinert diese Themen im Laufe der Zeit, indem es Signale wie semantische Ähnlichkeit und Benutzerfeedback verwendet. Mit diesem Verfeinerungsprozess kann sich die Darstellung anpassen, wenn sich das Benutzerverhalten ändert.
Welche Daten werden zum Erstellen von Themen verwendet?
Benutzer generieren Themen aus Abfragen, die zu generativen Antworten führen. Der Prozess konzentriert sich auf ein aktuelles Aktivitätsfenster, um sicherzustellen, dass die Themen aktuelle Benutzerinteressen und sich entwickelnde Trends widerspiegeln. Sobald neue Daten verfügbar sind, aktualisiert das System die Themen, um sie relevant zu halten.
Da Themen auf Mustern in Benutzerabfragen basieren, ist das Feature darauf angewiesen, eine sinnvolle Menge an Aktivität zu analysieren. In Situationen mit begrenzten Daten oder stark fragmentierten Abfragen kann das System unter Umständen keine Themen generieren oder nur begrenzte Erkenntnisse liefern.
Was sind die Einschränkungen der Themenanalyse und wie kann ich sie mindern?
Die Themenanalyse ist ein datengestütztes Clustering-System. Ihre Effektivität hängt von der Art und dem Umfang der Benutzerabfragen ab. Einige der potenziellen Einschränkungen sind:
Unzureichende oder sehr vielfältige Daten können zu Themen führen, die zu weit gefasst oder zu eng sind.
Eng verwandte Themen können manchmal in separate Themen aufgeteilt werden.
Nicht zusammenhängende Abfragen können gelegentlich zusammengefasst werden.
Wenn sich die Formulierungen der Benutzer mit der Zeit ändern, kann sich dies auf die Konsistenz von Themen auswirken.
So holen Sie das Beste aus Designs heraus:
Überprüfen Sie generierte Themen regelmäßig.
Geben Sie Feedback (z. B.: Daumen hoch oder runter), um die Qualität zu verbessern.
Verstehen Sie Themen als Orientierungshilfen und nicht als exakte Kategorisierungen.
Welche Schutzmaßnahmen für verantwortungsvolle KI gibt es?
Themenclustering und -analyse sind unter Berücksichtigung von Prinzipien der verantwortungsvollen KI konzipiert.
Berechtigte Erstellende und Admins sind die Einzigen, die Designs anzeigen können.
Nur befugte Personen, die Zugriff auf die Benutzerabfragen haben, können deren thematische Aufschlüsselung sehen.
Die Themen spiegeln den Inhalt der Benutzerabfragen wider und bieten Erstellenden und Admins daher eine ehrliche Zusammenfassung.
Diese Maßnahmen tragen dazu bei, dass Themen hilfreiche Erkenntnisse liefern und gleichzeitig eine sichere und kontrollierte Erfahrung gewährleisten.
Benutzerdefinierter Metriken analysieren
Was ist der beabsichtigte Verwendungszweck benutzerdefinierter Metriken?
Verwenden Sie die Analyse benutzerdefinierter Metriken, um zu verstehen, inwiefern Ihre dialogfähigen Agents die Unternehmensergebnisse beeinflussen. Diese Metriken ergänzen die Analysen zu Einsparungen. Zu den benutzerdefinierten Metriken gehören die Lösungsrate, die Klassifizierung der Kundenabsicht und andere domänenspezifische Ergebnisse.
Benutzerdefinierte Metriken können aufzeigen, wo Agents die beabsichtigten Ziele nicht erreichen. Bestimmen Sie die zu messenden Aspekte, testen Sie die Metriken anhand realer Sitzungsdaten und passen Sie die Definitionen je nach den Ergebnissen an.
Welche Daten werden verwendet, um benutzerdefinierte Metriken zu berechnen?
Berechnen Sie benutzerdefinierte Metriken anhand einer Auswahl vergangener Agent-Sitzungen. Die Berechnung verwendet die während einer Sitzung ausgetauschten Unterhaltungsnachrichten.
Das KI-Modell klassifiziert Sitzungsdaten gemäß Ihrer Definition der Metrik. Der Agent aggregiert die Ergebnisse innerhalb der Stichprobe, um die Gesamtleistung der Metrik für den ausgewählten Zeitraum anzuzeigen.
Welche Einschränkungen gibt es bei benutzerdefinierten Metriken und wie können Benutzer deren Auswirkungen minimieren?
Benutzerdefinierte Metriken verwenden nicht alle Agent-Sitzungen. Stattdessen messen sie eine Stichprobe von Sitzungen aus dem ausgewählten Zeitraum. Da die Ergebnisse auf einer Stichprobe basieren, sollten sie als Richtungsindikatoren und nicht als genaue Zahlen verstanden werden.
Berücksichtigen Sie bei der Interpretation der Metrik, dass deren Berechnung auf dem Nachrichtentranskript basiert. Ziehen Sie keine Schlussfolgerungen über Verhaltensweisen, die hauptsächlich außerhalb von Nachrichten stattfinden, beispielsweise zu Themen und Tools.
Das KI-Modell könnte Sitzungen falsch klassifizieren. Aggregierte Ergebnisse sind in der Regel genau. Sitzungen, die keiner definierten Kategorie zugeordnet werden können, werden der Fallback-Kategorie „Sonstige“ zugeordnet. Wenn die Testergebnisse nicht den erwarteten Ergebnissen entsprechen, können Sie die Metrikbeschreibung und die Kategoriedefinitionen aktualisieren.
Wenn Sie nach der Definition einer Metrik die Anweisungen oder Konfiguration eines Agent erheblich ändern, spiegelt die Metrik möglicherweise das aktualisierte Verhalten des Agents nicht mehr genau wider. Überprüfen Sie Ihre benutzerdefinierten Metriken, nachdem Sie signifikante Änderungen am Agent vorgenommen haben.
Welche Schutzmaßnahmen für benutzerdefinierte Metriken gibt es in Copilot Studio im Hinblick auf verantwortungsvolle KI?
Agent-Erstellende und Admins sind die einzigen, die auf die Ergebnisse benutzerdefinierter Metriken zugreifen können. Benutzer des Agents haben keinen Zugriff auf Analyseergebnisse.
Sie überprüfen und genehmigen alle benutzerdefinierten Metriken, bevor sie gespeichert werden. Während der Definition der Metriken testen Sie diese anhand von Beispieldaten und überprüfen einzelne Ergebnisse sowie das Reasoning des Modells. Wenn die Ergebnisse nicht Ihren Erwartungen entsprechen, können Sie die Metrik aktualisieren oder verwerfen. Metriken werden erst nach Ihrer ausdrücklichen Bestätigung angewendet.
Der KI-generierte Prompt, der zur Klassifizierung von Sitzungen verwendet wird, ist in der Benutzeroberfläche sichtbar, sodass Sie nachvollziehen können, wie das Modell Ihre Metrikdefinition interpretiert. Sie können benutzerdefinierte Metriken jederzeit bearbeiten oder entfernen.
In seltenen Fällen können einzelne Sitzungszuordnungen ungenau sein. Die Ergebnisse sollten in aggregierter Form und nicht auf Ebene der einzelnen Sitzungen interpretiert werden.