Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Artikel beantwortet häufig gestellte Fragen zu den KI-Funktionen, die in Analysefeatures in Copilot Studio verwendet werden.
Wie wird generative KI für Analysen verwendet?
Copilot Studio verwendet KI, um die Qualität von generativen Antworten zu bewerten und Muster in Benutzerabfragen durch Clustering zu identifizieren. Diese Cluster bieten Einblicke in die Leistung der Agenten.
Generierende Antworten verwenden Wissensquellen, die Sie zum Generieren einer Antwort auswählen. Die Funktion sammelt auch Feedback, das Sie bereitstellen. Analysen verwenden große Sprachmodelle (LLMs), um die Chatnachrichten zwischen Benutzern und Agents in Ebenen zu klassifizieren, die die Qualität der generativen Antwortantworten angeben. Diese Klassifizierungen werden aggregiert, um eine Zusammenfassung der Agentleistung bereitzustellen.
Clustering verwendet LLMs, um die Nachrichten von Benutzern basierend auf gemeinsamen Themen in Gruppen zu sortieren und jeder Gruppe einen beschreibenden Namen zu geben. Copilot Studio verwendet die Namen dieser Cluster, um verschiedene Arten von Erkenntnissen bereitzustellen, die Sie verwenden können, um Ihren Agenten zu verbessern.
Qualität der Antworten für generative Lösungen
Was ist die beabsichtigte Verwendung der Qualität der Antwort?
Verwenden Sie die Qualität der Reaktionsanalysen, um die Agentleistung zu verstehen und Verbesserungen zu identifizieren. Derzeit können Sie mithilfe von Analysen verstehen, ob die Qualität der generativen Antworten eines Agenten Ihren Erwartungen entspricht.
Neben der allgemeinen Qualität identifiziert die Qualität der Reaktionsanalyse Bereiche, in denen ein Agent schlecht arbeitet oder ihre beabsichtigten Ziele nicht erfüllt. Ermitteln Sie, wo generative Antworten schlecht ausgeführt werden, und ergreifen Sie Schritte, um ihre Qualität zu verbessern.
Wenn Sie eine schlechte Leistung erkennen, befolgen Sie bewährte Methoden, die zur Verbesserung der Qualität beitragen können. Nachdem Sie beispielsweise Wissensquellen mit schlechter Leistung identifiziert haben, können Sie die Wissensquelle bearbeiten oder die Wissensquelle in mehrere, stärker fokussierte Quellen aufteilen, um eine höhere Qualität zu erzielen.
Welche Daten werden verwendet, um Analysen der Antwortqualität zu erstellen?
Die Qualität der Antwortanalysen basiert auf einer Stichprobe von generativen Antwortinteraktionen . Sie benötigt die Benutzerabfrage, die Agent-Antwort und die relevanten Wissensquellen, die das generative Modell für die generative Antwort verwendet. Qualität der Antwortanalysen verwendet diese Informationen, um zu bewerten, ob die generative Antwortqualität gut ist und wenn nicht, warum die Qualität schlecht ist. Beispielsweise kann die Qualität der Antwort auf unvollständige, irrelevante oder nicht vollständig fundierte Antworten hinweisen.
Was sind die Einschränkungen der Qualität der Reaktionsanalysen und wie können Benutzer die Auswirkungen dieser Einschränkungen minimieren?
Die Qualität der Antwortanalysen berücksichtigt nicht alle generativen Antworten. Stattdessen misst die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Agenten mit weniger als der minimalen Anzahl erfolgreicher generativer Antworten können keine analytische Zusammenfassung der Antwortqualität erhalten.
Es gibt Fälle, in denen Analysen eine einzelne Antwort nicht genau bewerten. Auf aggregierter Ebene sollte sie für die meisten Fälle genau sein.
Quality of Response-Analysen liefern keine Aufschlüsselung der spezifischen Anfragen, die zu einer schlechten Qualität geführt haben. Sie bieten auch keine Aufschlüsselung allgemeiner Wissensquellen oder Themen, die bei Antworten mit niedriger Qualität verwendet wurden.
Analysen werden nicht für Antworten berechnet, die generatives Wissen verwenden.
Die Vollständigkeit der Antworten ist eine der Kennzahlen, die zur Bewertung der Antwortqualität verwendet werden. Diese Kennzahl misst, wie vollständig die Antwort den Inhalt des abgerufenen Dokuments adressiert.
Wenn das System kein relevantes Dokument mit zusätzlichen Informationen für die Frage abruft, bewertet es die Vollständigkeitsmetrik für dieses Dokument nicht.
Welche Schutzmaßnahmen sind für die Qualität der Reaktionsanalysen innerhalb von Copilot Studio für verantwortungsvolle KI vorhanden?
Benutzer von Agents sehen keine Analyseergebnisse. Die Ergebnisse sind nur für Agentenersteller und Administratoren verfügbar.
Ersteller und Administratoren können nur die Qualität der Antwortanalyse verwenden, um den Prozentsatz guter Antworten und alle vordefinierten Gründe für eine schlechte Leistung sehen zu können. Die Ergebnisse werden aggregiert und als Prozentsätze und vordefinierte Kategorien dargestellt.
Wir haben Analysen zur Qualität der Antworten gründlich während der Entwicklung getestet, um eine gute Leistung sicherzustellen. In seltenen Fällen können die Bewertungen der Qualität der Antworten jedoch ungenau sein.
Sentimentanalyse für Gesprächssitzungen
Was ist die beabsichtigte Verwendung der Sentimentanalyse?
Verwenden Sie die Stimmungsanalyse, um den Grad der Benutzerzufriedenheit in Unterhaltungssitzungen basierend auf einer KI-Analyse von Benutzernachrichten an den Agenten zu verstehen. Sie können die allgemeine Stimmung der Sitzung (positiv, negativ oder neutral) verstehen, die Gründe untersuchen und Maßnahmen ergreifen, um sie zu beheben.
Welche Daten werden für die Stimmungsanalyse verwendet?
Die Stimmungsanalyse verwendet Nachrichten der Benutzer an den Agenten aus einer Stichprobe von Konversationssitzungen.
Sentiment Analytics nutzt diese Informationen, um zu bewerten, ob die Nutzerzufriedenheit während der Sitzung positiv, negativ oder neutral ist. Zum Beispiel kann ein Nutzer Worte und einen Tonfall verwenden, die Frustration oder Unzufriedenheit anzeigen, basierend auf der Interaktion mit dem Agenten. In diesem Fall wird die Sitzung als negative Stimmung eingestuft.
Was sind die Einschränkungen der Sentiment-Analyse und wie können Nutzer diese Einschränkungen abmildern?
Sentiment-Analysen werden nicht mit allen Konversationssitzungen berechnet. Stattdessen misst die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Agenten unter einer Mindestanzahl täglich erfolgreicher generativer Antworten können keinen Sentiment-Score erhalten.
Die Stimmungsanalyse ist derzeit von generativen Antworten abhängig und erfordert eine Mindestanzahl täglich erfolgreicher Antworten, um die Stimmungsbewertung für den Agent zu berechnen.
Um die Stimmung für eine Sitzung zu berechnen, müssen mindestens zwei Nutzernachrichten vorhanden sein. Außerdem wird aufgrund aktueller technischer Einschränkungen keine Sentiment-Analyse bei Sitzungen durchgeführt, die insgesamt 26 Nachrichten umfassen (einschließlich Nutzer- und Agentennachrichten)
Die Sentiment-Analyse liefert keine Aufschlüsselung der spezifischen Nutzernachrichten, die zum Sentiment-Score geführt haben.
Welche Schutzmaßnahmen sind für die Stimmungsanalyse in Copilot Studio für verantwortungsvolle KI vorhanden?
Benutzer von Agents sehen keine Analyseergebnisse. Die Ergebnisse sind nur für Agent-Macher und Administratoren verfügbar.
Sie können die Stimmungsanalyse nur verwenden, um die Aufschlüsselung der Stimmung in allen Sitzungen zu sehen.
Wir haben die Sentimentanalyse während der Entwicklung gründlich getestet, um eine gute Performance sicherzustellen. In seltenen Fällen können Sentiment-Bewertungen jedoch ungenau sein.
Themen von Benutzerfragen
Was ist die vorgesehene Verwendung von Themes?
Die Clusterung nach Themen und die Analyse auf Themenebene helfen Ihnen, schnell zu verstehen, worüber Nutzer in großem Umfang Fragen stellen. Diese Funktion analysiert große Mengen an Nutzeranfragen und arbeitet übergeordnete Themen („Themen“) heraus, die die Hauptanliegen der Nutzer widerspiegeln. Diese Analyse hilft Ihnen, von der Untersuchung einzelner Unterhaltungen bis hin zur Identifizierung breiterer Muster, neu auftretender Bedürfnisse und Interessenbereiche zu wechseln.
Mithilfe einer strukturierten, datengestützten Übersicht über Benutzeraktivitäten hilft Ihnen die Analyse auf Themenebene:
Identifizieren Sie die am häufigsten verwendeten Themen, mit denen Benutzer interagieren.
Erkennen Sie Abdeckungslücken oder unklare Nutzererfahrungen.
Überwachen Sie, wie sich die Benutzerinteressen im Laufe der Zeit entwickeln.
Priorisieren Sie Verbesserungen basierend auf der tatsächlichen Benutzernachfrage.
Wie funktioniert die Themenanalyse grob?
Dieses Feature fungiert als mehrstufiger Prozess, der Benutzerabfragen kontinuierlich in aussagekräftige Gruppen organisiert. Auf hoher Ebene umfasst dieser Prozess zwei wichtige Phasen:
Generierung von Themenkandidaten
Das System analysiert eine aktuelle Reihe von Benutzeranfragen und identifiziert potenzielle Themen, die klar voneinander abgegrenzte übergeordnete Themenbereiche repräsentieren. Das System erkennt Muster, Ähnlichkeiten und wiederkehrende Themen über Abfragen hinweg, um diese Kandidaten abzuleiten.
Zuordnung von Abfragen zu Themen
Nachdem das System Kandidatendesigns generiert hat, ordnet es einzelne Abfragen dem relevantesten Design zu. Jedes Design stellt eine Sammlung verwandter Benutzerfragen dar und entwickelt sich, während das System neue Abfragen verarbeitet. Das System optimiert diese Designs im Laufe der Zeit mithilfe von Signalen wie semantischer Ähnlichkeit und Benutzerfeedback. Dieser Einschränkungsprozess ermöglicht es der Darstellung, sich anzupassen, wenn sich das Verhalten des Benutzers ändert.
Welche Daten werden zum Erstellen von Designs verwendet?
Benutzer generieren Designs aus Abfragen, die zu generativen Antworten führen. Der Prozess konzentriert sich auf ein aktuelles Zeitfenster der Aktivität, um sicherzustellen, dass Themen die derzeitigen Interessen der Nutzer und sich entwickelnde Trends widerspiegeln. Sobald neue Daten verfügbar sind, aktualisiert das System Themen, um sie relevant zu halten.
Da Themes auf Mustern in Benutzeranfragen beruhen, ist die Funktion darauf angewiesen, dass genügend Aktivität für eine aussagekräftige Analyse vorhanden ist. In Fällen, in denen nur begrenzte Daten oder stark fragmentierte Abfragen vorliegen, generiert das System möglicherweise keine Themen oder liefert nur begrenzte Erkenntnisse.
Was sind die Einschränkungen der Themenanalyse, und wie kann ich sie abmildern?
Die Themenanalyse ist ein datengesteuertes System zur Clusterbildung, und ihre Effektivität hängt von der Art und dem Umfang der Benutzerabfragen ab. Zu den möglichen Einschränkungen gehören:
Unzureichende oder sehr heterogene Daten können zu Themen führen, die zu breit oder zu eng gefasst sind.
Eng verwandte Themen können manchmal in separate Themenbereiche aufgeteilt werden.
Nicht verknüpfte Abfragen können gelegentlich gruppiert werden.
Änderungen der Nutzersprache im Laufe der Zeit können sich auf die Konsistenz der Themen auswirken.
So holen Sie das Beste aus Designs heraus:
Generierte Themes regelmäßig überprüfen.
Geben Sie Feedback (z. B. Daumen nach oben oder unten) an, um die Qualität zu verbessern.
Interpretieren Sie Themen als Orientierungshilfen und nicht als genaue Kategorisierungen.
Welche verantwortungsvollen KI-Schutzmaßnahmen sind vorhanden?
Themenclusterung und -analyse wurden unter Berücksichtigung verantwortungsvoller KI-Prinzipien entwickelt.
Berechtigte Erstellende und Admins sind die Einzigen, die Designs anzeigen können.
Nur diejenigen, die zum Einsehen der Nutzeranfragen berechtigt sind, können deren Aufschlüsselung in Themen sehen.
Die Themen spiegeln den Inhalt der Nutzeranfragen wider und bieten so eine unverfälschte Zusammenfassung, die für Ersteller und Administratoren sichtbar ist.
Diese Schutzmaßnahmen tragen dazu bei, dass Themes hilfreiche Erkenntnisse liefern und gleichzeitig eine sichere und kontrollierte Nutzung gewährleisten.
Benutzerdefinierte Metrikanalysen
Was ist die beabsichtigte Verwendung von benutzerdefinierten Metriken?
Verwenden Sie benutzerdefinierte Metrikanalysen, um zu verstehen, wie viel Sich Ihre Unterhaltungs-Agents auf geschäftsergebnisse auswirken. Diese Metriken ergänzen die Sparanalyse. Beispiele für benutzerdefinierte Metriken sind Auflösungsrate, Kundenabsichtsklassifizierung und andere domänenspezifische Ergebnisse.
Benutzerdefinierte Metriken können anzeigen, wo Agents beabsichtigte Ziele verpassen. Definieren Sie, was gemessen werden soll, testen Sie Metriken anhand realer Sitzungsdaten, und verfeinern Sie Definitionen basierend auf den Ergebnissen.
Welche Daten werden verwendet, um benutzerdefinierte Metriken zu berechnen?
Berechnen sie benutzerdefinierte Metriken mithilfe einer Stichprobe früherer Agentsitzungen. Die Berechnung verwendet die während einer Sitzung ausgetauschten Unterhaltungsnachrichten.
Das KI-Modell klassifiziert Sitzungsdaten basierend auf Ihrer Metrikdefinition. Der Agent aggregiert die Ergebnisse im gesamten Beispiel, um die gesamtmetrische Leistung für den ausgewählten Zeitraum anzuzeigen.
Was sind die Einschränkungen benutzerdefinierter Metriken und wie können Benutzer die Auswirkungen von Einschränkungen minimieren?
Benutzerdefinierte Metriken verwenden nicht alle Agentsitzungen. Stattdessen messen sie eine Stichprobe von Sitzungen aus dem ausgewählten Zeitraum. Da die Ergebnisse auf einer Stichprobe basieren, behandeln Sie sie als Richtungsindikatoren und nicht als genaue Zahlen.
Beachten Sie, dass die Metrikberechnung auf der Transkription von Nachrichten basiert, wenn Metriken interpretiert werden. Vermeiden Sie Schlussfolgerungen zu Verhaltensweisen, die hauptsächlich außerhalb von Nachrichten auftreten, z. B. Themen und Tools.
Das KI-Modell kann Sitzungen falsch klassifizieren. Aggregierte Ergebnisse sind im Allgemeinen genau. Sitzungen, die keiner definierten Kategorie entsprechen, werden in der Fallbackkategorie (Sonstige) platziert. Wenn die Testergebnisse nicht mit den erwarteten Ergebnissen übereinstimmen, können Sie die Metrikbeschreibung und Kategoriedefinitionen aktualisieren.
Wenn Sie die Anweisungen oder Konfiguration eines Agents nach dem Definieren einer Metrik erheblich ändern, spiegelt die Metrik möglicherweise nicht mehr das aktualisierte Verhalten des Agents wider. Überprüfen Sie ihre benutzerdefinierten Metriken, nachdem Sie wesentliche Änderungen am Agent vorgenommen haben.
Welche Schutzmaßnahmen gelten für benutzerdefinierte Metriken innerhalb Copilot Studio für verantwortungsvolle KI?
Agent-Maker und -Administratoren sind die einzigen, die auf benutzerdefinierte Metrikergebnisse zugreifen können. Benutzer des Agents haben keinen Zugriff auf Analyseergebnisse.
Sie überprüfen und genehmigen alle benutzerdefinierten Metriken vor dem Speichern. Während der Metrikdefinition testen Sie Metriken anhand von Beispielsitzungsdaten und überprüfen einzelne Ergebnisse und Modellgrundlegungen. Wenn die Ergebnisse nicht den Erwartungen entsprechen, können Sie die Metrik aktualisieren oder verwerfen. Metriken werden nicht ohne Ihre explizite Bestätigung angewendet.
Die KI-generierte Eingabeaufforderung, die zum Klassifizieren von Sitzungen verwendet wird, ist für Sie auf der Benutzeroberfläche sichtbar, sodass Sie verstehen können, wie das Modell Ihre Metrikdefinition interpretiert. Sie können benutzerdefinierte Metriken jederzeit bearbeiten oder entfernen.
In seltenen Fällen können einzelne Sitzungsklassifizierungen ungenau sein. Die Ergebnisse sollten im Aggregat und nicht auf der ebene der einzelnen Sitzungen interpretiert werden.