Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]
Os temas agrupam perguntas relacionadas de utilizadores que acionam respostas generativas. Ao agrupar perguntas relacionadas, os temas ajudam a organizar perspetivas sobre a intenção do cliente, identificar tópicos frequentes e concentrar-se nas áreas que precisam de melhorias. Pode explorar perguntas individuais em cada tema e monitorizar o desempenho para compreender as métricas do tema.
A funcionalidade Temas analisa automaticamente todas as perguntas não classificadas que geraram respostas de IA generativa na semana passada e sugere temas com base nessa análise. Este processo decorre semanalmente. Entre as execuções semanais de sugestões de temas, a funcionalidade realiza a classificação diária de quaisquer novas perguntas que desencadeiem respostas de IA generativa e adiciona esses dados às métricas do tema. A lista de Temas sugeridos é atualizada regularmente para que os seus temas se mantenham relevantes e reflitam os dados mais recentes dos utilizadores. Esta atualização automática poupa-lhe tempo ao:
- Avaliar continuamente a relevância do tema face a novos dados.
- Classificar automaticamente perguntas individuais em temas.
- Automatizar a recolha de dados métricos não processados para cada tema.
- Calcular dados métricos agregados para cada tema.
Importante
Este artigo contém documentação de pré-visualização do Microsoft Copilot Studio e está sujeito a alterações.
As funcionalidades de pré-visualização não se destinam à produção e poderão ter caraterísticas restritas. Estas funcionalidades estão disponíveis antes de uma versão oficial para que possa aceder antecipadamente e enviar comentários.
Se está a criar um agente pronto para produção, consulte Descrição Geral do Microsoft Copilot Studio.
Pré-requisitos
Para tirar o máximo proveito da funcionalidade de Temas, incluindo a possibilidade de ver as perguntas e respostas de cada tema:
É necessário ter o direito de acesso de Visualizador de Transcrições de Bot para ver a lista e as métricas. Apenas os administradores podem conceder esta função, atribuindo o direito de acesso Visualizador de Transcrição do Bot durante a partilha de agentes.
As definições ao nível do ambiente para armazenar transcrições de conversas no Dataverse estão ativadas.
Temas sugeridos e perguntas classificadas
O Copilot Studio sugere temas com base em registos de perguntas feitas no passado recente. Ao adaptar cada tema sugerido para se adequar à estrutura da sua organização e à estratégia de experiência do cliente, pode obter uma melhor compreensão através de indicadores-chave de desempenho (KPIs) específicos de cada tema. Esta granularidade mais profunda facilita a identificação de onde os agentes têm um desempenho inferior.
Os temas permitem aos criadores compreender que perguntas os utilizadores fazem ao agente e avaliar o desempenho do mesmo. Na análise inicial baseada em temas, o Copilot Studio examina todas as perguntas da última semana e sugere até 10 temas que agrupam as perguntas dos utilizadores com base em semelhanças entre si. Cada tema inclui métricas como o número total de perguntas, a taxa de resposta e a reação dos utilizadores. O período de análise selecionado ajusta os dados apresentados na lista de Temas.
Após a análise inicial, o Copilot Studio classifica continuamente as novas perguntas em temas existentes diariamente e gera uma nova lista de temas sugeridos semanalmente.
Nota
- Pelo menos 50 perguntas com respostas generativas devem ser registadas nos últimos sete dias antes de o Copilot Studio gerar temas sugeridos.
- Uma questão que aciona uma resposta de IA generativa pode ser classificada em mais do que um tema. Este cenário pode tornar-se mais comum no modo Orquestração Generativa, onde uma resposta agente pode vir de várias fontes diferentes.
- Quaisquer perguntas que permanecem não classificadas são colocadas num tema Não Classificado.
- A execução das sugestões semanais pode levar alguns minutos a ser concluída. Durante este período, a secção Temas não está disponível para utilização.
A lista de Temas
Por predefinição, a lista de Temas mostra os cinco temas principais, ordenados pelo número total de perguntas classificadas para cada tema. Selecione Ver tudo para expandir a lista e mostrar todos os temas.
Com execuções automáticas semanais de sugestões de temas e classificação diária de perguntas, a funcionalidade Temas evolui automaticamente e adapta-se às mudanças no comportamento dos utilizadores.
A lista Temas mostra métricas para cada tema listado.
| Coluna | Descrição |
|---|---|
| Nome | Nome do tema. |
| Total de perguntas | Número total de perguntas classificadas neste tema para o período de tempo configurado. |
| Perguntas com resposta | Proporção do total de perguntas que resultam numa resposta à pergunta do utilizador. |
| Qualidade da resposta | Proporção da soma de todas as respostas (com base numa amostra de perguntas) com uma resposta de qualidade Good. |
| Reações | Contagem bruta de reações positivas (polegar para cima) e negativas (polegar para baixo) das perguntas classificadas para cada tema. |
Paire com o rato sobre um tema para ver o botão Avaliar. Saiba mais em Sobre a avaliação de agentes.
Nota
Porque há "Perguntas sem resposta" no meu tema quando todas as perguntas classificadas ativaram respostas de IA generativa?
Por definição, apenas as perguntas que acionam uma resposta de IA generativa podem ser classificadas num tema. Mas acionar uma chamada para resposta generativa não é o mesmo que ter uma resposta a uma pergunta de um utilizador.
Por exemplo, é comum haver um tópico de reforço conversacional ligado a uma fonte de conhecimento. Neste caso, se uma intenção não for reconhecida, o tópico pode ser iniciado, acionando a fonte de conhecimento, mesmo que não haja uma resposta para a pergunta nessa fonte de conhecimento.
Desagregar um tema
Importante
Para aceder à funcionalidade de desagregação, ambas as seguintes condições devem ser cumpridas:
As seguintes definições de ambiente estão ativadas:
- Permitir que os proprietários e editores do agente vejam transcrições de sessões de interações de conversação nos respetivos agentes.
- Permitir que as transcrições de conversações e os metadados associados sejam guardados no Dataverse.
Para obter mais informações, consulte Configurar definições de transcrição para um único ambiente.
O direito de acesso Visualizador de Transcrições de Bots é atribuído ao utilizador. Para mais informações, consulte Adicionar utilizadores um direito de acesso.
Para desagregar as perguntas agrupadas em qualquer tema, selecione o tema na lista de Temas. Ao desagregar, abre-se um painel específico para o tema selecionado, mostrando métricas ao nível tanto do tema como das perguntas individuais.
Nota
A lista de Temas inclui:
- As 100 perguntas mais recentes classificadas em cada tema.
- Perguntas dos últimos 30 dias, independentemente do período de tempo configurado. Se o período configurado estiver totalmente fora dos últimos 30 dias, Copilot Studio apresenta uma notificação de que a lista está indisponível.
No painel de desagregação de um tema, as métricas ao nível do tema são apresentadas primeiro.
| Métrica de nível temático | Descrição |
|---|---|
| Total de perguntas | Número total de perguntas classificadas neste tema que acionaram respostas de IA generativa durante o período de tempo configurado. |
| Perguntas com resposta | Proporção do Total de perguntas deste tema que resultaram numa resposta à pergunta do utilizador. |
| Perguntas sem resposta | Proporção do total de perguntas deste tema que não resultaram numa resposta à pergunta do utilizador. |
| Reações | Contagem bruta de reações positivas (polegares para cima) e negativas (polegares para baixo) das perguntas classificadas para este tema, conforme registado no mecanismo de comentários do Learn. |
Para mostrar uma discriminação da qualidade da resposta para uma amostra de perguntas respondidas, e todas as fontes de conhecimento referenciadas neste tema, selecione Ver detalhes.
No painel Métricas do tema, para ver mais informações sobre qualquer valor de qualidade de resposta no tema, em Qualidade da resposta, paire com o cursor sobre um segmento da barra individual. A descrição inclui um valor da ponderação relativa desse segmento e o número de perguntas amostradas para chegar a esse valor.
Para ver mais informações ao nível de qualquer uma das fontes de conhecimento listadas no tema, em Utilização de fontes de conhecimento, selecione uma fonte de conhecimento individual. A descrição inclui:
- O número total de perguntas que referenciavam esta fonte de conhecimento, bem como o número de reações de polegar para cima e polegar para baixo.
- Um gráfico de barras empilhadas que mostra a discriminação dos pesos relativos da qualidade das respostas para perguntas que referenciam esta fonte de conhecimento. Passe o rato sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas amostradas para chegar a esse valor.
Uma lista de perguntas baseada em temas reflete todas as perguntas que acionaram respostas de IA generativa e foram classificadas neste tema, e apresenta métricas por pergunta .
As métricas ao nível da pergunta incluem:
| Dimensão ou métrica ao nível da pergunta | Descrição |
|---|---|
| Pergunta (dimensão) | Pergunta que acionou uma resposta de IA generativa classificada para este tema. |
| Respondida? | Resposta à pergunta sobre se a consulta do utilizador foi respondida ou não. Os valores possíveis são Answered e Unanswered. |
| Qualidade da resposta1 | Resposta à pergunta sobre qual foi a qualidade da resposta à consulta do utilizador. Os valores possíveis são Poor e Good. |
| Reação | São considerados dois parâmetros: a métrica booleana Polegar para cima/Polegar para baixo e um parâmetro de Comentário baseado em texto. |
| Data | Data em que a pergunta foi feita. |
| Fonte de Conhecimento | Lista de fontes de conhecimento, separadas por vírgulas, referenciadas por esta pergunta neste tema. |
1 A qualidade da resposta nem sempre está disponível e só aparece se a pergunta foi amostrada para análise de qualidade.
Se desejar, pode executar as seguintes ações na página da lista de perguntas do tema:
- Aplique mais filtragem para restringir ainda mais a lista de perguntas usando os filtros dimensionais da lista.
- Avalie as perguntas listadas de acordo com os critérios que definir no método de teste da avaliação.
- Transfira as perguntas listadas como um ficheiro .csv.
- Consulte informações detalhadas específicas para a resposta individual de um agente.
Selecione qualquer pergunta na lista para visualizar mais informações sobre a pergunta num painel Detalhes da pergunta. Este painel inclui:
| Parâmetro detalhado ao nível da pergunta | Descrição |
|---|---|
| Carimbo de data/hora | Carimbo de data/hora da instância mais recente em que a pergunta foi respondida. |
| Consulta do utilizador | A pergunta feita. |
| Resposta | A resposta da IA generativa. |
| Valor de Polegar para cima / Polegar para baixo | Valor para a instância mais recente desta pergunta para o parâmetro Polegar para cima / Polegar para baixo. |
| Comentário | Comentário extra opcional baseado em texto, fornecido pelo utilizador, além da reação Polegar para cima / Polegar para baixo. |
| Qualidade da resposta1 | Resposta à pergunta sobre qual foi a qualidade da resposta à consulta do utilizador. Os valores possíveis são Poor e Good. |
| Razão2 | No caso em que a qualidade da resposta é Poor, este parâmetro explica porquê. |
1 A qualidade da resposta nem sempre está disponível e só aparece se a pergunta foi amostrada para análise de qualidade.
2 Se a qualidade da resposta for Good ou se a pergunta não foi amostrada, o parâmetro Razão não tem um valor.
Avaliar as respostas do seu agente com base no tema
Nota
Quando seleciona Avaliar para um tema listado na página Temas, cria um novo conjunto de testes no nível do tema. O conjunto de testes inclui todas as perguntas classificadas segundo esse tema, até 100 perguntas. Para aplicar mais filtragem na lista de perguntas, antes de criar um conjunto de testes de avaliação, primeiro desagregue o tema. Depois, aplique filtragem à lista. Depois de aplicar toda a filtragem desejada, selecione Avaliar na página da lista de perguntas.
Pode testar as respostas do seu agente a perguntas relacionadas com um tema utilizando avaliação do agente (pré-visualização).
As avaliações baseadas em temas testam áreas específicas do âmbito do seu agente. Por exemplo, se tiver um agente de suporte ao cliente, pode monitorizar a qualidade das respostas para perguntas de faturação e pagamentos separadamente de outros casos de utilização como resolução de problemas.
Saiba mais sobre como criar conjuntos de teste a partir de um tema.
