Partilhar via


Otimização de desempenho para cargas de trabalho inteligentes de aplicativos

Eficiência de desempenho é a capacidade de sua carga de trabalho de escalar eficientemente para atender às demandas colocadas sobre ela pelos usuários. Monitorar o desempenho da carga de trabalho do seu aplicativo inteligente é crucial para garantir que ele opere de forma eficaz e eficiente.

A equipa de carga de trabalho precisa estabelecer métricas-chave de desempenho, revisar regularmente o desempenho do sistema e diagnosticar quaisquer problemas prontamente. Procedimentos eficazes de monitoramento e diagnóstico ajudam a manter a fiabilidade do sistema e a satisfação do utente.

Definir metas de desempenho

A identificação de métricas-chave de desempenho envolve a determinação das medições essenciais que acompanham o progresso para alcançar as metas de desempenho da carga de trabalho. Essas métricas fornecem uma maneira quantificável de medir e melhorar a eficiência do desempenho.

Ao identificar as principais métricas nas quais se concentrar, considere as métricas relacionadas à capacidade, resposta tempo, taxa de deflexão, engajamento e resultados:

  • Capacidade: Taxa de transferência e simultaneidade são métricas de capacidade de amostra. A taxa de transferência refere-se à capacidade de lidar com um número específico de transações dentro de um determinado período de tempo. Por exemplo, um copiloto pode lidar com 200.000 sessões de bate-papo por mês. Considere também as variações sazonais e o pico máximo previsto de conversas simultâneas. A simultaneidade é uma medida de usuários ou ações simultâneas. Por exemplo, um copiloto pode lidar com um máximo de 5.000 conversas simultâneas durante a alta temporada. Compreender os volumes de destino ajuda a validar a arquitetura e a escala de destino.

  • resposta tempo: latência e tempo de carregamento são comuns resposta métricas de tempo. Latência é o tempo necessário para responder a uma solicitação (200 milissegundos). O tempo de carregamento é o tempo que um copiloto leva para se tornar ativo e responder à primeira mensagem. Compreenda a latência máxima esperada para o copiloto responder a consultas e defina uma abordagem para lidar com ações de longa duração (por exemplo, esperar que um sistema externo retorne dados).

  • Taxa de deflexão: No contexto da IA conversacional, a deflexão é um indicador que representa a porcentagem de solicitações concluídas de forma self-service que, de outra forma, seriam tratadas por agentes ativos. Em outras palavras, refere-se ao número de tarefas que uma equipa não precisa mais lidar devido à automação. A otimização da taxa de deflexão do copiloto é uma das principais áreas de foco para as organizações atingirem seus objetivos de negócios, desde o retorno sobre o investimento (ROI) e a satisfação do cliente (CSAT), até a melhoria do desempenho geral do copiloto. Copilot Studio fornece uma visão geral do desempenho do seu copiloto, incluindo indicadores-chave como taxa de resolução, taxa de escalonamento e CSAT.

  • Engajamento e resultados: acompanhar o engajamento e os resultados da conversa é fundamental para medir as métricas de desempenho do copiloto e identificar áreas para melhoria. Saiba mais em Medindo o envolvimento do copiloto e Medindo os resultados do copiloto.

Planeamento do desempenho

Os recursos na sua carga de trabalho têm limitações de desempenho. As limitações de desempenho aplicam-se às características dentro de cada serviço. Necessita de compreender as limitações dos recursos na sua carga de trabalho e considerar essas limitações nas suas decisões de design. Por exemplo, deve saber se as limitações de recursos exigem que altere a abordagem de design ou a alteração completa dos recursos.

  • Entenda os volumes-alvo. Os volumes de destino ajudam a validar a arquitetura e a escala de destino, os aspetos de licenciamento do copiloto e o efeito potencial no Dataverse armazenamento de transcrições de conversas.
  • Entenda os limites da plataforma. Ao integrar sua carga de trabalho de aplicativo inteligente com sistemas externos, por exemplo, por meio Power Automate de solicitações HTTP ou HTTP, é importante validar se cada componente pode lidar com a carga.
  • Identificar gargalos. Meça a taxa de transferência e resposta vezes para identificar os componentes do seu sistema que podem se tornar problemáticos à medida que a carga de trabalho aumenta. Identifique gargalos no processo de ponta a ponta usando recursos de análise de mineração de processos, como retrabalho e análise de causa raiz.

Saiba mais: Recomendações para planeamento de desempenho

Monitorização do desempenho

A otimização de desempenho requer dados para medir o desempenho atual de uma carga de trabalho ou de um fluxo em relação às suas metas de desempenho. Colete uma quantidade e variedade suficientes de dados para medir com precisão o desempenho do código e da infraestrutura em relação às metas de desempenho definidas. Certifique-se de que cada componente e fluxo dentro da carga de trabalho gera automaticamente métricas e registos contínuos e significativos.

Monitore atentamente o desempenho da carga de trabalho de seu aplicativo inteligente para garantir que ele opere com eficácia e eficiência máximas.

Copilot Studio Fornece análises abrangentes e prontas para uso que permitem entender o uso de um copiloto e os indicadores-chave de desempenho.

Você pode exibir relatórios relacionados a:

  • Desempenho e utilização
  • Satisfação do cliente
  • Informações da Sessão
  • Tópico uso
  • Sessões faturadas

Além dos recursos de análise nativos dentro Copilot Studio, você pode enviar dados de telemetria para Application Insights. Saiba mais em Telemetria de captura com Application Insights. Monitore continuamente o desempenho e detete anomalias usando ferramentas como Azure Monitor, Log Analytics Application Insights e alertas.

Defina os indicadores-chave de desempenho (KPIs) que você pretende monitorar para medir o sucesso da carga de trabalho do aplicativo inteligente, como taxa de engajamento, taxa de resolução e taxa de deflexão. Primeiro, revise os painéis nativos para entender os dados disponíveis. Em seguida, decida se a criação de um relatório personalizado atenderia melhor às suas necessidades específicas.

Saber mais:

Otimização contínua do desempenho

A otimização proativa do desempenho envolve a implementação de medidas para melhorar e melhorar o desempenho da carga de trabalho antes que surjam quaisquer problemas. As medidas proativas incluem a identificação de possíveis gargalos, o monitoramento de métricas de desempenho e a implementação de otimizações para garantir que a carga de trabalho seja executada de forma eficiente e atenda às metas de desempenho.

Para melhorar continuamente sua carga de trabalho de aplicativo inteligente, agende revisões regulares do desempenho do copiloto:

Indicador de desempenho Definição
Taxa de resolução Porcentagem de solicitações de usuários que são resolvidas com êxito pelo copiloto sem exigir escalonamento para um agente humano.
Taxa de interação Porcentagem do total de sessões engajadas. Uma sessão é considerada engajada quando um utente interage com o copiloto de forma significativa, como acionar um tópico que não seja do sistema, escalar a sessão ou invocar um tópico de fallback.
Taxa de abandono Porcentagem de sessões engajadas que terminam sem chegar a uma resolução ou escalonamento. Essencialmente, ele mede a frequência com que os usuários saem ou param de interagir com o copiloto antes que seu problema seja resolvido ou escalado para um agente humano.
Taxa de escalamento Porcentagem de sessões engajadas que são escaladas para um agente humano. Essa métrica é fundamental para entender com que frequência o copiloto é incapaz de resolver as consultas do utente por conta própria e requer intervenção humana.
Expressões não reconhecidas Ocorre quando o modelo compreensão de linguagem natural (NLU) do copiloto não pode corresponder a uma entrada do utente a qualquer intenção ou tópico predefinida. O sistema não consegue determinar a intenção do utente com base na entrada fornecida.
CSAT Satisfação do cliente.
Tópicos com baixa resolução Refere-se a tópicos de conversação que frequentemente não conseguem resolver as consultas do utente de forma eficaz. Esses tópicos geralmente levam à insatisfação do utente, abandono ou escalada para agentes humanos.

Esta revisão ajuda a priorizar a lista de pendências de atualizações do copiloto. Por exemplo, se enunciados não reconhecidos são frequentemente escalados para um agente humano, aproveite a oportunidade para melhorar a deflexão. Analise padrões de utente que acionam fallback e expressões não reconhecidas e treine tópicos existentes ou crie novos tópicos para equipar o copiloto para atender melhor às necessidades do utente.

Saber mais: