Como exibir os resultados da avaliação no Azure AI Studio

Importante

Os itens marcados (visualização) neste artigo estão atualmente em visualização pública. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

A página de avaliação do Azure AI Studio é um hub versátil que não só permite visualizar e avaliar seus resultados, mas também serve como um centro de controle para otimizar, solucionar problemas e selecionar o modelo de IA ideal para suas necessidades de implantação. É uma solução única para tomada de decisão baseada em dados e aprimoramento de desempenho em seus projetos do AI Studio. Você pode acessar e interpretar perfeitamente os resultados de várias fontes, incluindo seu fluxo, a sessão de teste rápido do playground, a interface do usuário de envio de avaliação e o SDK. Essa flexibilidade garante que você possa interagir com seus resultados da maneira que melhor se adapte ao seu fluxo de trabalho e preferências.

Depois de visualizar os resultados da avaliação, você pode mergulhar em um exame minucioso. Isso inclui a capacidade não só de visualizar resultados individuais, mas também de comparar esses resultados em várias execuções de avaliação. Ao fazer isso, você pode identificar tendências, padrões e discrepâncias, obtendo informações inestimáveis sobre o desempenho do seu sistema de IA sob várias condições.

Neste artigo você aprende a:

• Veja o resultado e as métricas da avaliação.
• Compare os resultados da avaliação.
• Compreenda as métricas de avaliação incorporadas.
• Melhorar o desempenho.
• Veja os resultados e as métricas da avaliação.

Encontre os resultados da sua avaliação

Ao submeter a sua avaliação, pode localizar a avaliação submetida dentro da lista de execução navegando para a página Avaliação .

Você pode monitorar e gerenciar suas execuções de avaliação dentro da lista de execução. Com a flexibilidade de modificar as colunas usando o editor de colunas e implementar filtros, você pode personalizar e criar sua própria versão da lista de execução. Além disso, você pode revisar rapidamente as métricas de avaliação agregadas em todas as execuções, permitindo que você realize comparações rápidas.

Para uma compreensão mais profunda de como as métricas de avaliação são derivadas, você pode acessar uma explicação abrangente selecionando a opção 'Entender mais sobre métricas'. Este recurso detalhado fornece informações valiosas sobre o cálculo e a interpretação das métricas usadas no processo de avaliação.

Você pode escolher uma execução específica, que o levará à página de detalhes da execução. Aqui, você pode acessar informações abrangentes, incluindo detalhes de avaliação, como conjunto de dados de teste, tipo de tarefa, prompt, temperatura e muito mais. Além disso, você pode visualizar as métricas associadas a cada amostra de dados. Os gráficos de pontuações de métricas fornecem uma representação visual de como as pontuações são distribuídas para cada métrica em todo o conjunto de dados.

Dentro da tabela de detalhes de métricas, você pode realizar um exame abrangente de cada amostra de dados individual. Aqui, você pode examinar a saída gerada e sua pontuação métrica de avaliação correspondente. Esse nível de detalhe permite que você tome decisões baseadas em dados e tome ações específicas para melhorar o desempenho do seu modelo.

Alguns itens de ação potenciais com base nas métricas de avaliação podem incluir:

• Reconhecimento de padrões: filtrando valores numéricos e métricas, você pode detalhar amostras com pontuações mais baixas. Investigue essas amostras para identificar padrões ou problemas recorrentes nas respostas do seu modelo. Por exemplo, você pode notar que pontuações baixas geralmente ocorrem quando o modelo gera conteúdo sobre um determinado tópico.
• Refinamento do modelo: use os insights de amostras com pontuação mais baixa para melhorar a instrução do prompt do sistema ou ajustar seu modelo. Se você observar problemas consistentes com, por exemplo, coerência ou relevância, também poderá ajustar os dados ou parâmetros de treinamento do modelo de acordo.
• Personalização de colunas: o editor de colunas permite que você crie uma exibição personalizada da tabela, concentrando-se nas métricas e nos dados mais relevantes para suas metas de avaliação. Isso pode simplificar sua análise e ajudá-lo a identificar tendências de forma mais eficaz.
• Pesquisa por palavra-chave: A caixa de pesquisa permite que você procure palavras ou frases específicas na saída gerada. Isso pode ser útil para identificar problemas ou padrões relacionados a tópicos ou palavras-chave específicos e abordá-los especificamente.

A tabela de detalhes de métricas oferece uma grande variedade de dados que podem orientar seus esforços de melhoria do modelo, desde o reconhecimento de padrões até a personalização de sua exibição para uma análise eficiente e refinamento de seu modelo com base em problemas identificados.

Dividimos as visualizações agregadas ou suas métricas por métricas de desempenho e qualidade e risco e segurança. Você pode visualizar a distribuição das pontuações no conjunto de dados avaliado e ver as pontuações agregadas para cada métrica.

• Para métricas de desempenho e qualidade, agregamos calculando uma média em todas as pontuações de cada métrica.
• Para métricas de risco e segurança, agregamos calculando uma taxa de defeitos para cada métrica.
  • Para métricas de danos ao conteúdo, a taxa de defeitos é definida como a porcentagem de instâncias em seu conjunto de dados de teste que ultrapassam um limite na escala de gravidade em todo o tamanho do conjunto de dados. Por padrão, o limite é "Médio".
  • Para material protegido e ataque indireto, a taxa de defeitos é calculada como a porcentagem de instâncias em que a saída é 'verdadeira' (Taxa de defeitos = (#trues / #instances) × 100).

Aqui estão alguns exemplos dos resultados das métricas para o cenário de resposta à pergunta:

E aqui estão alguns exemplos dos resultados das métricas para o cenário de conversa:

Para o cenário de conversação em vários turnos, pode selecionar "Ver resultados da avaliação por turno" para verificar as métricas de avaliação para cada turno numa conversa.

Para métricas de risco e segurança, a avaliação fornece uma pontuação de gravidade e raciocínio para cada pontuação. Aqui estão alguns exemplos de resultados de métricas de risco e segurança para o cenário de resposta à pergunta:

Os resultados da avaliação podem ter significados diferentes para públicos diferentes. Por exemplo, as avaliações de segurança podem gerar um rótulo para "Baixa" gravidade de conteúdo violento que pode não estar alinhado com a definição de um revisor humano de quão grave esse conteúdo violento específico pode ser. Fornecemos uma coluna de feedback humano com polegares para cima e polegares para baixo ao revisar os resultados da avaliação para revelar quais instâncias foram aprovadas ou sinalizadas como incorretas por um revisor humano.

Ao entender cada métrica de risco de conteúdo, você pode visualizar facilmente cada definição de métrica e escala de gravidade selecionando o nome da métrica acima do gráfico para ver uma explicação detalhada em um pop-up.

Se houver algo errado com a execução, você também pode depurar sua execução de avaliação com o log e o rastreamento.

Aqui estão alguns exemplos dos logs que você pode usar para depurar sua execução de avaliação:

E aqui está um exemplo da exibição de rastreamento e depuração:

Se você estiver avaliando um fluxo de prompt, poderá selecionar o botão Exibir em fluxo para navegar até a página de fluxo avaliado para atualizar seu fluxo. Por exemplo, adicionar instruções adicionais de meta prompt ou alterar alguns parâmetros e reavaliar.

Comparar os resultados da avaliação

Para facilitar uma comparação abrangente entre duas ou mais execuções, você tem a opção de selecionar as execuções desejadas e iniciar o processo selecionando o botão Comparar ou, para uma visualização geral detalhada do painel, o botão Alternar para a visualização do painel. Esse recurso permite que você analise e compare o desempenho e os resultados de várias execuções, permitindo uma tomada de decisão mais informada e melhorias direcionadas.

Na visualização do painel, você tem acesso a dois componentes valiosos: o gráfico de comparação de distribuição métrica e a tabela de comparação. Essas ferramentas permitem que você execute uma análise lado a lado das execuções de avaliação selecionadas, permitindo que você compare vários aspetos de cada amostra de dados com facilidade e precisão.

Dentro da tabela de comparação, você tem a capacidade de estabelecer uma linha de base para sua comparação passando o mouse sobre a execução específica que deseja usar como ponto de referência e definir como linha de base. Além disso, ativando a alternância 'Mostrar delta', você pode visualizar prontamente as diferenças entre a execução da linha de base e as outras execuções para valores numéricos. Além disso, com a opção 'Mostrar apenas diferença' ativada, a tabela exibe apenas as linhas que diferem entre as execuções selecionadas, ajudando na identificação de variações distintas.

Usando esses recursos de comparação, você pode tomar uma decisão informada para selecionar a melhor versão:

• Comparação de linha de base: Ao definir uma execução de linha de base, você pode identificar um ponto de referência com o qual comparar as outras execuções. Isso permite que você veja como cada execução se desvia do padrão escolhido.
• Avaliação numérica de valores: Ativar a opção 'Mostrar delta' ajuda a entender a extensão das diferenças entre a linha de base e outras execuções. Isso é útil para avaliar o desempenho de várias corridas em termos de métricas de avaliação específicas.
• Isolamento de diferenças: O recurso 'Mostrar apenas diferença' simplifica sua análise, destacando apenas as áreas onde há discrepâncias entre as execuções. Isso pode ser fundamental para identificar onde melhorias ou ajustes são necessários.

Ao usar essas ferramentas de comparação de forma eficaz, você pode identificar qual versão do seu modelo ou sistema tem o melhor desempenho em relação aos seus critérios e métricas definidos, ajudando-o, em última análise, a selecionar a opção mais ideal para sua aplicação.

Medindo a vulnerabilidade de jailbreak

Avaliar o jailbreak é uma medida comparativa, não uma métrica assistida por IA. Execute avaliações em dois conjuntos de dados diferentes com equipe vermelha: um conjunto de dados de teste adversário de linha de base versus o mesmo conjunto de dados de teste adversário com injeções de jailbreak no primeiro turno. Você pode usar o simulador de dados adversário para gerar o conjunto de dados com ou sem injeções de jailbreak.

Para entender se seu aplicativo é vulnerável a jailbreak, você pode especificar qual é a linha de base e, em seguida, ativar "Taxas de defeito de jailbreak" alternar na tabela de comparação. A taxa de defeito de jailbreak é definida como a porcentagem de instâncias em seu conjunto de dados de teste em que uma injeção de jailbreak gerou uma pontuação de gravidade mais alta para qualquer métrica de risco de conteúdo em relação a uma linha de base em todo o tamanho do conjunto de dados. Você pode selecionar várias avaliações em seu painel de comparação para visualizar a diferença nas taxas de defeitos.

Gorjeta

A taxa de defeitos de jailbreak é comparativamente calculada apenas para conjuntos de dados do mesmo tamanho e somente quando todas as execuções incluem risco de conteúdo e métricas de segurança.

Compreender as métricas de avaliação incorporadas

Compreender as métricas incorporadas é vital para avaliar o desempenho e a eficácia da sua aplicação de IA. Ao obter informações sobre essas principais ferramentas de medição, você está mais bem equipado para interpretar os resultados, tomar decisões informadas e ajustar seu aplicativo para alcançar resultados ideais. Para saber mais sobre o significado de cada métrica, como ela está sendo calculada, seu papel na avaliação de diferentes aspetos do seu modelo e como interpretar os resultados para fazer melhorias orientadas por dados, consulte Métricas de avaliação e monitoramento.

Próximos passos

Saiba mais sobre como avaliar suas aplicações de IA generativa:

• Avalie seus aplicativos de IA generativa através do playground
• Avalie seus aplicativos de IA generativa com o Azure AI Studio ou SDK

Saiba mais sobre técnicas de mitigação de danos.