Use o Agent Bricks: Knowledge Assistant para criar um chatbot de alta qualidade sobre seus documentos

Importante

Este recurso está em versão Beta.

Esta página descreve como usar o Agent Bricks: Knowledge Assistant para criar um chatbot de perguntas e respostas sobre seus documentos e melhorar sua qualidade com base no feedback em linguagem natural de seus especialistas no assunto.

O Agent Bricks fornece uma abordagem simples e sem código para criar e otimizar sistemas de agentes de IA específicos do domínio e de alta qualidade para casos comuns de uso de IA.

O que é Agent Bricks: Knowledge Assistant?

Use o Agent Bricks: Knowledge Assistant para criar um chatbot com o qual você pode fazer perguntas sobre seus documentos e receber respostas de alta qualidade com citações. O Knowledge Assistant usa IA avançada e segue uma abordagem de geração aumentada de recuperação (RAG) para fornecer respostas precisas e confiáveis com base no conhecimento especializado em domínio que você fornece.

Agent Bricks: O Knowledge Assistant é ideal para suportar os seguintes casos de uso:

• Responda às perguntas dos utilizadores com base na documentação do produto.
• Responder a perguntas dos colaboradores relacionadas com as políticas de RH.
• Responda às perguntas dos clientes com base nas bases de conhecimento de suporte.

O Knowledge Assistant permite que você melhore a qualidade do agente de chat e ajuste seu comportamento com base no feedback em linguagem natural de seus especialistas no assunto. Forneça perguntas para uma sessão de rotulagem e envie-as a especialistas para revisão no aplicativo Avaliações. Suas respostas fornecem dados rotulados que ajudam a otimizar o desempenho do agente.

Agent Bricks: o Knowledge Assistant cria um endpoint do agente RAG para aplicações que pode ser utilizado posteriormente nos seus aplicativos. Por exemplo, a imagem abaixo mostra como você pode interagir com o endpoint conversando com ele no AI Playground. Faça perguntas ao agente relacionadas aos seus documentos, e o agente responderá com citações.

Requerimentos

• Um espaço de trabalho que inclui o seguinte:
  • Pré-visualização do Mosaic AI Agent Bricks (Beta) ativada. Consulte Gerenciar visualizações do Azure Databricks.
  • Computação sem servidor habilitada. Consulte Ativar computação sem servidor.
  • Catálogo Unity ativado. Consulte Habilitar um espaço de trabalho para o Unity Catalog.
  • Recursos auxiliares de IA baseados em parceiros ativados no seu espaço de trabalho.
  • Um espaço de trabalho em uma das regiões suportadas: eastus, eastus2, westus, centralus, ou northcentralus.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos de base no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política de orçamento sem servidor com um orçamento diferente de zero.
• Você deve ter os dados de entrada prontos para uso. Pode optar por fornecer:
  • Arquivos num volume ou num diretório de volume do Catálogo Unity. Os tipos de ficheiros suportados são txt, pdf, md, ppt/pptx e doc/docx.
  • Um índice de pesquisa vetorial.

Criar um agente assistente de conhecimento

Vá para o Agentes no painel de navegação esquerdo do seu espaço de trabalho e clique em Assistente de Conhecimento.

Etapa 1: Configurar o agente

Na guia Configurar , configure seu agente e forneça fontes de conhecimento para ele usar para responder a perguntas.

1. No campo Nome , insira um nome para seu agente.

2. No campo Descrição , descreva o que seu agente pode fazer.

3. No campo Esquema , selecione o catálogo e o esquema do Catálogo Unity para salvar seus conjuntos de dados de avaliação.

4. No painel Fonte de conhecimento , adicione sua fonte de conhecimento. Você pode optar por fornecer arquivos do Catálogo Unity ou um índice de pesquisa vetorial.

   Arquivos UC

   Para ficheiros UC, são suportados os seguintes tipos de ficheiros: txt, pdf, md, ppt/pptx e doc/docx. O Databricks recomenda o uso de arquivos menores que 32 MB.

   

   1. Em Tipo, selecione Arquivos UC.
   2. No campo Origem , selecione o volume do Catálogo Unity ou o diretório de volume que contém seus arquivos.
   3. No campo Nome , insira um nome para sua fonte de conhecimento.
   4. Em Descrever o conteúdo, descreva o conteúdo que a fonte de conhecimento contém para ajudar o agente a entender quando usar essa fonte de dados.

   Índice de pesquisa vetorial

   

   1. Em Tipo, selecione Índice de pesquisa vetorial.
   2. No campo Origem , selecione o índice de pesquisa vetorial que deseja fornecer ao agente.
   3. Na coluna URI do documento, selecione a coluna com um link ou referência à origem das informações. O agente usará isso em suas citações.
   4. No campo Coluna de Texto , especifique a coluna que contém o texto bruto que você deseja que o agente recupere.
   5. No campo Nome , insira um nome para sua fonte de conhecimento.
   6. Em Descrever o conteúdo, descreva o conteúdo que a fonte de conhecimento contém para ajudar o agente a entender quando usar essa fonte de dados.

5. (Opcional) Se quiser adicionar mais fontes de conhecimento, clique em Adicionar fonte de conhecimento. Você pode fornecer até 10 fontes de conhecimento.

6. (Opcional) No campo Instruções , especifique diretrizes sobre como o agente deve responder.

   

7. Clique em Criar agente.

Pode levar até algumas horas para criar seu agente e sincronizar as fontes de conhecimento fornecidas. O painel lateral direito será atualizado com links para o agente implantado, experimento e fontes de conhecimento sincronizadas.

Etapa 2: Testar seu agente

Depois que seu agente terminar de construir, você poderá testá-lo experimentando-o no AI Playground. O agente deve responder com citações para questões relacionadas com as suas fontes de conhecimento.

1. Em Agente implantado no painel do lado direito, clique em Experimentar no Playground. Isso abre o AI Playground com seu ponto de extremidade de agente conectado. Aqui, você pode conversar com seu agente e revisar suas respostas.

   

2. Se você tiver recursos de assistência de IA habilitados, poderá habilitar o AI Judge e a geração de perguntas sintéticas para ajudá-lo a avaliar seu agente.

3. Insira uma pergunta para o seu agente.

4. Avalie a sua resposta:

   

   1. Clique em Ver pensamentos para ver como o seu agente abordou a resposta à pergunta.
   2. Clique na caixa em Fontes para ver quais arquivos o agente está citando. Isso abre o arquivo em um painel lateral para você revisar.
   3. O juiz de IA pode ajudar a avaliar rapidamente a resposta quanto à fundamentação, segurança e relevância.
   4. Revisão Perguntas sugeridas para perguntas adicionais a serem feitas ao seu agente.

Se estiver satisfeito com o desempenho do seu agente, continue a utilizar o agente as-is.

Passo 3: Melhorar a qualidade

Agente Bricks: o Knowledge Assistant pode ajustar o comportamento do agente com base em feedback de linguagem natural. Reúna feedback humano através de uma sessão de etiquetagem para melhorar a qualidade do seu agente. A coleta de dados rotulados para seu agente pode melhorar sua qualidade. O Agent Bricks treinará novamente e otimizará o agente a partir dos novos dados.

Na guia Melhorar a qualidade , adicione perguntas e inicie uma sessão de rotulagem.

1. Adicione perguntas para incluir na sua sessão de rotulagem:

   1. Clique em + Adicionar para adicionar uma pergunta.
   2. Na modalidade Adicionar uma pergunta , insira sua pergunta.
   3. Clique em Adicionar. A pergunta deve aparecer na interface do usuário.
   4. Repita até adicionar todas as perguntas que deseja avaliar.
   5. Para excluir uma pergunta, clique no menu kebab e, em seguida, clique em Excluir.

   O Databricks recomenda adicionar pelo menos 20 perguntas para uma sessão de rotulagem para garantir que dados rotulados suficientes sejam coletados.

   

2. Depois de terminar de adicionar suas perguntas, envie-as a especialistas para revisão para ajudá-lo a criar um conjunto de dados rotulado de alta qualidade. À direita, clique em Iniciar sessão de rotulagem.

   Quando a sessão de rotulagem estiver pronta, a interface do usuário será atualizada conforme mostrado abaixo.

   

3. Partilhe a aplicação de avaliações com especialistas para recolher comentários.

   Para saber mais sobre sessões de rotulagem e o aplicativo de revisão, consulte Usar o aplicativo de revisão para avaliações humanas de um aplicativo de IA de geração (MLflow 2).

   Observação

   Para que os especialistas possam acessar a sessão de rotulagem, você precisa conceder a eles as seguintes permissões:

   • Capacidade de consultar permissão para o endpoint
   • Permissão EDIT para o experimento
   • USE CATALOG, USE SCHEMAe SELECT permissões para o esquema

4. Para rotular os dados por conta própria, clique em Abrir sessão de rotulagem.

   Isso abre o aplicativo de revisão em uma nova guia. Como revisor:

   1. Clique em Iniciar revisão. Para cada pergunta, o revisor verá a pergunta e a resposta do agente.

   2. No lado esquerdo, reveja a pergunta e a resposta. Você pode clicar em Exibir pensamentos para ver como o agente está pensando sobre a pergunta.

   3. No lado direito, em Expectativas, revise todas as diretrizes existentes e adicione mais como achar melhor.

      1. Para adicionar uma diretriz, clique em + Adicionar entrada.
      2. Insira a diretriz na caixa de texto exibida.
      3. Clique em Salvar.

   4. Em Comentários, introduza os seus comentários e, em seguida, clique em Guardar.

   5. Quando terminar de revisar uma pergunta, clique em Próximo não revisado > no canto superior direito para passar para a próxima.

   6. Quando terminar de analisar todas as perguntas, basta sair do aplicativo de avaliação.

      

5. Quando os revisores terminarem as sessões de rotulagem, retorne à guia Melhorar a qualidade do agente.

6. Clique em Mesclar para mesclar comentários dos especialistas ao seu conjunto de dados rotulado. A tabela de perguntas do lado direito será atualizada com o feedback mesclado.

   

7. Analise os registros de feedback.

8. Teste o agente novamente no AI Playground para ver seu desempenho aprimorado. Se necessário, inicie outra sessão de etiquetagem para recolher mais dados etiquetados.

Limitações

• O Databricks recomenda o uso de arquivos menores que 32 MB para seus documentos de origem.
• Não há suporte para espaços de trabalho que usam o Azure Private Link, incluindo o armazenamento por trás do PrivateLink.
• As tabelas do Catálogo Unity não são suportadas.