Utilize o Agent Bricks: LLM Personalizado para criar um agente de IA generativo para texto.

Importante

Este recurso está em versão Beta.

Este artigo descreve como criar um agente de IA generativo para tarefas personalizadas baseadas em texto usando Agent Bricks: Custom LLM.

O Agent Bricks fornece uma abordagem simples e sem código para criar e otimizar sistemas de agentes de IA específicos do domínio e de alta qualidade para casos comuns de uso de IA.

O que você pode fazer com o LLM personalizado?

Use Agent Bricks: LLM personalizado para gerar resultados de alta qualidade para qualquer tarefa específica do domínio, como resumo, classificação, transformação de texto e geração de conteúdo.

Blocos de agentes: O LLM personalizado é ideal para os seguintes casos de uso:

• Resumindo o problema e resolução de chamadas de clientes.
• Analisar o sentimento das opiniões dos clientes.
• Classificação de trabalhos de investigação por temas.
• Geração de press releases para novas funcionalidades.

Dadas instruções e exemplos de alto nível, o Agent Bricks: Custom LLM otimiza prompts em nome dos usuários, infere automaticamente os critérios de avaliação, avalia o sistema a partir dos dados fornecidos e implanta o modelo como um ponto de extremidade produtível.

Agente Bricks: O LLM personalizado aproveita as capacidades de avaliação automatizada, incluindo MLflow e Avaliação de Agente, para permitir uma rápida avaliação da compensação entre custo e qualidade para a sua tarefa específica de extração. Essa avaliação permite que você tome decisões informadas sobre o equilíbrio entre precisão e investimento de recursos.

Requerimentos

• Um espaço de trabalho que inclui o seguinte:
  • Pré-visualização do Mosaic AI Agent Bricks (Beta) ativada. Consulte Gerenciar visualizações do Azure Databricks.
  • Computação sem servidor habilitada. Consulte Ativar computação sem servidor.
  • Catálogo Unity ativado. Consulte Habilitar um espaço de trabalho para o Unity Catalog.
  • Recursos assistenciais de IA alimentados por parceiros habilitados.
  • Um espaço de trabalho em uma das regiões suportadas: eastus, eastus2, westus, centralus, ou northcentralus.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos de base no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política de orçamento sem servidor com um orçamento diferente de zero.
• Capacidade de usar a ai_query função SQL.
• Você deve ter os dados de entrada prontos para uso. Pode optar por fornecer:
  • Uma tabela do Catálogo Unity. O nome da tabela não pode conter caracteres especiais (como -).
    • Se você quiser usar PDFs, converta-os em uma tabela do Catálogo Unity. Consulte Utilizar PDFs em Agent Bricks.
  • Pelo menos 3 exemplos de entradas e saídas. Se optar por esta opção, terá de especificar um caminho de destino do esquema do Unity Catalog para o agente, e deverá ter permissões de criação de modelo registado (CREATE REGISTERED MODEL) e CREATE TABLE para esse esquema.
• Se você quiser otimizar seu agente, precisará de pelo menos 100 entradas (100 linhas em uma tabela do Unity Catalog ou 100 exemplos fornecidos manualmente).

Criar um agente LLM personalizado

Vá para o no painel de navegação à esquerda do seu espaço de trabalho e clique em LLM Personalizado.

Etapa 1: Configurar o agente

Na guia Configurar , clique em Mostrar um exemplo > para expandir um exemplo de entrada e resposta de modelo para um agente LLM personalizado.

No painel abaixo, configure seu agente:

1. Em Descreva sua tarefa, insira uma descrição clara e detalhada de sua tarefa de especialização, incluindo sua finalidade e resultado desejado.

2. Forneça um conjunto de dados rotulado, um conjunto de dados sem rótulo ou alguns exemplos para usar para criar seu agente.

   Se você quiser usar PDFs, converta-os em uma tabela do Catálogo Unity primeiro. Consulte Utilizar PDFs em Agent Bricks.

   Os seguintes tipos de dados são suportados: string, inte double.

   Conjunto de dados rotulado

   Se você selecionar Conjunto de dados rotulado:

   

   1. Em Selecionar conjunto de dados como tabela UC, clique em Procurar para selecionar a tabela no Catálogo Unity que você deseja usar. O nome da tabela não pode conter caracteres especiais (como -).

      Veja o exemplo seguinte:

      main.model_specialization.customer_call_transcripts

   2. No campo Coluna de entrada , selecione a coluna que deseja usar como texto de entrada. O menu suspenso é preenchido automaticamente com colunas da tabela selecionada.

   3. Na coluna Saída (opcional), selecione a coluna que deseja fornecer como um exemplo de saída para a transformação esperada. Fornecer esses dados ajuda a configurar seu agente para se adaptar com mais precisão às necessidades específicas do seu domínio.

   Conjunto de dados sem rótulo

   Se você selecionar Conjunto de dados sem rótulo:

   1. Em Selecionar conjunto de dados como tabela UC, clique em Procurar para selecionar a tabela no Catálogo Unity que você deseja usar. O nome da tabela não pode conter caracteres especiais (como -).

   2. No campo Coluna de entrada , selecione a coluna que deseja usar como texto de entrada. O menu suspenso é preenchido automaticamente com colunas da tabela selecionada.

   Alguns exemplos

   Se você selecionar Alguns exemplos:

   1. Forneça pelo menos 3 exemplos de entradas e saídas esperadas para sua tarefa de especialização. Fornecer exemplos de alta qualidade ajuda a configurar seu agente de especialização para entender melhor seus requisitos.
   2. Para adicionar mais exemplos, clique em + Adicionar.
   3. Em Destino do agente, selecione o esquema do Catálogo Unity onde pretenda que os Agent Bricks o ajudem a criar uma tabela com dados de avaliação. Você deve ter permissões CREATE REGISTERED MODEL e CREATE TABLE para este esquema.

3. Atribua um nome ao seu agente.

4. Clique em Criar agente.

Etapa 2: Crie e melhore seu agente

Na guia Compilar , você pode revisar as recomendações para melhorar seu agente, revisar as saídas do modelo de amostra e ajustar as instruções da tarefa e os critérios de avaliação.

No painel Recomendação , o Databricks fornece recomendações para ajudá-lo a definir métricas de avaliação para seu agente e avaliar as respostas de amostra como boas ou ruins.

1. Analise as recomendações do Databricks para otimizar o desempenho do agente.

2. Rever os critérios de avaliação sugeridos. Esses critérios de avaliação recomendados são automaticamente inferidos para ajudá-lo a otimizar seu agente.

   

   Para cada recomendação:

   • Para aceitar a recomendação, selecione Sim. Isso adiciona os critérios de avaliação no painel de configuração do Agente .
   • Para rejeitar os critérios, selecione Não.
   • Você também pode optar por rejeitar a recomendação.

3. Em Rever resultados, reveja as entradas e saídas do modelo de amostra e forneça feedback humano opcional. Esta avaliação ajuda a melhorar as respostas do modelo.

   

   Para cada amostra, selecione se foi ou não uma boa resposta. Se Não, forneça comentários opcionais sobre a resposta e clique em Salvar para passar para a próxima.

4. Depois de terminar de revisar as recomendações, revise o painel de configuração do Agente .

   1. Você pode ajustar as instruções da tarefa para serem mais específicas para melhorar o desempenho do modelo.
   2. Analise os critérios de avaliação adicionados a partir das recomendações. Você pode remover critérios clicando em X.
   3. Se quiser adicionar mais critérios de avaliação, clique em + Adicionar para adicionar os seus.

5. Clique em Atualizar agente para salvar essas alterações no agente. Os exemplos em Revisão de resultados são atualizados para mostrar novas saídas de modelo de exemplo.

Passo 3: Experimente e otimize o seu agente

Experimente seu agente em fluxos de trabalho no Databricks.

Na guia Usar,

1. Clique em Experimentar em SQL para abrir o editor SQL e usar ai_query para enviar solicitações para seu novo agente LLM personalizado.

2. (Opcional) Clique em Otimizar se quiser otimizar seu agente em termos de custo.

   • A otimização requer pelo menos 100 entradas. Se você forneceu um conjunto de dados do Catálogo Unity, a tabela deve conter pelo menos 100 linhas. Se você não forneceu um conjunto de dados, precisará fornecer pelo menos 100 exemplos.
   • A otimização pode levar cerca de uma hora.
   • Fazer alterações no seu agente atualmente ativo é bloqueado quando a otimização está em andamento.

Quando a otimização for concluída, você será direcionado para a guia Revisão para exibir uma comparação entre seu agente ativo no momento e um agente otimizado para custo. Consulte (Opcional) Etapa 4: Revisar e implantar um agente otimizado.

1. (Opcional) Selecione Criar pipeline para implantar um pipeline que se executa em intervalos programados para utilizar o seu agente em novos dados. Consulte Lakeflow Declarative Pipelines para obter mais informações sobre pipelines.

(Opcional) Etapa 4: Revisar e implantar um agente otimizado

O Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Unity Catalog ou 100 exemplos fornecidos manualmente) para otimizar seu agente. Quando você adiciona mais entradas, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.

Quando você seleciona Otimizar na guia Usar , o Databricks compara várias estratégias de otimização diferentes para criar e implantar um agente otimizado. Essas estratégias incluem o ajuste fino do modelo base, que usa Databricks Geos.

Na guia Revisão

1. Em Resultados da avaliação, você pode revisar as métricas de avaliação para o agente otimizado. Para executar a avaliação, o Databricks usa métricas com base nos critérios de avaliação definidos na guia Construir
2. Clique num pedido para abrir mais detalhes. Aqui, você pode ver uma avaliação detalhada de cada métrica de avaliação, incluindo a justificativa por que ela foi aprovada ou reprovada. Isso usa juízes de IA integrados ao Databricks. Você também pode inspecionar a entrada e a resposta.
3. Depois de revisar esses resultados, selecione o melhor modelo em Implantar o melhor modelo em um ponto de extremidade e clique em Implantar.

Utilizar PDFs no Agent Bricks

Os PDFs ainda não são suportados nativamente no Agent Bricks: Information Extraction e Custom LLM. No entanto, você pode usar o fluxo de trabalho da interface do usuário do Agent Brick para converter uma pasta de arquivos PDF em markdown e, em seguida, usar a tabela resultante do Unity Catalog como entrada ao criar seu agente. Este fluxo de trabalho utiliza ai_parse_document para a conversão. Siga estes passos:

1. Clique em Agentes no painel de navegação esquerdo para abrir Blocos de Agente no Databricks.

2. No canto superior direito, clique no Use PDFs nos Agent Bricks.

3. No painel que se abre, insira os seguintes campos para criar um novo fluxo de trabalho para converter seus PDFs:

   1. Selecionar pasta com PDFs: Selecione a pasta Unity Catalog que contém os PDFs que você deseja usar.
   2. Selecionar tabela de destino: selecione o esquema de destino para a tabela de marcação convertida e, opcionalmente, ajuste o nome da tabela no campo abaixo.
   3. Selecione o SQL warehouse ativo: selecione o SQL warehouse para executar o fluxo de trabalho.

   

4. Clique em Iniciar importação.

5. Você será redirecionado para a guia Todos os fluxos de trabalho , que lista todos os seus fluxos de trabalho em PDF. Use esta guia para monitorar o status de seus trabalhos.

   

   Se o fluxo de trabalho falhar, clique no nome do trabalho para abri-lo e exibir mensagens de erro para ajudá-lo a depurar.

6. Quando o fluxo de trabalho for concluído com êxito, clique no nome do trabalho para abrir a tabela no Gerenciador de Catálogos para explorar e entender as colunas.

7. Use a tabela Unity Catalog como dados de entrada no Agent Bricks ao configurar seu agente.

Limitações

• O Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Catálogo Unity ou 100 amostras fornecidas manualmente) para otimizar seu agente. Quando você adiciona mais entradas, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.
• Se você fornecer uma tabela do Catálogo Unity, o nome da tabela não poderá conter caracteres especiais (como -).
• Somente os seguintes tipos de dados são suportados como entradas: string, inte double.
• A capacidade de uso está atualmente limitada a 100 mil tokens de entrada e saída por minuto.
• Não há suporte para espaços de trabalho que usam o Azure Private Link, incluindo o armazenamento por trás do Azure Private Link.