Relação de confiança e padrões básicos de sessão partilhada

Trabalhar com o Discovery Engine é uma colaboração. Define a direção e define o que é o sucesso. A Cognição trata da execução. A qualidade desta colaboração depende de quão claramente expressas as tuas expectativas e da quantidade de estrutura que ofereces.

Este artigo aborda como os requisitos de validação moldam o comportamento da cognição, como calibrar o nível de detalhe nas suas tarefas e os padrões básicos de sessão partilhada para começar.

O papel dos requisitos de validação

Os requisitos de validação são a alavanca mais importante que tem para orientar o comportamento da cognição. Dizem à cognição como avaliar se o resultado de uma tarefa é suficientemente bom. Sem eles, a cognição não tem um padrão objetivo. Com requisitos bem elaborados, a cognição pode avaliar a qualidade, rejeitar resultados insuficientes e tentar novamente até que o trabalho cumpra os seus critérios.

O que acontece quando os requisitos de validação são demasiado flexíveis

Se os seus requisitos de validação forem vagos ou ausentes, a cognição tende a aceitar o primeiro resultado que um agente produz. A tarefa passa rapidamente para Concluído, mas o resultado pode não corresponder às suas expectativas reais.

Exemplo de um requisito flexível:

"Dá uma boa resposta."

A cognição não tem forma de avaliar o que significa "bom" no teu contexto. A resposta do agente passa validação porque não há nada concreto contra o qual possa falhar. Acabas por rever os resultados manualmente para determinar a qualidade, o que anula o propósito da execução autónoma.

O que acontece quando os requisitos de validação são demasiado rigorosos

Se os seus requisitos de validação forem demasiado específicos ou exigirem precisão que o agente não consegue entregar de forma fiável, a cognição tenta repetidamente a tarefa. Cada tentativa produz um resultado que não é totalmente aprovado, levando a múltiplos ciclos de execução. Eventualmente, a cognição sinaliza a tarefa como Precisa de Atenção do Utilizador porque não consegue produzir um resultado que satisfaça todos os requisitos.

Exemplo de um requisito excessivamente rigoroso:

"Os resultados devem incluir valores de afinidade de ligação com precisão até 0,01 kcal/mol, com referências de validação experimental para cada previsão."

Se as ferramentas ou modelos disponíveis não conseguirem produzir esse nível de precisão, todas as tentativas falham na validação. A cognição continua a tentar diferentes abordagens, a consumir tempo e a consumir recursos computacionais sem progresso.

Encontrar o equilíbrio certo

Os requisitos de validação eficaz são suficientemente específicos para distinguir o bom trabalho do mau, mas suficientemente flexíveis para que um agente competente os consiga cumprir.

Diretrizes para a redação dos requisitos de validação:

  • Indique o que o resultado deve conter, não como o agente deve produzi-lo. "Os resultados incluem previsões de solubilidade para as cinco moléculas candidatas" é melhor do que "Usar a ferramenta Graphormer para prever solubilidade."
  • Foca-te em critérios verificáveis. "A análise cobre pelo menos três propriedades moleculares" é verificável. "A análise é minuciosa" não é.
  • Ajusta a precisão ao que é possível. Se estiver a usar modelos preditivos, não exija precisão experimental nos critérios de validação.
  • Use múltiplos requisitos para tarefas complexas. Dividir os critérios de qualidade em requisitos separados para que o sistema de cognição possa reportar quais foram aprovados e quais foram reprovados. Isto ajuda-te a perceber o que está a funcionar e o que precisa de ajustes.
  • Itere com base nos resultados. Após rever uma tarefa concluída, aperfeiçoe os requisitos de validação para tarefas futuras semelhantes. A tua compreensão do que significa "suficientemente bom" evolui à medida que a sessão partilhada avança.

Exemplo: requisitos de validação bem calibrados

Tarefa: "Prever solubilidade e potencial de redução para três moléculas candidatas usando Graphormer"

Requisitos de validação:

  1. "O resultado inclui previsões para as três moléculas candidatas."
  2. "Cada previsão inclui tanto os valores de solubilidade (logS) como de potencial de redução."
  3. "Os resultados são apresentados num formato estruturado com identificadores de molécula."

Estes requisitos são específicos (as três moléculas, ambas as propriedades, formato estruturado) mas alcançáveis (não exigem limiares de precisão específicos que o modelo possa não suportar).

Níveis de estrutura

A quantidade de estrutura que colocas nas tuas tarefas determina quanto é que a cognição tem de decifrar por si só. Pensa nisto como um espectro desde alta autonomia (apresentas objetivos amplos, a cognição trata de tudo) até à alta estrutura (defines cada passo, a cognição executa e valida).

Não existe uma definição explícita para escolher um nível de confiança ou modo de autonomia. Expressas a tua escolha através da forma como organizas a sessão partilhada. Se criares uma única tarefa ampla, a cognição assume a responsabilidade pelo planeamento e decomposição. Se criares múltiplas tarefas e dependências, a cognição segue a tua estrutura. Também pode começar com estrutura e relaxar o controlo à medida que ganha confiança, ou apertar o controlo se perceber que não está a ter os resultados pretendidos.

Objetivos amplos com estrutura mínima

Fornece uma única tarefa de alto nível com requisitos gerais de validação. A cognição decompõe-a em subtarefas, seleciona agentes e gere toda a sessão partilhada.

Quando usar esta abordagem:

  • Estás a explorar uma nova área problemática e ainda não sabes os passos certos
  • Queres ver que abordagens a cognição descobre
  • O problema é suficientemente amplo para que existam múltiplos caminhos válidos

O que esperar:

  • A cognição cria subtarefas que não definiste explicitamente
  • A decomposição pode não corresponder à forma como teria dividido o trabalho
  • Os resultados das primeiras tarefas guiam o próximo passo do processamento cognitivo.
  • Reveja periodicamente e reoriente se a cognição seguir uma direção pouco útil

Exemplo:

Tarefa: "Investigar o mecanismo de ligação do composto X com a proteína-alvo Y e identificar modificações estruturais que possam melhorar a afinidade de ligação."

Validação: "A análise identifica pelo menos 3 interações-chave no mecanismo de ligação" e "São propostas pelo menos 2 modificações estruturais com justificação."

Tarefas estruturadas com dependências

Tu próprio crias a hierarquia de tarefas: tarefas pais para fases principais, tarefas filhas para passos específicos, dependências para controlar a ordem de execução e requisitos detalhados de validação para cada tarefa.

Quando usar esta abordagem:

  • Conhece os passos necessários e quer garantir que são seguidos
  • A sessão partilhada tem fases claras que dependem umas das outras
  • Quer atribuir agentes específicos a tarefas específicas
  • A qualidade em cada etapa é importante e queres pontos de validação ao longo de todo o processo

O que esperar:

  • A cognição segue a estrutura que definiste
  • As tarefas são executadas na ordem que especificaste através das dependências
  • A validação acontece em cada etapa, não apenas no final
  • A Cognition continua a assegurar a execução de agentes, a recuperação de erros e as novas tentativas dentro da estrutura que definiu
  • Se uma tarefa falhar na validação, a cognição tenta novamente antes de passar para tarefas dependentes

Exemplo:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Cada tarefa tem os seus próprios requisitos de validação. As Tarefas 2 e 3 são executadas em paralelo após a conclusão da Tarefa 1. A Tarefa 4 espera por ambos.

Abordagem híbrida

Na prática, a maioria das sessões partilhadas recorre a uma combinação. Podes estruturar as fases principais tu próprio, mas deixar a cognição decompor fases específicas em subtarefas. Ou podes começar de forma geral, rever as subtarefas que a cognição cria e adicionar estrutura onde necessário.

Esta abordagem é frequentemente a mais eficaz. Traz conhecimento do domínio sobre a estrutura global correta, e a cognição assegura a execução tática em cada fase.

Primeiros passos: a sua primeira sessão partilhada

Se está a usar o Discovery Engine pela primeira vez, comece com uma sessão simples e estruturada partilhada para ganhar familiaridade com o funcionamento da cognição antes de avançar para objetivos mais amplos.

Passo 1: Crie uma pequena sessão partilhada

Começa com um objetivo focado que tenha 2-4 passos claros. Esta abordagem permite-lhe ver o ciclo de vida completo da tarefa (Novo, Executar, Validar, Concluído) sem esperar horas pelos resultados.

Passo 2: Escrever requisitos específicos de validação

Para a tua primeira sessão partilhada, prefere o específico em vez de abrangente. Quer ver a cognição a avaliar os resultados com base nos seus critérios para compreender como funciona a validação.

Passo 3: Inicie o Motor de Descoberta e observe

Observe como a cognição seleciona agentes, sequencia tarefas e gere a validação. Não intervenha a menos que algo esteja claramente errado. Esta abordagem desenvolve a sua intuição sobre a quantidade de orientação que a cognição precisa.

Passo 4: Rever e ajustar

Após a sessão partilhada terminar, reveja:

  • A cognição seguiu a estrutura de tarefas que definiste?
  • Os requisitos de validação foram eficazes ou causaram tentativas desnecessárias?
  • Os agentes certos foram atribuídos a cada tarefa?

Usa o que aprendes para calibrar a tua próxima sessão partilhada.

Ajustando a confiança ao longo do tempo

À medida que ganhas experiência com o Discovery Engine, desenvolves uma noção de quanta estrutura diferentes tipos de trabalho precisam. Alguns padrões a ter em conta:

  • Sessões partilhadas bem compreendidas , com passos conhecidos, beneficiam de mais estrutura. Conheces o caminho, por isso define-o. Deixe a cognição tratar da execução e validação.
  • A investigação exploratória com objetivos abertos beneficia de menos estrutura. Dê espaço à cognição para explorar e verificar periodicamente.
  • Sessões mistas e partilhadas , onde algumas fases são bem compreendidas e outras exploratórias, beneficiam da abordagem híbrida. Estrutura o que sabes, delega o que não sabes.
  • Os requisitos de validação devem tornar-se mais precisos à medida que se aprende o que os agentes e ferramentas podem entregar. Começa de forma geral, refina com base nos resultados.

Conteúdo relacionado

  • Última atualização a