Relación de confianza y patrones de sesión compartidos básicos

Trabajar con el motor de detección es una colaboración. Establece la dirección y define qué significa el éxito. La cognición controla la ejecución. La calidad de esta colaboración depende de lo claramente que exprese sus expectativas y de la estructura que proporcione.

En este artículo se explica cómo los requisitos de validación dan forma al comportamiento de la cognición, cómo calibrar el nivel de detalle en las tareas y los patrones de sesión compartidos básicos para empezar.

El rol de los requisitos de validación

Los requisitos de validación son la única palanca más importante que tiene para guiar el comportamiento de la cognición. Dicen a la cognición cómo juzgar si el resultado de una tarea es lo suficientemente bueno. Sin ellos, la cognición no tiene ningún estándar objetivo. Con requisitos bien escritos, la cognición puede evaluar la calidad, rechazar resultados insuficientes y volver a intentarlo hasta que el trabajo cumpla sus criterios.

¿Qué ocurre cuando los requisitos de validación son demasiado flexibles?

Si los requisitos de validación son imprecisos o ausentes, la cognición tiende a aceptar el primer resultado que genera un agente. La tarea cambia a Completado rápidamente, pero es posible que el resultado no cumpla con sus expectativas.

Ejemplo de un requisito flexible:

"Proporcionar una buena respuesta."

La cognición no tiene forma de evaluar lo que significa "bueno" en su contexto. La respuesta del agente pasa la validación porque no hay nada concreto contra lo que pueda fallar. Termina revisando los resultados manualmente para determinar la calidad, lo que derrota el propósito de la ejecución autónoma.

¿Qué ocurre cuando los requisitos de validación son demasiado estrictos?

Si los requisitos de validación son demasiado específicos o exigen precisión que el agente no puede entregar de forma confiable, la cognición reintenta repetidamente la tarea. Cada intento da lugar a un resultado que no cumple del todo los requisitos, lo que da lugar a múltiples ciclos de ejecución. Finalmente, la cognición marca la tarea como Necesita atención del usuario porque no puede generar un resultado que cumpla todos los requisitos.

Ejemplo de un requisito demasiado estricto:

"Los resultados deben incluir valores de afinidad de enlace precisos para 0,01 kcal/mol con referencias de validación experimentales para cada predicción".

Si las herramientas o modelos disponibles no pueden generar ese nivel de precisión, cada intento produce un error de validación. La cognición sigue probando enfoques diferentes, consumiendo tiempo y recursos de proceso sin progreso.

Búsqueda del equilibrio correcto

Los requisitos de validación efectivos son lo suficientemente específicos como para distinguir el buen trabajo de un mal, pero lo suficientemente flexible como para que un agente capaz pueda cumplirlos.

Directrices para escribir requisitos de validación:

  • Indique qué debe contener el resultado, no cómo debe generarlo el agente. "Los resultados incluyen predicciones de solubilidad para las cinco moléculas candidatas" es mejor que "Usar la herramienta Graphormer para predecir la solubilidad".
  • Céntrese en los criterios verificables. "El análisis cubre al menos tres propiedades moleculares" es verificable. "El análisis es exhaustivo" no lo es.
  • Ajusta la precisión a lo que se puede lograr. Si usa modelos predictivos, no requiera precisión de grado experimental en los criterios de validación.
  • Use varios requisitos para tareas complejas. Divida los criterios de calidad en requisitos independientes para que el sistema pueda notificar cuáles han pasado y cuáles han fallado. Esto le ayuda a comprender qué funciona y qué necesita ajuste.
  • Iteración en función de los resultados. Después de revisar una tarea completada, afina los requisitos de validación para tareas futuras similares. La comprensión de lo que significa "lo suficientemente bueno" evoluciona a medida que avanza la sesión compartida.

Ejemplo: requisitos de validación bien calibrados

Tarea: "Predecir solubilidad y potencial de reducción para tres moléculas candidatas mediante Graphormer"

Requisitos de validación:

  1. "El resultado incluye predicciones para las tres moléculas candidatas".
  2. "Cada predicción incluye la solubilidad (logS) y los valores potenciales de reducción".
  3. "Los resultados se presentan en un formato estructurado con identificadores de moléculas".

Estos requisitos son específicos (las tres moléculas, ambas propiedades, formato estructurado), pero se pueden lograr (no exigen umbrales de precisión específicos que el modelo podría no admitir).

Niveles de estructura

El grado de estructura que aplique a sus tareas determina el esfuerzo cognitivo que deberá realizar por sí mismo. Piense en esto como un espectro de alta autonomía (usted proporciona objetivos amplios, la cognición controla todo) a alta estructura (usted define cada paso, la cognición ejecuta y valida).

No hay ninguna configuración explícita para elegir un nivel de confianza o un modo de autonomía. Expresa su elección a través de cómo configurar la sesión compartida. Si crea una sola tarea amplia, la cognición toma posesión de la planificación y la descomposición. Si crea varias tareas y dependencias, la cognición sigue la estructura. También puede comenzar de manera estructurada y luego relajar el control a medida que gane confianza, o reforzar el control si el proceso cognitivo no va en la dirección correcta.

Objetivos amplios con una estructura mínima

Proporcione una sola tarea de alto nivel con los requisitos generales de validación. La cognición lo descompone en subtareas, selecciona agentes y administra toda la sesión compartida.

Cuándo usar este enfoque:

  • Está explorando un nuevo área de problemas y aún no conoce los pasos correctos.
  • Quiere saber qué enfoques descubre la cognición
  • El problema es lo suficientemente amplio como para que existan varias rutas de acceso válidas.

Qué esperar:

  • La cognición crea subtareas que no se definió explícitamente
  • La descomposición podría no coincidir con la forma en que desglosaras el trabajo.
  • Los resultados de las tareas tempranas informan de lo que la cognición intenta a continuación
  • Revisar periódicamente y redirigir si la cognición va en una dirección poco útil

Example:

Tarea: "Investigue el mecanismo de enlace de X compuesto con proteína Y objetivo e identifique modificaciones estructurales que podrían mejorar la afinidad de enlace".

Validación: "El análisis identifica al menos 3 interacciones clave en el mecanismo de enlace" y "Se propone al menos 2 modificaciones estructurales con fundamento".

Tareas estructuradas con dependencias

Cree la jerarquía de tareas usted mismo: tareas primarias para las fases principales, tareas secundarias para pasos específicos, dependencias para controlar el orden de ejecución y requisitos de validación detallados para cada tarea.

Cuándo usar este enfoque:

  • Conoce los pasos necesarios y quiere asegurarse de que se siguen.
  • La sesión compartida tiene fases claras que dependen entre sí
  • Quiere asignar agentes específicos a tareas específicas
  • La calidad en cada paso es importante, y desea tener puntos de control de validación a lo largo de todo el proceso.

Qué esperar:

  • La cognición sigue la estructura definida
  • Las tareas se ejecutan en el orden especificado a través de dependencias
  • La validación se produce en cada paso, no solo al final
  • Cognition sigue encargándose de la ejecución del agente, la recuperación de errores y los reintentos dentro de la estructura que defines.
  • Si se produce un error en la validación de una tarea, la cognición lo reintenta antes de pasar a tareas dependientes.

Example:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Cada tarea tiene sus propios requisitos de validación. Las tareas 2 y 3 se ejecutan en paralelo después de que se complete la tarea 1. La tarea 4 espera a ambos.

Enfoque híbrido

En la práctica, la mayoría de las sesiones compartidas usan una combinación. Puede estructurar las fases principales, pero dejar que la cognición descomponga fases específicas en subtareas. O bien, puede comenzar de forma amplia, revisar las subtareas que crea la cognición y agregar estructura cuando sea necesario.

Este enfoque suele ser el más eficaz. Aportas conocimiento del dominio sobre la estructura general adecuada, y la cognición se encarga de la ejecución táctica dentro de cada fase.

Introducción: la primera sesión compartida

Si usa el motor de detección por primera vez, comience con una sesión compartida sencilla y estructurada para familiarizarse con el funcionamiento de la cognición antes de pasar a objetivos más amplios.

Paso 1: Crear una sesión compartida pequeña

Comience con un objetivo centrado que tenga 2-4 pasos claros. Este enfoque le permite ver el ciclo de vida completo de las tareas (Nuevo, En ejecución, Validación, Completado) sin esperar horas de resultados.

Paso 2: Escribir requisitos de validación específicos

En tu primera sesión compartida, es mejor ser específico que general. Quiere ver que la cognición evalúe los resultados con respecto a los criterios para comprender cómo funciona la validación.

Paso 3: Iniciar el motor de detección y observar

Observe cómo la cognición selecciona agentes, tareas de secuencia y controla la validación. No intervenga a menos que algo esté claramente equivocado. Este enfoque desarrolla tu intuición sobre cuánta orientación necesita la cognición.

Paso 4: Revisar y ajustar

Una vez completada la sesión compartida, revise:

  • ¿La cognición siguió la estructura de tareas que estableció?
  • ¿Los requisitos de validación fueron efectivos o provocaron reintentos innecesarios?
  • ¿Se asignaron los agentes adecuados a cada tarea?

Usa lo que aprendas para calibrar tu próxima sesión compartida.

Ajustar la confianza a lo largo del tiempo

A medida que obtiene experiencia con el motor de detección, desarrolla una idea de la cantidad de estructura que necesitan los distintos tipos de trabajo. Algunos patrones que se van a tener en cuenta:

  • Las sesiones compartidas bien entendidas con pasos conocidos se benefician de más estructura. Conoces la ruta de acceso, así que la defines. Deje que la cognición controle la ejecución y la validación.
  • La investigación exploratoria con objetivos abiertos se beneficia de menos estructura. Dar espacio para la reflexión y revisar periódicamente.
  • Sesiones compartidas mixtas en las que algunas fases son bien comprendidas y otras son ventajas exploratorias del enfoque híbrido. Estructura lo que sabes, delega lo que no.
  • Los requisitos de validación deben ser más precisos a medida que obtenga información sobre lo que pueden ofrecer los agentes y las herramientas. Empiece de manera general, refinar en función de los resultados.

Contenido relacionado

  • Última actualización el