Relazione di trust e modelli di sessione condivisa di base

Lavorare con il motore di individuazione è una collaborazione. Tu imposti la direzione e definisci come appare il successo. Cognition gestisce l'esecuzione. La qualità di questa collaborazione dipende da quanto chiaramente si esprimono le aspettative e la struttura che si fornisce.

Questo articolo illustra come i requisiti di convalida modellano il comportamento della conoscenza, come calibrare il livello di dettaglio nelle attività e i modelli di sessione condivisa di base per iniziare.

Ruolo dei requisiti di convalida

I requisiti di convalida sono la singola leva più importante che si ha per guidare il comportamento della conoscenza. Essi dicono alla cognizione come giudicare se il risultato di un compito è abbastanza buono. Senza di loro, la conoscenza non ha uno standard obiettivo. Con requisiti ben scritti, la conoscenza può valutare la qualità, rifiutare risultati insufficienti e riprovare fino a quando il lavoro non soddisfa i criteri.

Cosa accade quando i requisiti di convalida sono troppo laschi

Se i requisiti di convalida sono vaghi o assenti, la conoscenza tende ad accettare il primo risultato prodotto da un agente. L'attività passa rapidamente a Completa, ma il risultato potrebbe non soddisfare le reali aspettative.

Esempio di requisito libero:

"Fornire una buona risposta."

Cognition non ha modo di valutare cosa significa "buono" nel contesto. La risposta dell'agente supera la convalida perché non c'è nulla di concreto contro cui fallire. Si finisce per esaminare manualmente i risultati per determinare la qualità, che sconfigge lo scopo dell'esecuzione autonoma.

Cosa accade quando i requisiti di convalida sono troppo rigidi

Se i requisiti di convalida sono eccessivamente specifici o richiedono una precisione che l'agente non può garantire in modo affidabile, il sistema di cognizione riesegue ripetutamente il compito. Ciascun tentativo produce un risultato che non viene superato, risultando in più cicli di esecuzione. Alla fine, la conoscenza contrassegna l'attività come Richiede attenzione dell'utente perché non può produrre un risultato che soddisfi tutti i requisiti.

Esempio di requisito eccessivamente rigoroso:

"I risultati devono includere valori di affinità di associazione accurati a 0,01 kcal/mol con riferimenti di convalida sperimentale per ogni stima".

Se gli strumenti o i modelli disponibili non possono produrre tale livello di precisione, ogni tentativo non riesce a convalidare. La conoscenza continua a provare approcci diversi, richiedendo tempo e risorse di calcolo senza progressi.

Trovare il giusto equilibrio

I requisiti di convalida efficaci sono sufficientemente specifici per distinguere il buon lavoro da quello cattivo, ma abbastanza flessibili da permettere a un agente capace di soddisfarli.

Linee guida per la scrittura dei requisiti di convalida:

  • Specificare il risultato che deve contenere, non come deve essere prodotto dall'agente. "I risultati includono le stime dell'integrità per tutte e cinque le molecole candidate" è meglio di "Usare lo strumento Graphormer per stimare l'integrità".
  • Concentrarsi sui criteri verificabili. "L'analisi copre almeno tre proprietà molecolari" è verificabile. "L'analisi è accurata" non lo è.
  • Abbinare la precisione ai risultati ottenibili. Se si usano modelli predittivi, non è necessaria l'accuratezza sperimentale nei criteri di convalida.
  • Usare più requisiti per attività complesse. Suddividere i criteri di qualità in requisiti distinti in modo che la conoscenza possa segnalare quali sono stati superati e che non sono riusciti. In questo modo è possibile comprendere cosa funziona e quali sono le esigenze di regolazione.
  • Eseguire l'iterazione in base ai risultati. Dopo aver esaminato un'attività completata, perfezionare i requisiti di convalida per attività future simili. La comprensione di ciò che significa "abbastanza buono" si evolve man mano che la sessione condivisa avanza.

Esempio: requisiti di convalida ben calibrati

Attività: "Prevedere la solubilità e il potenziale di riduzione per tre molecole candidate utilizzando Graphormer"

Requisiti di convalida:

  1. "Il risultato include stime per tutte e tre le molecole candidate".
  2. "Ogni stima include sia l'integrità (logS) che i valori potenziali di riduzione."
  3. "I risultati vengono presentati in un formato strutturato con identificatori di molecole."

Questi requisiti sono specifici (tutte e tre le molecole, entrambe le proprietà, il formato strutturato) ma ottenibili (non richiedono soglie di accuratezza specifiche che il modello potrebbe non supportare).

Livelli di struttura

La quantità di struttura immessa nelle attività determina quanto debba elaborare autonomamente la cognizione. Si pensi a questo come uno spettro dall'elevata autonomia (si forniscono obiettivi generali, la conoscenza gestisce tutto) a una struttura elevata (si definiscono ogni passaggio, la conoscenza viene eseguita e convalida).

Non esiste alcuna impostazione esplicita per scegliere un livello di attendibilità o una modalità di autonomia. È possibile esprimere la propria scelta tramite la configurazione della sessione condivisa. Se si crea una singola attività generale, la conoscenza assume la proprietà della pianificazione e della scomposizione. Se si creano più attività e dipendenze, la conoscenza segue la struttura. È anche possibile avviare un controllo strutturato e allentato man mano che si acquisisce fiducia o rafforzare il controllo se la conoscenza non è in direzione giusta.

Obiettivi generali con una struttura minima

Si fornisce un'unica attività di alto livello con requisiti di convalida generali. Cognition lo scompone in sottocompiti, seleziona gli agenti e gestisce l'intera sessione condivisa.

Quando usare questo approccio:

  • Si sta esplorando una nuova area del problema e non si conoscono ancora i passaggi giusti
  • Si desidera visualizzare gli approcci individuati dalla capacità cognitiva
  • Il problema è sufficientemente ampio che esistono più percorsi validi

Cosa aspettarsi:

  • Cognition crea sottoattività che non sono state definite in modo esplicito
  • La scomposizione potrebbe non corrispondere a come sarebbe stato suddiviso il lavoro
  • I risultati delle attività iniziali danno forma a ciò che la cognizione tenterà successivamente
  • Esaminare periodicamente e reindirizzare se la conoscenza va in una direzione inutile

Esempio:

Attività: "Indagare il meccanismo di legame del composto X con la proteina target Y e identificare le modifiche strutturali che potrebbero migliorare l'affinità di legame."

Convalida: "L'analisi identifica almeno 3 interazioni chiave nel meccanismo di associazione" e "Con la logica vengono proposte almeno 2 modifiche strutturali".

Attività strutturate con dipendenze

La gerarchia delle attività viene creata manualmente: attività padre per fasi principali, attività figlio per passaggi specifici, dipendenze per controllare l'ordine di esecuzione e requisiti di convalida dettagliati per ogni attività.

Quando usare questo approccio:

  • Si conoscono i passaggi necessari e si vuole assicurarsi che siano seguiti
  • La sessione condivisa ha fasi chiare che dipendono l'una dall'altra
  • Si vuole assegnare agenti specifici a attività specifiche
  • La qualità in ogni passaggio è importante e si desidera che i checkpoint di convalida si trovino in tutto

Cosa aspettarsi:

  • Cognition segue la struttura definita
  • Le attività vengono eseguite nell'ordine specificato tramite le dipendenze
  • La convalida viene eseguita in ogni passaggio, non solo alla fine
  • Cognition continua a gestire l'esecuzione dell'agente, la gestione degli errori e i nuovi tentativi all'interno della struttura che hai impostato
  • Se una convalida di un'attività non riesce, il sistema di cognizione la ritenta prima di passare alle attività dipendenti.

Esempio:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Ogni attività ha requisiti di convalida specifici. Le attività 2 e 3 vengono eseguite in parallelo al termine dell'attività 1. L'attività 4 attende entrambi.

Approccio ibrido

In pratica, la maggior parte delle sessioni condivise usa una combinazione. È possibile strutturare manualmente le fasi principali, ma lasciare che la conoscenza scompone le fasi specifiche in sottoattività. In alternativa, è possibile iniziare in modo ampio, esaminare le sottoattività create dalla conoscenza e aggiungere la struttura dove necessario.

Questo approccio è spesso il più efficace. L'utente porta la sua conoscenza sul dominio relativamente alla giusta struttura di investigazione generale dell'analisi, e il processo cognitivo gestisce l'esecuzione tattica all'interno di ogni fase.

Introduzione: la prima sessione condivisa

Se si usa il motore di individuazione per la prima volta, iniziare con una sessione condivisa semplice e strutturata per acquisire familiarità con il funzionamento della conoscenza prima di passare a obiettivi più ampi.

Passaggio 1: Creare una piccola sessione condivisa

Iniziare con un obiettivo mirato con 2-4 passaggi chiari. Questo approccio consente di visualizzare il ciclo di vita completo dell'attività (Nuovo, Esecuzione, Convalida, Completamento) senza attendere ore per i risultati.

Passaggio 2: Scrivere requisiti di convalida specifici

Per la tua prima sessione condivisa, meglio essere specifici piuttosto che generici. Si desidera osservare come la cognizione valuti i risultati secondo i propri criteri per comprendere il funzionamento della convalida.

Passaggio 3: Avviare il motore di individuazione e osservare

Osservare come la conoscenza seleziona agenti, sequenze attività e gestisce la convalida. Non intervenire a meno che qualcosa non sia chiaramente sbagliato. Questo approccio ti aiuta a sviluppare un'intuizione su quanta guida richiede la cognizione.

Passaggio 4: Rivedere e modificare

Al termine della sessione condivisa, esaminare:

  • La conoscenza ha seguito la struttura delle attività impostata?
  • I requisiti di convalida sono stati efficaci o, al contrario, hanno causato tentativi non necessari?
  • Gli agenti corretti sono stati assegnati a ogni attività?

Usare le informazioni apprese per calibrare la sessione condivisa successiva.

Regolazione dell'attendibilità nel tempo

Man mano che si acquisisce esperienza con il Discovery Engine, si sviluppa un senso di quanta struttura è necessaria per i diversi tipi di lavoro. Alcuni modelli da tenere presenti:

  • Le sessioni condivise ben comprese con passaggi noti traggono vantaggio da una maggiore struttura. Si conosce il percorso, quindi definirlo. Consentire alla conoscenza di gestire l'esecuzione e la convalida.
  • La ricerca esplorativa con obiettivi aperti trae vantaggio da una minore struttura. Dare alla capacità cognitiva spazio per esplorare e monitorare periodicamente.
  • Sessioni condivise miste in cui alcune fasi sono ben comprese e altre sono esplorative traggono vantaggio dall'approccio ibrido. Strutturare ciò che sai, delegare ciò che non sai.
  • I requisiti di convalida dovrebbero diventare più precisi man mano che si comprende cosa possono fornire gli agenti e gli strumenti. Iniziare in generale, perfezionare in base ai risultati.

Contenuti correlati

  • Ultimo aggiornamento: