Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Att arbeta med Identifieringsmotorn är ett samarbete. Du anger riktning och definierar hur framgång ser ut. Kognition hanterar utförandet. Kvaliteten på det här samarbetet beror på hur tydligt du uttrycker dina förväntningar och hur mycket struktur du tillhandahåller.
Den här artikeln beskriver hur valideringskrav formar kognitionens beteende, hur du kalibrerar detaljnivån i dina uppgifter och de grundläggande delade sessionsmönstren för att komma igång.
Valideringskravens roll
Valideringskrav är den enskilt viktigaste hävstången som du har för att vägleda kognitionens beteende. De berättar för kognition hur man bedömer om en uppgifts resultat är tillräckligt bra. Utan dem har kognition ingen objektiv standard. Med välskrivna krav kan kognition utvärdera kvalitet, avvisa otillräckliga resultat och försöka igen tills arbetet uppfyller dina kriterier.
Vad händer när valideringskraven är för lösa
Om dina valideringskrav är vaga eller frånvarande tenderar kognition att acceptera det första resultatet som en agent producerar. Uppgiften flyttas till Slutför snabbt, men resultatet kanske inte uppfyller dina faktiska förväntningar.
Exempel på ett löst krav:
"Ge ett bra svar."
Kognition har inget sätt att utvärdera vad "bra" betyder i din kontext. Agentens svar godkänns eftersom det inte finns något konkret att misslyckas med. Det slutar med att du granskar resultaten manuellt för att fastställa kvalitet, vilket motverkar syftet med autonom körning.
Vad händer när valideringskraven är för strikta
Om dina valideringskrav är alltför specifika eller kräver precision som agenten inte kan leverera på ett tillförlitligt sätt, försöker kognition utföra uppgiften upprepade gånger. Varje försök ger ett resultat som inte riktigt passerar, vilket leder till flera körningscykler. Slutligen flaggar kognition uppgiften som Behöver användar uppmärksamhet eftersom den inte kan ge ett resultat som uppfyller alla krav.
Exempel på ett alltför strikt krav:
"Resultaten måste innehålla bindningstillhörighetsvärden som är korrekta till 0,01 kcal/mol med experimentella valideringsreferenser för varje förutsägelse."
Om de tillgängliga verktygen eller modellerna inte kan ge den precisionsnivån misslyckas varje försök med validering. Kognition fortsätter att prova olika metoder, förbruka tid och beräkningsresurser utan förlopp.
Hitta rätt balans
Effektiva valideringskrav är tillräckligt specifika för att skilja bra arbete från dåligt, men tillräckligt flexibelt för att en kapabel agent ska kunna uppfylla dem.
Riktlinjer för att skriva valideringskrav:
- Ange vad resultatet ska innehålla, inte hur agenten ska producera det. "Resultaten inkluderar löslighetsförutsägelser för alla fem kandidatmolekyler" är bättre än "Använd Graphormer-verktyget för att förutsäga löslighet."
- Fokusera på verifierbara kriterier. "Analys omfattar minst tre molekylära egenskaper" är verifierbar. "Analysen är grundlig" är inte det.
- Matcha precisionen med vad som kan uppnås. Om du använder förutsägelsemodeller behöver du inte experimentell noggrannhet i valideringskriterierna.
- Använd flera krav för komplexa uppgifter. Dela upp kvalitetskriterierna i separata krav så att kognition kan rapportera vilka som har godkänts och som misslyckats. Detta hjälper dig att förstå vad som fungerar och vad som behöver justeras.
- Iterera baserat på resultat. När du har granskat en slutförd uppgift förfinar du valideringskraven för liknande framtida uppgifter. Din förståelse för vad "tillräckligt bra" innebär utvecklas när den delade sessionen fortskrider.
Exempel: välkalibrerade valideringskrav
Uppgift: "Förutsäga löslighet och minskningspotential för tre kandidatmolekyler med Graphormer"
Valideringskrav:
- "Resultatet innehåller förutsägelser för alla tre kandidatmolekylerna."
- "Varje förutsägelse innehåller både löslighet (logS) och potentiella minskningsvärden."
- "Resultaten presenteras i ett strukturerat format med molekylidentifierare."
Dessa krav är specifika (alla tre molekylerna, båda egenskaperna, strukturerade format) men kan uppnås (de kräver inte specifika tröskelvärden för noggrannhet som modellen kanske inte stöder).
Strukturnivåer
Hur mycket struktur du lägger på dina uppgifter avgör hur mycket kognition som behöver räknas ut på egen hand. Tänk på detta som ett spektrum från hög autonomi (du ger breda mål, kognition hanterar allt) till hög struktur (du definierar varje steg, kognition körs och validerar).
Det finns ingen explicit inställning för att välja en förtroendenivå eller ett självständighetsläge. Du uttrycker ditt val genom hur du konfigurerar din delade session. Om du skapar en enda bred uppgift blir kognition ägare till planering och nedbrytning. Om du skapar flera uppgifter och beroenden följer kognition din struktur. Du kan också börja strukturerat och lossa kontrollen när du får självförtroende, eller strama åt kontrollen om förståelsen inte utvecklas i rätt riktning.
Breda mål med minimal struktur
Du tillhandahåller en enda uppgift på hög nivå med allmänna valideringskrav. Kognition delar upp den i underaktiviteter, väljer agenter och hanterar hela den delade sessionen.
När du ska använda den här metoden:
- Du utforskar ett nytt problemområde och vet inte rätt steg ännu
- Du vill se vilka metoder som kognition identifierar
- Problemet är tillräckligt brett för att det finns flera giltiga sökvägar
Vad du kan förvänta dig:
- Kognition skapar underaktiviteter som du inte uttryckligen definierade
- Nedbrytningen kanske inte matchar hur du skulle ha brutit ned arbetet
- Resultat från tidiga uppgifter informerar vad kognitionen försöker härnäst
- Granska regelbundet och omdirigera om kognitionen går i en ohjälpsam riktning
Ett exempel:
Uppgift: "Undersöka bindningsmekanismen för förening X med målprotein Y och identifiera strukturella ändringar som kan förbättra bindningsaffiniteten."
Validering: "Analys identifierar minst 3 viktiga interaktioner i bindningsmekanismen" och "Minst två strukturella ändringar föreslås med motivering."
Strukturerade uppgifter med beroenden
Du skapar själv aktivitetshierarkin: överordnade aktiviteter för huvudfaser, underordnade aktiviteter för specifika steg, beroenden för att styra exekveringsordningen och specifika detaljer för validering för varje aktivitet.
När du ska använda den här metoden:
- Du vet vilka steg som krävs och vill se till att de följs
- Den delade sessionen har tydliga faser som är beroende av varandra
- Du vill tilldela specifika agenter till specifika uppgifter
- Kvalitet i varje steg är viktigt och du vill ha valideringskontroller i hela
Vad du kan förvänta dig:
- Kognition följer den struktur som du definierade
- Uppgifter utförs i den ordning som du har angett enligt beroendena
- Verifiering sker i varje steg, inte bara i slutet
- Kognition hanterar fortfarande agentkörning, felåterställning och återförsök i den struktur som du anger
- Om en uppgift misslyckas med valideringen försöker kognitionen igen innan den flyttas till beroende uppgifter
Ett exempel:
Parent: "Characterize target molecule and identify improved analogs"
Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
Task 3: "Predict solubility using Graphormer" (depends on Task 1)
Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)
Varje uppgift har sina egna valideringskrav. Aktiviteterna 2 och 3 körs parallellt när uppgift 1 har slutförts. Uppgift 4 väntar på båda.
Hybridmetod
I praktiken använder de flesta delade sessioner en blandning. Du kan strukturera de viktigaste faserna själv, men låt kognition dela upp specifika faser i underaktiviteter. Eller så kan du börja brett, granska de underaktiviteter som kognition skapar och lägga till struktur där det behövs.
Den här metoden är ofta den mest effektiva. Du bidrar med domänkunskap om den rätta övergripande strukturen, och kognitionen hanterar det taktiska genomförandet inom varje fas.
Komma igång: din första delade session
Om du använder identifieringsmotorn för första gången börjar du med en enkel, strukturerad delad session för att skapa kunskaper om hur kognition fungerar innan du övergår till bredare mål.
Steg 1: Skapa en liten delad session
Börja med ett fokuserat mål som har 2–4 tydliga steg. Med den här metoden kan du se hela aktivitetslivscykeln (Ny, Köra, Validera, Slutför) utan att vänta timmar på resultat.
Steg 2: Skriva specifika valideringskrav
För din första delade session, var hellre specifik än allmän. Du vill se kognition utvärdera resultat mot dina kriterier så att du förstår hur valideringen fungerar.
Steg 3: Starta sökmotorn och övervaka
Se hur kognition väljer agenter, sekvenser uppgifter och hanterar validering. Ingrip inte om inget är uppenbart fel. Den här metoden bygger din intuition för hur mycket vägledning kognition behöver.
Steg 4: Granska och justera
När den delade sessionen har slutförts granskar du:
- Följde kognition den aktivitetsstruktur som du angav?
- Var valideringskraven effektiva eller orsakade de onödiga återförsök?
- Tilldelades rätt agenter till varje uppgift?
Använd det du lär dig för att kalibrera nästa delade session.
Justera förtroende över tid
När du får erfarenhet av Discovery Engine utvecklar du en känsla för hur mycket struktur olika typer av arbete behöver. Några mönster att tänka på:
- Välförstådda delade sessioner med kända steg drar nytta av mer struktur. Du känner till sökvägen, så definiera den. Låt den kognitiva processen hantera körning och validering.
- Undersökande forskning med öppna mål drar nytta av mindre struktur. Ge kognitivt utrymme att utforska och kontrollera regelbundet.
- Blandade delade sessioner där vissa faser är väl förstådda och andra är utforskande fördelar med hybridmetoden. Strukturera det du vet, delegera det du inte gör.
- Valideringskraven bör bli mer exakta när du lär dig vad agenterna och verktygen kan leverera. Starta allmänt, förfina baserat på resultat.