Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Werken met de Discovery Engine is een samenwerking. U stelt richting in en definieert hoe succes eruitziet. Cognition verwerkt de uitvoering. De kwaliteit van deze samenwerking hangt af van hoe duidelijk u uw verwachtingen uitdrukt en hoeveel structuur u biedt.
In dit artikel wordt uitgelegd hoe validatievereisten het gedrag van Cognition bepalen, hoe u het detailniveau van uw taken kunt afstemmen en wat de basispatronen van gedeelde sessies zijn om aan de slag te gaan.
De rol van validatievereisten
Validatievereisten zijn de belangrijkste hefboom die u hebt om het gedrag van cognitieve processen te sturen. Ze instrueren cognitie om te beoordelen of het resultaat van een taak voldoende is. Zonder hen heeft cognitie geen objectieve standaard. Met goed geschreven vereisten kan cognitief kwaliteit evalueren, onvoldoende resultaten afwijzen en opnieuw proberen totdat het werk aan uw criteria voldoet.
Wat gebeurt er wanneer validatievereisten te los zijn
Als uw validatievereisten vaag of afwezig zijn, accepteert cognitief meestal het eerste resultaat dat een agent produceert. De taak wordt snel verplaatst naar Voltooid, maar het resultaat voldoet mogelijk niet aan uw werkelijke verwachtingen.
Voorbeeld van een losse vereiste:
"Geef een goed antwoord."
Cognitief heeft geen manier om te evalueren wat 'goed' betekent in uw context. Het antwoord van de agent wordt gevalideerd omdat er niets concreets is tegen te gaan. Uiteindelijk controleert u de resultaten handmatig om de kwaliteit te bepalen, waardoor het doel van autonome uitvoering wordt verslagen.
Wat gebeurt er wanneer validatievereisten te strikt zijn
Als uw validatievereisten te specifiek zijn of precisie vereisen die de agent niet betrouwbaar kan leveren, wordt de taak herhaaldelijk opnieuw geprobeerd. Elke poging levert een resultaat op dat niet helemaal voldoet, wat leidt tot meerdere uitvoeringscycli. Uiteindelijk markeert cognitie de taak als Gebruikers aandacht nodig omdat het geen resultaat kan opleveren dat voldoet aan alle vereisten.
Voorbeeld van een te strikte vereiste:
"Resultaten moeten bindingsaffiniteitswaarden bevatten die nauwkeurig zijn tot 0,01 kcal/mol met experimentele validatieverwijzingen voor elke voorspelling."
Als de beschikbare hulpprogramma's of modellen dat precisieniveau niet kunnen produceren, mislukt elke poging. Cognition blijft verschillende benaderingen proberen, waarbij tijd en rekencapaciteit worden verbruikt zonder voortgang te boeken.
De juiste balans vinden
Effectieve validatievereisten zijn specifiek genoeg om goed werk te onderscheiden van slecht, maar flexibel genoeg dat een geschikte agent eraan kan voldoen.
Richtlijnen voor het schrijven van validatievereisten:
- Vermeld wat het resultaat moet bevatten, niet hoe de agent het moet produceren. "Resultaten omvatten oplosbaarheidsvoorspellingen voor alle vijf kandidaatmoleculen" is beter dan "Gebruik het graphormer-hulpprogramma om de oplosbaarheid te voorspellen."
- Focus op verifieerbare criteria. "Analyse omvat ten minste drie moleculaire eigenschappen" is verifieerbaar. "Analyse is grondig", maar dat is niet zo.
- De precisie aanpassen aan wat haalbaar is. Als u voorspellende modellen gebruikt, hebt u geen experimentele nauwkeurigheid nodig in de validatiecriteria.
- Gebruik meerdere vereisten voor complexe taken. Splits de kwaliteitscriteria in afzonderlijke vereisten, zodat cognitie kan rapporteren welke zijn geslaagd en welke zijn mislukt. Dit helpt u te begrijpen wat er werkt en wat aanpassing nodig heeft.
- Herhalen op basis van resultaten. Nadat u een voltooide taak hebt bekeken, verfijnt u de validatievereisten voor vergelijkbare toekomstige taken. Uw begrip van wat 'goed genoeg' betekent, ontwikkelt zich naarmate de gedeelde sessie vordert.
Voorbeeld: goed gekalibreerde validatievereisten
Taak: "Voorspel de oplosbaarheid en verminderingspotentieel voor drie kandidaatmoleculen met Behulp van Graphormer"
Validatievereisten:
- "Het resultaat bevat voorspellingen voor alle drie de kandidaatmoleculen."
- Elke voorspelling omvat zowel oplosbaarheid (logS) als reductiepotentiaalwaarden.
- "Resultaten worden gepresenteerd in een gestructureerde indeling met molecuul-id's."
Deze vereisten zijn specifiek (alle drie de moleculen, beide eigenschappen, gestructureerde indeling) maar haalbaar (ze eisen geen specifieke nauwkeurigheidsdrempels die het model mogelijk niet ondersteunt).
Structuurniveaus
Hoeveel structuur u in uw taken plaatst, bepaalt hoeveel cognitie nodig is om er zelf achter te komen. U kunt dit beschouwen als een spectrum van hoge autonomie (u biedt brede doelen, cognitieve verwerking verwerkt alles) tot een hoge structuur (u definieert elke stap, cognitie wordt uitgevoerd en gevalideerd).
Er is geen expliciete instelling om een vertrouwensniveau of autonomiemodus te kiezen. U spreekt uw keuze uit via de wijze waarop u uw gedeelde sessie instelt. Als u een brede taak maakt, neemt Cognition het plannen en ontleden op zich. Als u meerdere taken en afhankelijkheden maakt, volgt cognition uw structuur. U kunt ook gestructureerde en losse controle starten wanneer u vertrouwen krijgt, of de controle aanscherpen als cognitie niet in de juiste richting gaat.
Brede doelstellingen met minimale structuur
U geeft één taak op hoog niveau aan met algemene validatievereisten. Cognition ontsleutelt deze in subtaken, selecteert agents en beheert de hele gedeelde sessie.
Wanneer u deze methode gebruikt:
- U verkent een nieuw probleemgebied en kent nog niet de juiste stappen
- U wilt zien welke benaderingen cognitie ontdekt.
- Het probleem is breed genoeg dat er meerdere geldige paden bestaan
Wat u kunt verwachten:
- Cognition maakt subtaken die u niet expliciet hebt gedefinieerd
- De ontleding komt mogelijk niet overeen met de wijze waarop u het werk zou hebben uitgesplitst
- Resultaten van vroege taken bepalen de volgende stappen in het cognitieve proces.
- Evalueer regelmatig en stuur bij als de gedachten een onhelpzame richting uitgaan
Voorbeeld:
Taak: "Onderzoek het bindingsmechanisme van samengestelde X met doelproteïne Y en identificeer structurele wijzigingen die de bindingsaffiniteit kunnen verbeteren."
Validatie: "Analyse identificeert ten minste drie belangrijke interacties in het bindingsmechanisme" en "Ten minste 2 structurele wijzigingen worden voorgesteld met rationale."
Gestructureerde taken met afhankelijkheden
U maakt zelf de taakhiërarchie: bovenliggende taken voor belangrijke fasen, onderliggende taken voor specifieke stappen, afhankelijkheden voor het beheren van de uitvoeringsvolgorde en gedetailleerde validatievereisten voor elke taak.
Wanneer u deze methode gebruikt:
- U weet welke stappen vereist zijn en u wilt ervoor zorgen dat ze worden gevolgd
- De gedeelde sessie heeft duidelijke fasen die afhankelijk zijn van elkaar
- U wilt specifieke agents toewijzen aan specifieke taken
- Kwaliteit bij elke stap is belangrijk en u wilt dat validatiecontrolepunten overal worden gecontroleerd
Wat u kunt verwachten:
- Cognitief volgt de structuur die u hebt gedefinieerd
- Taken worden uitgevoerd in de volgorde die u hebt opgegeven via afhankelijkheden
- Validatie vindt plaats bij elke stap, niet alleen aan het einde
- Cognition verwerkt nog steeds agentuitvoering, foutherstel en nieuwe pogingen binnen de structuur die u instelt
- Als de validatie van een taak mislukt, probeert het systeem deze opnieuw uit te voeren voordat naar de afhankelijke taken wordt overgegaan.
Voorbeeld:
Parent: "Characterize target molecule and identify improved analogs"
Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
Task 3: "Predict solubility using Graphormer" (depends on Task 1)
Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)
Elke taak heeft zijn eigen validatievereisten. Taken 2 en 3 worden parallel uitgevoerd nadat taak 1 is voltooid. Taak 4 wacht op beide.
Hybride benadering
In de praktijk gebruiken de meeste gedeelde sessies een combinatie. U kunt zelf de belangrijkste fasen structuren, maar laat cognition specifieke fasen in subtaken ontleden. U kunt ook breed beginnen, de cognitieve subtaken bekijken en waar nodig structuur toevoegen.
Deze aanpak is vaak het meest effectief. U brengt domeinkennis over de juiste algehele structuur en cognitieve verwerking verwerkt de tactische uitvoering binnen elke fase.
Aan de slag: uw eerste gedeelde sessie
Als u de Discovery Engine voor het eerst gebruikt, begint u met een eenvoudige, gestructureerde gedeelde sessie om vertrouwd te raken met hoe cognitief werkt voordat u verdergaat met bredere doelstellingen.
Stap 1: Een kleine gedeelde sessie maken
Begin met een gerichte doelstelling met 2-4 duidelijke stappen. Met deze methode kunt u de volledige levenscyclus van taken (nieuw, uitvoeren, valideren, voltooien) zien zonder wachttijden voor resultaten.
Stap 2: Specifieke validatievereisten schrijven
Kies voor je eerste gedeelde sessie liever voor specifiek dan voor algemeen. U wilt cognitieve resultaten evalueren op basis van uw criteria, zodat u begrijpt hoe validatie werkt.
Stap 3: De Detectie-engine starten en observeren
Bekijk hoe cognitie agenten selecteert, takenreeksen ordent en validatie afhandelt. Grijp niet in, tenzij er iets duidelijk mis is. Deze benadering helpt u een intuïtie te ontwikkelen voor hoeveel begeleiding cognitie nodig heeft.
Stap 4: Controleren en aanpassen
Nadat de gedeelde sessie is voltooid, bekijkt u:
- Heeft cognitief de taakstructuur gevolgd die u hebt ingesteld?
- Waren de validatievereisten effectief of hebben ze onnodige nieuwe pogingen veroorzaakt?
- Zijn de juiste agents aan elke taak toegewezen?
Gebruik wat u leert om uw volgende gedeelde sessie te kalibreren.
Vertrouwen in de loop van de tijd aanpassen
Als u ervaring krijgt met de Discovery Engine, ontwikkelt u een idee van de hoeveelheid structuur die verschillende typen werk nodig hebben. Enkele patronen om rekening mee te houden:
- Goed begrepen gedeelde sessies met bekende stappen profiteren van meer structuur. U kent het pad, dus definieer het. Laten we cognitief omgaan met de uitvoering en validatie.
- Verkennend onderzoek met open-einddoelstellingen profiteert van minder structuur. Geef cognitieruimte om periodiek te verkennen en in te checken.
- Gemengde gedeelde sessies waarbij sommige fasen goed begrepen zijn en anderen een verkennend voordeel hebben van de hybride benadering. Structureer wat u weet, delegeer wat u niet doet.
- Validatievereisten moeten nauwkeuriger worden wanneer u leert wat de agents en hulpprogramma's kunnen leveren. Begin algemeen, verfijn op basis van resultaten.