Vztah důvěryhodnosti a základní vzory sdílených relací

Práce s modulem zjišťování je spolupráce. Nastavíte směr a definujete, jak úspěch vypadá. Cognition řídí výkon. Kvalita této spolupráce závisí na tom, jak jasně vyjadřujete očekávání a jakou strukturu poskytujete.

Tento článek popisuje, jak požadavky na ověření tvarují chování, jak kalibrovat úroveň podrobností v úkolech a základní vzory sdílených relací pro zahájení práce.

Role požadavků na ověření

Požadavky na ověření jsou nejdůležitější pákou, kterou máte pro vedení chování kognice. Učí kognici, jak posoudit, zda je výsledek úkolu dostatečně dobrý. Bez nich nemá poznání žádný objektivní standard. Díky dobře napsaným požadavkům může poznání vyhodnotit kvalitu, odmítnout nedostatečné výsledky a opakovat, dokud práce nesplňuje vaše kritéria.

Co se stane, když jsou požadavky na ověření příliš volné

Pokud jsou vaše požadavky na ověření vágní nebo chybí, poznání má tendenci přijmout první výsledek, který agent vytvoří. Úkol se rychle přesune na Dokončeno, ale výsledek nemusí odpovídat vašim skutečným očekáváním.

Příklad volného požadavku:

"Zadejte dobrou odpověď."

Poznání nemá způsob, jak vyhodnotit, co "dobrý" znamená ve vašem kontextu. Odpověď agenta projde ověřením, protože neexistuje nic konkrétního, čemu by se dalo nevyhovět. Nakonec skončíte tím, že budete výsledky kontrolovat ručně, abyste určili kvalitu, což popírá smysl autonomního provádění.

Co se stane, když jsou požadavky na ověření příliš přísné

Pokud jsou vaše požadavky na ověření příliš specifické nebo vyžadují přesnost, kterou agent nedokáže spolehlivě zajistit, systém úlohu opakovaně opakuje. Každý pokus vytvoří výsledek, který zcela neprojde, což vede k několika cyklům spuštění. Nakonec systém označí úkol jako Vyžaduje pozornost uživatele, protože nemůže vytvořit výsledek splňující všechny požadavky.

Příklad příliš přísného požadavku:

Výsledky musí obsahovat hodnoty vazebné afinity přesné na 0,01 kcal/mol s experimentálními validačními odkazy pro každou predikci.

Pokud dostupné nástroje nebo modely nemohou vytvořit tuto úroveň přesnosti, veškeré pokusy neprojdou validací. Kognice neustále zkouší různé přístupy, což spotřebovává čas a výpočetní prostředky, aniž by došlo k pokroku.

Nalezení správné rovnováhy

Efektivní požadavky na ověření jsou dostatečně specifické pro rozlišení dobré práce od špatných, ale dostatečně flexibilní, aby je schopný agent mohl splnit.

Pokyny pro zápis požadavků na ověření:

  • Uveďte, co má výsledek obsahovat, a ne způsob, jakým by ho agent měl vytvořit. "Výsledky zahrnují predikci rozpustnosti pro všech pět kandidátních molekul" je lepší než "použití nástroje Graphormer k předpovídání rozpustnosti."
  • Zaměřte se na ověřitelná kritéria. "Analýza pokrývá alespoň tři molekulární vlastnosti" je ověřitelná. "Analýza je důkladná" není.
  • Shodujte přesnost s dosažitelnou přesností. Pokud používáte prediktivní modely, v ověřovacích kritériích nevyžadujete přesnost experimentální třídy.
  • Pro složité úlohy použijte více požadavků. Aby systémy poznávání mohly vykazovat, která kritéria prošla a která selhala, je nutné rozdělit kritéria kvality do samostatných požadavků. To vám pomůže pochopit, co funguje a co je potřeba upravit.
  • Iterujte na základě výsledků. Po kontrole dokončeného úkolu upřesněte požadavky na ověření pro podobné budoucí úkoly. Vaše chápání toho, co znamená „dostatečně dobré“, se v průběhu sdílené relace vyvíjí.

Příklad: dobře kalibrované požadavky na ověření

Úkol: "Predikce rozpustnosti a redox potenciálu pro tři kandidátní molekuly pomocí Graphormeru"

Požadavky na ověření:

  1. "Výsledek zahrnuje předpovědi pro všechny tři kandidátské molekuly."
  2. "Každá předpověď zahrnuje jak solubility (logS), tak i potenciální hodnoty redukce."
  3. "Výsledky jsou prezentovány ve strukturovaném formátu s identifikátory molekul."

Tyto požadavky jsou specifické (všechny tři molekuly, obě vlastnosti, strukturovaný formát), ale dosažitelné (nevyžadují konkrétní prahové hodnoty přesnosti, které model nemusí podporovat).

Úrovně struktury

Kolik struktury vložíte do svých úkolů, určuje, kolik kognice musí vyřešit samo. Představte si to jako spektrum od vysoké autonomie (poskytujete široké cíle, poznání zpracovává vše) až po vysokou strukturu (definujete každý krok, poznání provádí a ověřuje).

Neexistuje žádné explicitní nastavení pro výběr úrovně důvěryhodnosti nebo režimu autonomie. Svou volbu vyjadřujete podle toho, jak nastavíte sdílenou relaci. Pokud vytvoříte jeden obecný úkol, poznání převezme vlastnictví plánování a rozkladu. Pokud vytváříte více úkolů a závislostí, poznání se řídí vaší strukturou. Také můžete začít strukturovaně a uvolnit kontrolu, když získáte jistotu, nebo zpřísnit kontrolu, pokud kognice nebude směrovat ve správném směru.

Široké cíle s minimální strukturou

Poskytujete jednu úlohu vysoké úrovně s obecnými požadavky na ověření. Cognition ho rozloží na dílčí úkoly, vybere agenty a spravuje celou sdílenou relaci.

Kdy použít tento přístup:

  • Zkoumáte novou oblast problému a ještě neznáte správné kroky.
  • Chcete vidět, jaké přístupy objeví kognice
  • Problém je dostatečně široký, aby existovalo více platných cest.

Co očekávat:

  • Cognition vytváří dílčí úkoly, které jste explicitně nedefinovali.
  • Rozklad se nemusí shodovat s tím, jak byste práci rozčlenili.
  • Výsledky z raných úkolů ovlivňují, jaké další kroky provede kognitivní proces.
  • Pravidelně kontrolujte a přesměrujte, pokud se myšlení ubírá neprospěšným směrem.

Příklad:

Úkol: "Prozkoumejte vazební mechanismus sloučeniny X s cílovým proteinem Y a identifikujte strukturální úpravy, které by mohly zlepšit spřažení vazby."

Ověření: Analýza identifikuje alespoň 3 klíčové interakce v mechanismu vazby a "Nejméně 2 strukturální úpravy se navrhují s odůvodněním".

Strukturované úkoly se závislostmi

Hierarchii úkolů vytvoříte sami: nadřazené úkoly pro hlavní fáze, podřízené úkoly pro konkrétní kroky, závislosti pro řízení pořadí provádění a podrobné požadavky na ověření pro každý úkol.

Kdy použít tento přístup:

  • Znáte požadované kroky a chcete zajistit, aby byly dodrženy.
  • Sdílená relace má jasné fáze, které na sobě závisejí.
  • Chcete přiřadit konkrétní agenty konkrétním úlohům.
  • Kvalita každého kroku je důležitá a chcete mít kontrolní body ověřování v celém průběhu

Co očekávat:

  • Cognition se řídí strukturou, kterou jste definovali.
  • Úlohy se provádějí v pořadí, v jakém jste zadali prostřednictvím závislostí.
  • Ověřování probíhá v každém kroku, nejen na konci.
  • Cognition stále zajišťuje spouštění agenta, obnovu po chybách a opakované pokusy v rámci struktury, kterou jste nastavili.
  • Pokud úloha neprojde validací, cognition ji znovu zpracovává před přesunutím k závislým úkolům.

Příklad:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Každý úkol má vlastní požadavky na ověření. Úkoly 2 a 3 běží paralelně po dokončení úkolu 1. Úkol 4 čeká na obojí.

Hybridní přístup

V praxi většina sdílených relací používá kombinaci. Hlavní fáze můžete strukturovat sami, ale nechte kognici rozdělit konkrétní fáze do dílčích úkolů. Nebo můžete začít široce, projděte si dílčí úkoly, které poznání vytvoří, a přidejte strukturu tam, kde je to potřeba.

Tento přístup je často nejúčinnější. Vnášíte znalost dané oblasti o správné celkové struktuře a kognice zajišťuje taktické provedení v rámci každé fáze.

Začínáme: vaše první sdílená relace

Pokud nástroj Discovery Engine používáte poprvé, začněte jednoduchým strukturovaným sdíleným sezením, abyste se seznámili s tím, jak funguje kognice, než přejdete k širším cílům.

Krok 1: Vytvořte malou sdílenou relaci

Začněte cílem zaměřeným na 2 až 4 jasné kroky. Tento přístup umožňuje zobrazit celý životní cyklus úloh (nový, provádění, ověřování, dokončení) bez čekání na výsledky.

Krok 2: Zápis specifických požadavků na ověření

Při první sdílené relaci volte raději konkrétnější než obecnější možnosti. Chcete vidět, jak kognice vyhodnotí výsledky podle vašich kritérií, abyste pochopili fungování ověřování.

Krok 3: Spuštění modulu zjišťování a sledování

Podívejte se, jak poznání vybírá agenty, sekvence úlohy a zpracovává ověřování. Nezasahujte, pokud není něco jasně špatného. Tento přístup vám pomůže vytvořit si intuici pro to, kolik vedení myšlení potřebuje.

Krok 4: Kontrola a úprava

Po dokončení sdílené relace zkontrolujte:

  • Sledovalo poznání strukturu úkolů, kterou jste nastavili?
  • Byly požadavky na ověření účinné nebo způsobily zbytečné opakování?
  • Přiřadili se ke každému úkolu správní agenti?

Využijte to, co se naučíte, ke kalibraci další sdílené relace.

Úprava důvěryhodnosti v průběhu času

Když získáte zkušenosti s modulem discovery, vyvíjíte smysl pro to, kolik struktur různých typů práce potřebujete. Některé vzory, které je potřeba mít na paměti:

  • Dobře známá společná sezení se známými kroky těží z jasnější struktury. Znáte cestu, takže ji definujte. Nechte kognici ovládat provádění a ověřování.
  • Průzkumný výzkum s otevřenými cíli přináší výhody menší struktury. Dejte poznání prostor k prozkoumání a pravidelně kontrolujte.
  • Smíšené sdílené relace, v nichž jsou některé fáze dobře známé a jiné mají průzkumný charakter, těží z hybridního přístupu. Strukturujte, co víte, delegujte to, co nemáte.
  • Požadavky na ověření by měly být přesnější, jakmile zjistíte, co můžou agenti a nástroje poskytovat. Začněte obecně, upřesněte na základě výsledků.

Související obsah

  • Last updated on