Relacje zaufania i podstawowe wzorce badania

Praca z aparatem odnajdywania to współpraca. Możesz ustawić kierunek i zdefiniować, jak wygląda sukces. Cognition obsługuje wykonanie. Jakość tej współpracy zależy od tego, jak wyraźnie wyrażasz oczekiwania i jaką strukturę udostępniasz.

W tym artykule opisano, w jaki sposób wymagania weryfikacji kształtuje zachowanie poznawania, jak skalibrować poziom szczegółowości zadań oraz podstawowe wzorce badania na potrzeby rozpoczęcia pracy.

Rola wymagań dotyczących walidacji

Wymagania dotyczące walidacji są najważniejszym kluczowym elementem, którym można kierować zachowaniem procesów poznawczych. Pozwala poznaniu ocenić, czy wynik zadania jest wystarczająco dobry. Bez nich poznawanie nie ma obiektywnego standardu. Dzięki dobrze napisanym wymaganiom poznanie może ocenić jakość, odrzucić niewystarczające wyniki i ponowić próbę, dopóki praca nie spełnia Twoich kryteriów.

Co się stanie, gdy wymagania dotyczące walidacji są zbyt luźne

Jeśli wymagania dotyczące weryfikacji są niejasne lub nieobecne, poznawanie zwykle akceptuje pierwszy wynik generowany przez agenta. Zadanie zostanie szybko ukończone, ale wynik może nie spełniać rzeczywistych oczekiwań.

Przykład luźnego wymagania:

"Podaj dobrą odpowiedź"."

Poznanie nie ma sposobu, aby ocenić, co "dobre" oznacza w twoim kontekście. Odpowiedź agenta przechodzi walidację, ponieważ nie ma żadnych konkretnych kryteriów, które mogłyby być niespełnione. Ostatecznie wyniki są przeglądane ręcznie, aby określić jakość, co podważa cel autonomicznego działania.

Co się stanie, gdy wymagania dotyczące walidacji są zbyt rygorystyczne

Jeśli wymagania dotyczące walidacji są nadmiernie specyficzne lub wymagają precyzji, które agent nie jest w stanie niezawodnie spełnić, system ponownie próbuje wykonać zadanie wielokrotnie. Każda próba daje wynik, który nie jest do końca udany, co prowadzi do wielu cykli wykonywania. W końcu poznawanie oznacza zadanie jako Wymaga uwagi użytkownika, ponieważ nie może wygenerować wyniku spełniającego wszystkie wymagania.

Przykład nadmiernie ścisłego wymagania:

Wyniki muszą zawierać wartości powinowactwa wiązania dokładne do 0,01 kcal/mol z odniesieniami do walidacji eksperymentalnej dla każdego przewidywania.

Jeśli dostępne narzędzia lub modele nie mogą wygenerować tego poziomu dokładności, każda próba zakończy się niepowodzeniem weryfikacji. Proces poznawczy ciągle próbuje różnych podejść, pochłaniając czas i zasoby obliczeniowe, bez postępu.

Znalezienie właściwej równowagi

Skuteczne wymagania dotyczące walidacji są wystarczająco specyficzne, aby odróżnić dobrą pracę od złej, ale wystarczająco elastyczne, że agent zdolny może je spełnić.

Wskazówki dotyczące pisania wymagań dotyczących walidacji:

  • Określ, co powinien zawierać wynik, a nie sposób, w jaki agent powinien go wygenerować. "Wyniki obejmują przewidywania rozpuszczalności dla wszystkich pięciu cząsteczek kandydatów" jest lepsze niż "Użyj narzędzia Graphormer do przewidywania rozpuszczalności."
  • Skoncentruj się na weryfikowalnych kryteriach. "Analiza obejmuje co najmniej trzy właściwości molekularne" jest weryfikowalna. "Analiza jest dokładna" nie jest.
  • Dopasuj precyzję do osiągalnego poziomu. Jeśli używasz modeli predykcyjnych, nie wymagaj dokładności klasy eksperymentalnej w kryteriach weryfikacji.
  • Użyj wielu wymagań dotyczących złożonych zadań. Podziel kryteria jakości na oddzielne wymagania, aby kognicja mogła raportować, które przeszły i które zakończyły się niepowodzeniem. Pomaga to zrozumieć, co działa i co wymaga dostosowania.
  • Iteruj na podstawie wyników. Po przejrzeniu ukończonego zadania uściślij wymagania dotyczące walidacji podobnych przyszłych zadań. Zrozumienie tego, co oznacza "wystarczająco dobre", ewoluuje wraz z postępem badania.

Przykład: dobrze skalibrowane wymagania dotyczące walidacji

Zadanie: "Przewidywanie potencjału rozpuszczalności i redukcji dla trzech cząsteczek kandydatów przy użyciu programu Graphormer"

Wymagania dotyczące walidacji:

  1. "Wynik obejmuje przewidywania dla wszystkich trzech cząsteczek kandydatów."
  2. "Każde przewidywanie obejmuje zarówno rozpuszczalność (logS) jak i potencjalne wartości redukcji.
  3. "Wyniki są prezentowane w formacie ustrukturyzowanym z identyfikatorami cząsteczek".

Te wymagania są specyficzne (wszystkie trzy cząsteczki, obie właściwości, format ustrukturyzowany), ale osiągalne (nie wymagają określonych progów dokładności, których model może nie obsługiwać).

Poziomy struktury

Ilość struktury, którą wprowadzasz do swoich zadań, determinuje, jak wiele procesy poznawcze muszą samodzielnie rozpracować. Pomyśl o tym jako o spektrum od wysokiej autonomii (zapewniasz szerokie cele, kognicja obsługuje wszystko) do wysokiej struktury (definiujesz każdy krok, kognicja wykonuje i weryfikuje).

Nie ma jawnego ustawienia, aby wybrać poziom zaufania lub tryb autonomii. Wyrażasz swój wybór poprzez to, jak zorganizujesz swoje badanie. Jeśli tworzysz jedno szerokie zadanie, procesy poznawcze przejmują odpowiedzialność za planowanie i dekompozycję. Jeśli tworzysz wiele zadań i zależności, poznawanie jest zgodne ze strukturą. Możesz również zacząć w sposób uporządkowany i poluzować kontrolę, gdy zyskasz pewność siebie, lub zacieśnić kontrolę, jeśli procesy poznawcze nie przebiegają we właściwym kierunku.

Szerokie cele z minimalną strukturą

Jedno zadanie wysokiego poziomu należy podać z ogólnymi wymaganiami dotyczącymi walidacji. Kognicja dzieli to na podzadania, wybiera agentów i zarządza całym procesem badawczym.

Kiedy należy użyć tego podejścia:

  • Eksplorujesz nowy obszar problemu i nie znasz jeszcze odpowiednich kroków
  • Chcesz zobaczyć, jakie podejścia odkrywa poznawanie
  • Problem jest wystarczająco szeroki, że istnieje wiele prawidłowych ścieżek

Czego można oczekiwać:

  • Cognition tworzy podzadania, których nie zdefiniowano jawnie
  • Rozkład może nie odpowiadać temu, jak Ty byś podzielił pracę
  • Wyniki z wczesnych zadań wskazują, jaki kolejny krok podejmie proces poznawczy.
  • Chcesz okresowo przeglądać i redirectować, jeśli procesy poznawcze zmierzają w niekorzystnym kierunku.

Example:

Zadanie: "Zbadaj mechanizm powiązania złożonego X z docelowym białka Y i zidentyfikuj modyfikacje strukturalne, które mogą poprawić koligację wiązania."

Walidacja: "Analiza identyfikuje co najmniej 3 kluczowe interakcje w mechanizmie powiązania" i "Co najmniej 2 modyfikacje strukturalne są proponowane z uzasadnieniem".

Zadania ustrukturyzowane z zależnościami

Tworzysz swoją hierarchię zadań: zadania nadrzędne dla głównych faz, zadania podrzędne dla określonych kroków, zależności w celu kontrolowania kolejności wykonywania, a także szczegółowe wymagania co do walidacji dla każdego zadania.

Kiedy należy użyć tego podejścia:

  • Znasz wymagane kroki i chcesz upewnić się, że są one wykonywane
  • Badanie ma jasne fazy, które zależą od siebie nawzajem
  • Chcesz przypisać określonych agentów do określonych zadań
  • Jakość na każdym kroku ma znaczenie i chcesz mieć punkty kontrolne weryfikacji na każdym etapie.

Czego można oczekiwać:

  • Zrozumienie podąża za zdefiniowaną strukturą
  • Zadania są wykonywane w kolejności określonej za pomocą zależności
  • Walidacja odbywa się w każdym kroku, a nie tylko na końcu
  • Cognition nadal obsługuje wykonywanie agenta, odzyskiwanie błędów i ponowne próby w ramach ustawionej struktury
  • Jeśli walidacja zadania zakończy się niepowodzeniem, poznawanie ponawia próbę przed przejściem do zadań zależnych

Example:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Każde zadanie ma własne wymagania dotyczące walidacji. Zadania 2 i 3 są uruchamiane równolegle po zakończeniu zadania 1. Zadanie 4 czeka na oba.

Podejście hybrydowe

W praktyce większość badań używa kombinacji. Możesz samodzielnie utworzyć strukturę głównych faz, ale pozwolić, aby poznanie rozłożyło określone fazy na podzadania. Możesz też zacząć szerzej, przejrzeć podzadania tworzone przez kognicję i w razie potrzeby dodać strukturę.

Jest to często najbardziej skuteczne podejście. Wnosisz wiedzę dziedzinową o właściwej ogólnej strukturze badania, a w każdej fazie poznasz taktyczne aspekty realizacji.

Wprowadzenie: pierwsze badanie

Jeśli używasz silnika odkryć po raz pierwszy, zacznij od prostego, ustrukturyzowanego badania, aby dowiedzieć się, jak działa proces poznawczy, zanim przejdziesz do szerszych celów.

Krok 1. Tworzenie małego badania

Zacznij od ukierunkowanego celu, który ma 2–4 jasne kroki. Umożliwia to wyświetlenie pełnego cyklu życia zadania (Nowy, Wykonywanie, Weryfikowanie, Ukończenie) bez oczekiwania godzin na wyniki.

Krok 2. Pisanie określonych wymagań dotyczących walidacji

W przypadku pierwszego śledztwa, wybierz podejście bardziej szczegółowe niż ogólne. Chcesz zobaczyć, jak wyniki są oceniane względem kryteriów, aby zrozumieć, jak działa walidacja.

Krok 3. Włączanie trybu odnajdywania i obserwowanie

Zobacz, jak poznawanie wybiera agentów, sekwencje zadań i obsługuje walidację. Nie interweniuj, chyba że coś jest wyraźnie złe. To buduje intuicję na temat tego, jak bardzo poznanie potrzebuje wskazówek.

Krok 4. Przeglądanie i dostosowywanie

Po zakończeniu badania przejrzyj:

  • Czy poznawanie było zgodne ze ustawioną strukturą zadań?
  • Czy wymagania dotyczące walidacji były skuteczne, czy spowodowały niepotrzebne ponawianie prób?
  • Czy odpowiedni agenci zostali przypisani do każdego zadania?

Skorzystaj z wiedzy, którą zdobędziesz, aby skalibrować swoje kolejne badanie.

Dostosowywanie zaufania w czasie

W miarę zdobywania doświadczenia z silnikiem odkrywania rozwijasz poczucie, jakiej struktury potrzebują różne typy pracy. Niektóre wzorce, które należy wziąć pod uwagę:

  • Dobrze zrozumiałe badania ze znanymi krokami korzystają z większej struktury. Znasz ścieżkę, więc zdefiniuj ją. Pozwól, aby system poznawczy zajął się realizacją i walidacją.
  • Badania eksploracyjne z otwartymi celami wynikają z mniejszej struktury. Pozwól na swobodne odkrywanie i regularnie sprawdzaj postępy.
  • Mieszane badania , w których niektóre fazy są dobrze zrozumiałe, a inne eksploracyjne korzystają z podejścia hybrydowego. Określ, co wiesz, deleguj to, czego nie robisz.
  • Wymagania dotyczące walidacji powinny być bardziej precyzyjne, ponieważ dowiesz się, co mogą dostarczać agenci i narzędzia. Zacznij od ogólnego podejścia, a następnie uściślij na podstawie wyników.

Treści powiązane

  • Last updated on