Vertrauensstellung und grundlegende Untersuchungsmuster

Das Arbeiten mit dem Discovery-Modul ist eine Zusammenarbeit. Sie legen die Richtung fest und definieren, wie der Erfolg aussieht. Die Wahrnehmung behandelt die Ausführung. Die Qualität dieser Zusammenarbeit hängt davon ab, wie deutlich Sie Ihre Erwartungen ausdrücken und wie viel Struktur Sie bereitstellen.

In diesem Artikel wird erläutert, wie Validierungsanforderungen das Verhalten der Kognition beeinflussen, wie der Detailgrad in Ihren Aufgaben kalibriert wird und welche grundlegenden Untersuchungsmuster für den Einstieg geeignet sind.

Rolle der Validierungsanforderungen

Validierungsanforderungen sind der wichtigste Hebel, den Sie haben, um das Verhalten der Kognition zu lenken. Sie geben der Kognition vor, wie zu beurteilen ist, ob das Ergebnis einer Aufgabe gut genug ist. Ohne sie hat die Wahrnehmung keinen objektiven Standard. Mit gut geschriebenen Anforderungen kann die Wahrnehmung Qualität bewerten, unzureichende Ergebnisse ablehnen und wiederholen, bis die Arbeit Ihren Kriterien entspricht.

Was passiert, wenn Die Validierungsanforderungen zu lose sind

Wenn Ihre Validierungsanforderungen vage oder nicht vorhanden sind, akzeptiert die Wahrnehmung tendenziell das erste Ergebnis, das ein Agent erzeugt. Die Aufgabe wird schnell abgeschlossen, aber das Ergebnis erfüllt möglicherweise nicht Ihre tatsächlichen Erwartungen.

Beispiel für eine lose Anforderung:

"Geben Sie eine gute Antwort."

Kognition hat keine Möglichkeit, zu bewerten, was "gut" in Ihrem Kontext bedeutet. Die Antwort des Agent besteht die Überprüfung, da nichts Konkretes vorhanden ist, woran sie scheitern könnte. Sie überprüfen die Ergebnisse manuell, um die Qualität zu ermitteln, was den Zweck der autonomen Ausführung besiegt.

Was geschieht, wenn Validierungsanforderungen zu streng sind

Wenn Ihre Validierungsanforderungen übermäßig spezifisch sind oder eine Genauigkeit verlangen, die der Agent nicht zuverlässig liefern kann, versucht die Kognition den Vorgang mehrfach zu wiederholen. Jeder Versuchsdurchlauf erzeugt ein Ergebnis, das nicht ganz den Anforderungen entspricht, was zu mehreren Ausführungszyklen führt. Schließlich kennzeichnet die kognitive Funktion die Aufgabe als "Erfordert Benutzeraufmerksamkeit", da sie kein Ergebnis erzeugen kann, das alle Anforderungen erfüllt.

Beispiel für eine übermäßig strenge Anforderung:

"Ergebnisse müssen Bindungsaffinitätswerte enthalten, die auf 0,01 kcal/mol mit experimentellen Validierungsbezügen für jede Vorhersage genau sind."

Wenn die verfügbaren Tools oder Modelle diese Genauigkeitsstufe nicht erzeugen können, schlägt bei jedem Versuch die Überprüfung fehl. Die Kognition versucht weiterhin verschiedene Ansätze, verbraucht zeitaufwendige Ressourcen und berechnet Ressourcen ohne Fortschritt.

Finden des richtigen Gleichgewichts

Effektive Validierungsanforderungen sind spezifisch genug, um gute Arbeit von schlechter Arbeit zu unterscheiden, aber flexibel genug, damit ein fähiger Agent sie erfüllen kann.

Richtlinien für das Schreiben von Validierungsanforderungen:

  • Geben Sie an, was das Ergebnis enthalten soll, nicht wie der Agent es produzieren soll. "Ergebnisse umfassen Löslichkeitsvorhersagen für alle fünf Kandidatenmoleküle" ist besser als "Verwenden sie das Graphormer-Tool, um die Löslichkeit vorherzusagen."
  • Konzentrieren Sie sich auf überprüfbare Kriterien. "Analyse deckt mindestens drei molekulare Eigenschaften ab" ist nachweisbar. „Analyse ist gründlich“ ist es nicht.
  • Passen Sie die Genauigkeit an das an, was erreichbar ist. Wenn Sie prädiktive Modelle verwenden, müssen Sie in den Validierungskriterien keine Genauigkeit auf experimenteller Stufe erfordern.
  • Verwenden Sie mehrere Anforderungen für komplexe Aufgaben. Unterteilen Sie Qualitätskriterien in separate Anforderungen, damit die Kognition die bestandenen und nicht bestandenen Kriterien melden kann. Auf diese Weise können Sie verstehen, was funktioniert und welche Anpassungen erforderlich sind.
  • Iterieren basierend auf Ergebnissen. Nach der Überprüfung eines abgeschlossenen Vorgangs verfeinern Sie die Validierungsanforderungen für ähnliche zukünftige Aufgaben. Ihr Verständnis darüber, was "gut genug" bedeutet, entwickelt sich, während die Untersuchung fortschreitet.

Beispiel: Gut kalibrierte Validierungsanforderungen

Aufgabe: "Vorhersagen von Löslichkeit und Reduktionspotenzial für drei Kandidatenmoleküle mit Graphormer"

Validierungsanforderungen:

  1. "Das Ergebnis umfasst Vorhersagen für alle drei Kandidatenmoleküle."
  2. Jede Vorhersage umfasst sowohl die Löslichkeit (logS) als auch den Reduktionspotenzialwert.
  3. "Ergebnisse werden in einem strukturierten Format mit Molekülbezeichnern präsentiert."

Diese Anforderungen sind spezifisch (alle drei Moleküle, beide Eigenschaften, strukturiertes Format), aber erreichbar (sie erfordern keine spezifischen Genauigkeitsschwellenwerte, die das Modell möglicherweise nicht unterstützt).

Strukturebenen

Wie viel Struktur Sie in Ihre Aufgaben einfügen, bestimmt, wie viel die Kognition eigenständig erarbeiten muss. Stellen Sie sich dies als Ein Spektrum aus hoher Autonomie vor (Sie bieten umfassende Ziele, Wahrnehmung übernimmt alles) bis hin zu hoher Struktur (Sie definieren jeden Schritt, die Wahrnehmung wird ausgeführt und überprüft).

Es gibt keine explizite Einstellung, um eine Vertrauensstufe oder einen Autonomiemodus auszuwählen. Sie drücken Ihre Wahl dadurch aus, wie Sie Ihre Untersuchung einrichten. Wenn Sie eine einzelne umfassende Aufgabe erstellen, übernimmt die Wahrnehmung die Verantwortung für Planung und Zerlegung. Wenn Sie mehrere Aufgaben und Abhängigkeiten erstellen, folgt die Wahrnehmung Ihrer Struktur. Sie können auch strukturiert beginnen und die Kontrolle lockern, wenn Sie Vertrauen gewinnen, oder die Kontrolle erhöhen, wenn die Kognition sich nicht in die richtige Richtung entwickelt.

Breite Ziele mit minimaler Struktur

Sie stellen eine einzelne übergeordnete Aufgabe mit generellen Validierungsanforderungen bereit. Kognition dekompiliert sie in Teilvorgänge, wählt Agenten aus und verwaltet die gesamte Untersuchung.

Wann dieser Ansatz verwendet werden soll:

  • Sie erkunden einen neuen Problembereich und kennen die richtigen Schritte noch nicht.
  • Sie möchten sehen, welche Ansätze die Kognition entdeckt.
  • Das Problem ist breit genug, dass mehrere gültige Pfade vorhanden sind.

Was zu erwarten ist:

  • Die Kognition erstellt Teilvorgänge, die Sie nicht explizit definiert haben
  • Die Aufgliederung entspricht möglicherweise nicht unbedingt der Art und Weise, wie Sie die Arbeit aufteilen würden.
  • Ergebnisse aus frühen Aufgaben beeinflussen, was die Kognition als Nächstes versucht.
  • Sie möchten regelmäßig überprüfen und umleiten, wenn die Kognition in eine nicht hilfreiche Richtung geht.

Example:

Aufgabe: "Untersuchen Sie den Bindungsmechanismus von Verbund X mit Zielprotein Y und identifizieren Sie strukturelle Veränderungen, die die Bindungsaffinität verbessern könnten."

Validierung: "Die Analyse identifiziert mindestens 3 wichtige Interaktionen im Bindungsmechanismus" und "Mindestens 2 strukturelle Änderungen werden mit Rationale vorgeschlagen."

Strukturierte Aufgaben mit Abhängigkeiten

Sie erstellen die Aufgabenhierarchie selbst: übergeordnete Aufgaben für Hauptphasen, untergeordnete Aufgaben für bestimmte Schritte, Abhängigkeiten zum Steuern der Ausführungsreihenfolge und detaillierte Validierungsanforderungen für jede Aufgabe.

Wann dieser Ansatz verwendet werden soll:

  • Sie kennen die erforderlichen Schritte und möchten sicherstellen, dass sie befolgt werden.
  • Die Untersuchung hat klare Phasen, die voneinander abhängen
  • Sie möchten bestimmten Agents bestimmte Aufgaben zuweisen
  • Qualität bei jedem Schritt ist wichtig, und Sie möchten Überprüfungsprüfpunkte während des gesamten Vorgangs

Was zu erwarten ist:

  • Die Kognition folgt der struktur, die Sie definiert haben.
  • Aufgaben werden in der Reihenfolge ausgeführt, in der Sie Abhängigkeiten festgelegt haben.
  • Die Überprüfung erfolgt bei jedem Schritt, nicht nur am Ende
  • Das kognitive System übernimmt weiterhin die Agent-Ausführung, die Fehlerwiederherstellung und Wiederholungen innerhalb der von Ihnen festgelegten Struktur.
  • Wenn die Validierung einer Aufgabe fehlschlägt, wird sie vom System vor dem Übergang zu abhängigen Aufgaben erneut versucht.

Example:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Jede Aufgabe verfügt über eigene Validierungsanforderungen. Aufgaben 2 und 3 werden parallel ausgeführt, nachdem Aufgabe 1 abgeschlossen wurde. Aufgabe 4 wartet auf beides.

Hybridansatz

In der Praxis verwenden die meisten Untersuchungen eine Mischung. Sie können die Hauptphasen selbst strukturieren, aber die Wahrnehmung bestimmte Phasen in Teilvorgänge zerlegen lassen. Oder Sie können breit beginnen, die von der Kognition erstellten Teilvorgänge überprüfen und dort Struktur hinzufügen, wo es nötig ist.

Dies ist oft der effektivste Ansatz. Sie bringen Domänenwissen über die richtige gesamte Untersuchungsstruktur mit, und die Kognition übernimmt die taktische Ausführung in jeder Phase.

Erste Schritte: Ihre erste Untersuchung

Wenn Sie das Discovery-Modul zum ersten Mal verwenden, beginnen Sie mit einer einfachen, strukturierten Untersuchung, um sich mit der Funktionsweise der Kognition vertraut zu machen, bevor Sie zu breiteren Zielen wechseln.

Schritt 1: Erstellen einer kleinen Untersuchung

Beginnen Sie mit einem fokussierten Ziel, das 2-4 klare Schritte enthält. Auf diese Weise können Sie den vollständigen Aufgabenlebenszyklus (Neu, Ausführen, Überprüfen, Abschließen) ohne Wartezeiten auf Ergebnisse anzeigen.

Schritt 2: Schreiben spezifischer Validierungsanforderungen

Für Ihre erste Untersuchung sollten Sie sich eher an das Spezifische halten als an das Allgemeine. Sie möchten sehen, wie die Kognition Ergebnisse anhand Ihrer Kriterien bewertet, damit Sie verstehen, wie die Validierung funktioniert.

Schritt 3: Aktivieren des Ermittlungsmodus und Beobachten

Sehen Sie sich an, wie die Kognition Agents, Sequenzaufgaben auswählt und die Überprüfung behandelt. Eingreifen Sie nicht, es sei denn, etwas ist eindeutig falsch. Dadurch wird Ihnen bewusst, wie viel Anleitung die Kognition benötigt.

Schritt 4: Überprüfen und Anpassen

Überprüfen Sie nach Abschluss der Untersuchung Folgendes:

  • Hat die Kognition die von Ihnen festgelegte Aufgabenstruktur eingehalten?
  • Waren die Validierungsanforderungen wirksam oder verursachten sie unnötige Wiederholungen?
  • Wurden den einzelnen Aufgaben die richtigen Agents zugewiesen?

Verwenden Sie, was Sie lernen, um Ihre nächste Untersuchung zu kalibrieren.

Anpassen der Vertrauensstellung im Laufe der Zeit

Während Sie Erfahrungen mit dem Discovery Engine sammeln, entwickeln Sie ein Gespür dafür, wie viel Struktur für verschiedene Arten der Arbeit erforderlich ist. Einige Muster, die Sie berücksichtigen sollten:

  • Gut verstandene Untersuchungen mit bekannten Schritten profitieren von mehr Struktur. Sie kennen den Pfad, definieren Sie ihn also. Lassen Sie die Kognition die Ausführung und Validierung übernehmen.
  • Explorative Forschung mit offenen Zielen profitiert von weniger Struktur. Geben Sie der Kognition Raum, um zu erkunden und regelmäßig den Stand zu überprüfen.
  • Gemischte Untersuchungen, bei denen einige Phasen gut verstanden werden und andere noch erforscht werden, profitieren vom Hybridansatz. Strukturieren Sie das, was Sie wissen, delegieren Sie, was Sie nicht.
  • Die Validierungsanforderungen sollten präziser sein, wenn Sie erfahren, was die Agents und Tools liefern können. Beginnen Sie allgemein, verfeinern Sie basierend auf Ergebnissen.

Verwandte Inhalte

  • Last updated on