Отношения доверия и базовые шаблоны общих сеансов

Работа с обработчиком обнаружения — это совместная работа. Вы задаете направление и определяете, что собой представляет успех. Когнитивный процесс обрабатывает выполнение. Качество этой совместной работы зависит от того, насколько четко вы выражаете ваши ожидания и какую структуру вы предоставляете.

В этой статье рассматривается, как требования к проверке влияют на поведение Cognition, как настраивать уровень детализации в ваших задачах и какие основные шаблоны совместных сеансов можно использовать для начала работы.

Роль требований проверки

Требования к валидации — это единственный наиболее важный рычаг для управления поведением когнитивных систем. Они подсказывают познанию, как оценивать, является ли результат задачи достаточно хорошим. Без них познание не имеет объективного стандарта. С хорошо написанными требованиями когнитивные системы могут оценивать качество, отклонять недостаточные результаты и повторять проверки до тех пор, пока результат не соответствует вашим критериям.

Что происходит, когда требования к проверке слишком свободны

Если требования к проверке расплывчаты или отсутствуют, когнитивный процесс, как правило, принимает первый результат, который производит агент. Задача быстро переходит к завершению, но результат может не соответствовать вашим фактическим ожиданиям.

Пример свободного требования:

"Укажите хороший ответ".

Познание не имеет способа оценить, что "хорошо" означает в вашем контексте. Ответ агента проходит проверку, потому что нет конкретных критериев, которые могли бы привести к ошибке. Вы в конечном итоге просматриваете результаты вручную, чтобы определить качество, которое побеждает цель автономного выполнения.

Что происходит при слишком строгих требованиях проверки

Если требования проверки являются слишком конкретными или требуют точности, которую агент не может надежно доставить, распознавание повторяет задачу повторно. Каждая попытка создает результат, который не совсем проходит, что приводит к нескольким циклам выполнения. В конечном итоге когнитивная система помечает задачу как "Нуждается во внимании пользователя", поскольку не может выдать результат, удовлетворяющий всем требованиям.

Пример чрезмерно строгого требования:

Результаты должны включать значения аффинности связывания, точные до 0,01 kcal/mol, с экспериментальными данными для верификации каждого прогноза.

Если доступные инструменты или модели не могут обеспечить такой уровень точности, каждая попытка не проходит проверку. Когнитивный процесс продолжает пытаться использовать различные подходы, потреблять время и вычислительные ресурсы без прогресса.

Поиск правильного баланса

Эффективные требования проверки достаточно конкретные, чтобы отличить хорошую работу от плохой, но достаточно гибкой, что способный агент может их удовлетворить.

Рекомендации по написанию требований к проверке:

  • Укажите, какой результат должен содержать, а не как агент должен его создать. "Результаты включают в себя прогнозы растворимости для всех пяти молекул-кандидатов" лучше, чем "использовать инструмент Graphormer для прогнозирования растворимости".
  • Сосредоточьтесь на проверяемых критериях. "Анализ охватывает по крайней мере три молекулярных свойства" является проверяемым. "Анализ не является тщательным."
  • Согласуйте точность с ожидаемой. Если вы используете прогнозные модели, не требуется точность экспериментального класса в критериях проверки.
  • Используйте несколько требований для сложных задач. Разбить критерии качества на отдельные требования, чтобы можно было сообщать, какие были выполнены, а какие завершились сбоем. Это помогает понять, что работает и что требует корректировки.
  • Итерируйте на основе результатов. После проверки завершенной задачи измените требования проверки для аналогичных будущих задач. Ваше понимание того, что значит «достаточно хорошо», меняется по мере продолжения совместного сеанса.

Пример: требования к хорошо откалибрированной проверке

Задача: "Прогнозирование растворимости и восстановительного потенциала для трех кандидатных молекул с помощью Graphormer"

Требования к проверке:

  1. "Результат включает прогнозы для всех трех кандидатов молекул".
  2. Каждое предсказание включает как растворимость (logS), так и величину окислительно-восстановительного потенциала.
  3. "Результаты представлены в структурированном формате с идентификаторами молекул".

Эти требования являются конкретными (все три молекулы, оба свойства, структурированный формат), но достижимы (они не требуют определенных пороговых значений точности, которые модель может не поддерживать).

Уровни структуры

Сколько структуры вы вносите в ваши задачи, определяет, сколько познавательной деятельности нужно разрешить самостоятельно. Думайте об этом как спектр от высокой автономии (вы предоставляете широкие цели, познание обрабатывает все) до высокой структуры (вы определяете каждый шаг, познание выполняет и проверяет).

Явный параметр для выбора уровня доверия или режима автономии отсутствует. Вы выражаете свой выбор тем, как настраиваете совместный сеанс. При создании одной широкой задачи распознавание берет на себя ответственность за планирование и декомпозицию. При создании нескольких задач и зависимостей когнитивный процесс следует структуре. Вы также можете начать с структурированного контроля и ослабить его по мере приобретения уверенности, или ужесточить контроль, если понимание не идет в правильном направлении.

Широкие цели с минимальной структурой

Вы предоставляете одну высокоуровневую задачу с общими требованиями к проверке. Cognition разбивает это на подзадачи, выбирает агентов и управляет всей общей сессией.

При использовании этого подхода:

  • Вы изучаете новую проблему и не знаете правильные шаги еще
  • Вы хотите узнать, какие подходы к познанию обнаруживают
  • Проблема достаточно широка, что существуют несколько допустимых путей

Что ожидать:

  • Когнитивный процесс создает подзадачи, которые не были явно определены
  • Декомпозиция может не совпадать с тем, как вы бы разложили работу
  • Результаты ранних задач определяют, что будет делать когнитивная система дальше
  • Периодически оценивайте ход мыслей и, если он становится непродуктивным, направляйте его в более продуктивное русло

Example:

Задача: "Исследование механизма привязки составного X с целевым белком Y и выявление структурных изменений, которые могут улучшить сходство привязки".

Проверка: "Анализ определяет не менее 3 ключевых взаимодействий в механизме привязки" и "По крайней мере 2 структурные изменения предлагаются с обоснованием".

Структурированные задачи с зависимостями

Вы создаете иерархию задач самостоятельно: родительские задачи для основных этапов, дочерние задачи для конкретных шагов, зависимостей для управления порядком выполнения и подробные требования к проверке для каждой задачи.

При использовании этого подхода:

  • Вы знаете необходимые шаги и хотите убедиться, что они выполняются.
  • Общий сеанс имеет четкие этапы, которые зависят друг от друга
  • Вы хотите назначить определенные агенты определенным задачам
  • Качество на каждом шаге имеет значение, и вы хотите проверить контрольные точки на протяжении всего периода

Что ожидать:

  • Распознавание следует определенной структуре
  • Задачи выполняются в указанном порядке с помощью зависимостей
  • Проверка выполняется на каждом шаге, а не только в конце
  • Cognition по-прежнему обрабатывает выполнение агента, обработку ошибок и повторные попытки в рамках заданной вами структуры
  • Если задача не проходит проверку, когнитивная система повторяет ее выполнение перед переходом к зависимым задачам.

Example:

Parent: "Characterize target molecule and identify improved analogs"
  Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
  Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
  Task 3: "Predict solubility using Graphormer" (depends on Task 1)
  Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)

Каждая задача имеет собственные требования к проверке. Задачи 2 и 3 выполняются параллельно после завершения задачи 1. Задача 4 ждёт обоих.

Гибридный подход

На практике в большинстве совместных сеансов используется их сочетание. Вы можете структурировать основные этапы самостоятельно, но пусть распознавание разлагает определенные этапы в подзадачи. Или вы можете начать с широкого подхода, проанализировать подзадачи, которые создает когнитивный процесс, и добавить структуру по мере необходимости.

Этот подход часто является наиболее эффективным. Вы привносите понимание того, какой должна быть общая структура, а когнитивная система берет на себя тактическое выполнение в рамках каждого этапа.

Начало работы: первый общий сеанс

Если вы используете подсистему обнаружения в первый раз, начните с простого структурированного общего сеанса, чтобы создать знакомство с тем, как когнитивные функции работают, прежде чем переходить к более широким целям.

Шаг 1. Создание небольшого общего сеанса

Начните с ориентированной цели, которая имеет 2-4 четких шагов. Этот подход позволяет увидеть полный жизненный цикл задач (новые, выполнение, проверка, завершение) без ожидания результатов.

Шаг 2. Написание конкретных требований к проверке

Для первого совместного сеанса лучше быть более конкретным, чем говорить в общих чертах. Вы хотите увидеть, как распознавание оценивает результаты по вашим критериям, чтобы понять, как работает проверка.

Шаг 3. Запуск обработчика обнаружения и наблюдение

Смотрите, как когнитивная система выбирает агентов, распределяет задачи и обрабатывает проверку. Не вмешивайтесь, если что-то явно не так. Этот подход помогает развить интуицию относительно того, сколько направляющих подсказок требуется мышлению.

Шаг 4. Проверка и настройка

После завершения общего сеанса ознакомьтесь со следующими сведениями:

  • Соответствовало ли познание структуре задачи, которую вы установили?
  • Были ли требования проверки эффективными или они вызвали ненужные повторные попытки?
  • Были ли правильные агенты назначены каждой задаче?

Используйте то, что вы узнаете, чтобы выполнить калибровку следующего общего сеанса.

Настройка доверия с течением времени

Постепенно набираясь опыта работы с системой поиска, вы развиваете интуицию для понимания того, насколько структурированы должны быть различные типы задач. Некоторые шаблоны, которые следует учитывать:

  • Хорошо изученные совместные сеансы с известными этапами выигрывают от более чёткой структуры. Вы знаете путь, поэтому определите его. Пусть когниция обрабатывает выполнение и проверку.
  • Исследовательская работа с открытыми целями выигрывает от меньшей структурированности. Дайте вашему сознанию пространство для исследования и регулярного самоанализа.
  • Смешанные общие сеансы , в которых некоторые этапы хорошо поняты, и другие являются исследовательскими преимуществами гибридного подхода. Структурируйте то, что вы знаете, делегируйте то, что вы не знаете.
  • Требования к проверке должны становиться более точными по мере того, как вы узнаете, на что способны агенты и средства. Начните с общего и уточняйте по результатам.

Связанный контент

  • Последнее обновление: