검색 엔진으로 작업하는 것은 공동 작업입니다. 방향을 설정하고 성공의 모양을 정의합니다. 인식 은 실행을 처리합니다. 이 협업의 품질은 기대치를 얼마나 명확하게 표현하고 얼마나 많은 구조를 제공하는지에 따라 달라집니다.
이 문서에서는 유효성 검사 요구 사항이 인식의 동작을 형성하는 방법, 작업의 세부 수준을 보정하는 방법 및 시작하기 위한 기본 조사 패턴을 설명합니다.
유효성 검사 요구 사항의 역할
유효성 검사 요구 사항은 인식의 동작을 안내하는 데 가장 중요한 단일 레버입니다. 인지가 태스크의 결과가 충분한지를 판단하는 방법을 알려줍니다. 그들없이, 인식은 객관적인 표준이 없습니다. 잘 작성된 요구 사항을 통해 인식은 품질을 평가하고, 부족한 결과를 거부하고, 작업이 조건을 충족할 때까지 다시 시도할 수 있습니다.
유효성 검사 요구 사항이 너무 느슨하면 어떻게 되나요?
유효성 검사 요구 사항이 모호하거나 없는 경우 인식은 에이전트가 생성하는 첫 번째 결과를 수락하는 경향이 있습니다. 작업이 빨리 완료로 이동하지만 결과가 실제 기대치를 충족하지 못할 수 있습니다.
느슨한 요구 사항의 예:
"좋은 대답을 제공하세요."
인식은 컨텍스트에서 "좋은"이 무엇을 의미하는지 평가할 방법이 없습니다. 실패할 구체적인 항목이 없으므로 에이전트의 응답이 유효성 검사를 통과합니다. 결과를 수동으로 검토하여 품질을 결정하게 되며, 이는 자율 실행의 목적을 무찌를 수 있습니다.
유효성 검사 요구 사항이 너무 엄격하면 어떻게 되나요?
유효성 검사 요구 사항이 지나치게 구체적이거나 에이전트가 안정적으로 제공할 수 없는 정밀도를 요구하는 경우 인식은 작업을 반복적으로 다시 시도합니다. 각 시도는 통과되지 않는 결과를 생성하여 여러 실행 주기로 이어집니다. 결국 인식은 모든 요구 사항을 충족하는 결과를 생성할 수 없으므로 작업을 사용자 주의 필요로 플래그 지정합니다.
지나치게 엄격한 요구 사항의 예:
각 예측에 대해 실험적 검증 자료를 포함하여 0.01 kcal/mol 단위까지 정확한 결합 친화도 값이 결과에 포함되어야 합니다.
사용 가능한 도구 또는 모델이 해당 수준의 정밀도를 생성할 수 없는 경우 모든 시도가 유효성 검사에 실패합니다. 인식은 진행 없이 다양한 접근 방식, 소비 시간 및 컴퓨팅 리소스를 계속 시도합니다.
적절한 균형 찾기
효과적인 유효성 검사 요구 사항은 좋은 작업과 잘못된 작업을 구분할 수 있을 만큼 구체적이지만, 유능한 에이전트가 이를 충족할 수 있을 만큼 유연합니다.
유효성 검사 요구 사항을 작성하기 위한 지침:
- 에이전트가 그것을 생성하는 방법이 아니라, 결과에 무엇이 포함되어야 하는지를 명시하십시오. "결과는 모든 다섯 후보 분자에 대한 용해도 예측을 포함"보다 낫다 "용해도를 예측하는 Graphormer 도구를 사용."
- 확인 가능한 조건에 집중합니다. "분석은 적어도 3개의 분자 속성을 다룹니다"는 것을 확인할 수 있습니다. "분석은 철저하다"는 것은 아닙니다.
- 정밀도를 달성 가능한 값과 일치합니다. 예측 모델을 사용하는 경우 유효성 검사 기준에 실험적 등급 정확도가 필요하지 않습니다.
- 복잡한 작업에 여러 요구 사항을 사용합니다. 품질 기준을 별도의 요구 사항으로 나누어 인식이 통과된 항목과 실패한 것을 보고할 수 있도록 합니다. 이렇게 하면 작동 중인 작업과 조정이 필요한 항목을 이해하는 데 도움이 됩니다.
- 결과에 따라 반복합니다. 완료된 작업을 검토한 후 유사한 향후 작업에 대한 유효성 검사 요구 사항을 구체화합니다. 조사가 진행됨에 따라 "충분히 좋은"의 의미에 대한 이해가 진화합니다.
예: 잘 보정된 유효성 검사 요구 사항
작업: "Graphormer를 사용하여 3개의 후보 분자에 대한 용해도 및 감소 가능성 예측"
유효성 검사 요구 사항:
- "결과에는 세 가지 후보 분자 모두에 대한 예측이 포함됩니다."
- "각 예측에는 용해도(logS) 및 감소 잠재 값이 모두 포함됩니다."
- "결과는 분자 식별자를 가진 구조화된 형식으로 제출됩니다."
이러한 요구 사항은 구체적이지만(세 분자 모두, 두 속성, 구조화된 형식) 달성 가능(모델이 지원하지 않을 수 있는 특정 정확도 임계값을 요구하지 않음).
구조 수준
작업에 얼마만큼의 구조를 부여하느냐에 따라 인식이 스스로 해결해야 하는 정도가 결정됩니다. 자율성이 높은 것에서 구조가 높은 것까지의 스펙트럼으로 생각해보세요. 자율성이 높은 경우에는 당신이 광범위한 목표를 제공하면 인식이 모든 것을 처리합니다. 반대로, 구조가 높은 경우에는 당신이 각 단계를 정의하면 인식이 이를 실행하고 유효성을 검사합니다.
신뢰 수준 또는 자율성 모드를 선택하는 명시적 설정은 없습니다. 조사를 어떻게 설정하느냐에 따라 자신의 선택을 표현할 수 있습니다. 단일 광범위한 작업을 만드는 경우 인식은 계획 및 분해의 소유권을 맡습니다. 여러 작업 및 종속성을 만드는 경우 인식은 구조를 따릅니다. 또한 자신감을 얻을 때 구조화되고 느슨한 제어를 시작하거나 인식이 올바른 방향으로 향하고 있지 않은 경우 제어를 강화할 수 있습니다.
최소한의 구조로 광범위한 목표
일반적인 유효성 검사 요구 사항이 있는 단일 상위 수준 작업을 제공합니다. 인식은 하위 작업으로 분해하고, 에이전트를 선택하고, 전체 조사를 관리합니다.
이 방법을 사용하는 경우:
- 새 문제 영역을 탐색하고 있으며 올바른 단계를 아직 모릅니다.
- 인지가 발견하는 방법들을 보고 싶습니다.
- 문제는 여러 유효한 경로가 존재할 만큼 광범위합니다.
예상되는 사항:
- 인식은 명시적으로 정의하지 않은 하위 작업을 만듭니다.
- 분해가 작업을 세분화한 방법과 일치하지 않을 수 있습니다.
- 초기 작업의 결과는 다음에 어떤 인식이 시도되는지 알려줍니다.
- 인식이 도움이 되지 않는 방향으로 진행되면 주기적으로 검토하고 리디렉션하려고 합니다.
Example:
작업: "표적 단백질 Y를 사용하여 복합 X의 결합 메커니즘을 조사하고 결합 선호도를 향상시킬 수 있는 구조적 수정을 식별합니다."
유효성 검사: "분석은 바인딩 메커니즘에서 적어도 3개의 주요 상호 작용을 식별합니다." 및 "근거를 사용하여 최소 2개의 구조적 수정이 제안됩니다."
종속성이 있는 구조적 작업
작업 계층 구조를 직접 만듭니다. 주요 단계에 대한 부모 작업, 특정 단계에 대한 자식 작업, 실행 순서를 제어하는 종속성 및 각 작업에 대한 자세한 유효성 검사 요구 사항.
이 방법을 사용하는 경우:
- 필요한 단계를 알고 있으며 해당 단계를 따르고 있는지 확인하려고 합니다.
- 조사에는 서로 의존하는 명확한 단계가 있습니다.
- 특정 작업에 특정 에이전트를 할당하려고 합니다.
- 각 단계의 품질이 중요하며 전체 유효성 검사점을 원합니다.
예상되는 사항:
- 인식은 정의한 구조를 따릅니다.
- 작업은 종속성을 통해 지정한 순서대로 실행됩니다.
- 유효성 검사는 마지막 단계뿐만 아니라 각 단계에서 발생합니다.
- 인식은 여전히 설정한 구조 내에서 에이전트 실행, 오류 복구 및 재시도를 처리합니다.
- 태스크 유효성 검사에 실패하는 경우 인식은 종속 작업으로 이동하기 전에 다시 시도합니다.
Example:
Parent: "Characterize target molecule and identify improved analogs"
Task 1: "Retrieve molecular structure from PubChem" (no dependencies)
Task 2: "Compute molecular properties using RDKit" (depends on Task 1)
Task 3: "Predict solubility using Graphormer" (depends on Task 1)
Task 4: "Rank candidates by combined criteria" (depends on Tasks 2 and 3)
각 작업에는 자체 유효성 검사 요구 사항이 있습니다. 작업 2와 3은 작업 1이 완료된 후 병렬로 실행됩니다. 작업 4는 두 가지를 모두 대기합니다.
하이브리드 접근 방식
실제로 대부분의 조사는 혼합을 사용합니다. 주요 단계를 직접 구조화할 수 있지만 인식이 특정 단계를 하위 작업으로 분해하도록 할 수 있습니다. 또는 광범위하게 시작하고, 인식이 만드는 하위 작업을 검토하고, 필요한 경우 구조를 추가할 수 있습니다.
이것이 가장 효과적인 방법인 경우가 많습니다. 올바른 전체 조사 구조에 대한 도메인 지식을 가져오고 인식은 각 단계 내에서 전술적 실행을 처리합니다.
시작: 첫 번째 조사
검색 엔진을 처음 사용하는 경우 보다 광범위한 목표로 이동하기 전에 인식 작동 방식에 대해 숙지하기 위해 간단하고 구조화된 조사로 시작합니다.
1단계: 소규모 조사 만들기
2-4 명확한 단계가 있는 집중된 목표부터 시작합니다. 이렇게 하면 결과를 기다리는 시간 없이 전체 작업 수명 주기(새로 만들기, 실행, 유효성 검사, 완료)를 볼 수 있습니다.
2단계: 특정 유효성 검사 요구 사항 작성
첫 번째 조사를 할 때는 광범위하기보다 구체적으로 접근하세요. 유효성 검사의 작동 방식을 이해할 수 있도록 인식이 기준에 따라 결과를 평가하는 것을 보고 싶습니다.
3단계: 검색 모드 사용 및 관찰
인식이 에이전트를 선택하고, 작업을 시퀀스하고, 유효성 검사를 처리하는 방법을 알아봅니다. 뭔가 분명히 잘못되지 않는 한 개입하지 마십시오. 이것은 얼마나 많은 지침 인식이 필요한지에 대한 직관을 구축합니다.
4단계: 검토 및 조정
조사가 완료되면 다음을 검토합니다.
- 인식이 설정한 작업 구조를 따랐습니까?
- 유효성 검사 요구 사항이 효과적인가요, 아니면 불필요한 재시도를 발생했습니까?
- 각 작업에 적절한 에이전트가 할당되었나요?
학습한 내용을 사용하여 다음 조사를 보정합니다.
시간에 따른 신뢰 조정
검색 엔진에 대한 경험을 쌓으면서 다양한 유형의 작업에 필요한 구조에 대한 감각을 개발합니다. 유의해야 할 몇 가지 패턴은 다음과 같습니다.
- 알려진 단계를 사용하는 잘 이해된 조사는 더 많은 구조의 이점을 누릴 수 있습니다. 경로를 알고 있으므로 정의합니다. 인식에서 실행 및 유효성 검사를 처리하도록 합니다.
- 개방형 목표를 가진 예비 연구는 구조가 적기 때문에 이점을 얻을 수 있습니다. 생각을 자유롭게 탐색하고 주기적으로 점검할 수 있는 공간을 마련하십시오.
- 일부 단계가 잘 이해되고 다른 단계가 하이브리드 접근 방식의 예비적 이점인 혼합 조사입니다. 알고 있는 내용을 구성하고, 그렇지 않은 항목을 위임합니다.
- 에이전트 및 도구가 제공할 수 있는 내용을 알아보면 유효성 검사 요구 사항이 더 정확해져야 합니다. 일반을 시작하고 결과에 따라 구체화합니다.